據(jù)itmedia報道，微軟MR與AI Lab研究團隊基于頭顯捕獲的頭部和手部追蹤數(shù)據(jù)開發(fā)了“FLAG：Flow-based Avatar Generation from Sparse Observations”解決方案，該方案可實現(xiàn)以三維形式呈現(xiàn)身體全身運動。 通常而言，通過HoloLens、Meta Quest等頭顯捕獲的頭部和手部追蹤數(shù)據(jù)由于不能表現(xiàn)人體全身，因此很難生成逼真3D化身。
為此，研究團隊提出了一種基于頭顯信號生成自然人體全身動作的全新方案，以解決這一難題。 所述系統(tǒng)具體而言基于流模型解析給定頭部和手部動作數(shù)據(jù)，該模型能夠?qū)崿F(xiàn)3D姿勢分布和基礎(chǔ)分布之間的可逆映射。 除了支持3D人體條件分布外，該方案還支持從觀察數(shù)據(jù)到潛在空間的隨機映射，并從中預(yù)估各種人體關(guān)節(jié)姿勢以生成自然姿勢。 值得一提的是，通過實驗評估和消融研究，該方法優(yōu)于大型運動捕捉數(shù)據(jù)集AMASS的最新方案，該數(shù)據(jù)集以SMPL人體模型模擬多種全身姿勢，以誤差極低、優(yōu)化較少著稱。 |
