Fugu-MT 論文翻訳(概要): Stratified Avatar Generation from Sparse Observations

論文の概要: Stratified Avatar Generation from Sparse Observations

arxiv url: http://arxiv.org/abs/2405.20786v1
Date: Thu, 30 May 2024 06:25:42 GMT
ステータス: 処理完了
システム内更新日: 2024-06-03 14:37:39.489238
Title: Stratified Avatar Generation from Sparse Observations
Title（参考訳）: スパース観測による成層アバターの生成
Authors: Han Feng, Wenchao Ma, Quankai Gao, Xianwei Zheng, Nan Xue, Huijuan Xu,
Abstract要約: AR/VRデバイスから3Dフルボディアバターを推定することは、没入感のある体験を生み出す上で不可欠である。本稿では,Skinned Multi-Person Linear (SMPL)モデルで定義されたキネマティックツリーの性質に着想を得た。本研究では,従来のフルボディアバター再建パイプラインを2段階に分離する階層化手法を提案する。
参考スコア（独自算出の注目度）: 10.291918304187769
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Estimating 3D full-body avatars from AR/VR devices is essential for creating immersive experiences in AR/VR applications. This task is challenging due to the limited input from Head Mounted Devices, which capture only sparse observations from the head and hands. Predicting the full-body avatars, particularly the lower body, from these sparse observations presents significant difficulties. In this paper, we are inspired by the inherent property of the kinematic tree defined in the Skinned Multi-Person Linear (SMPL) model, where the upper body and lower body share only one common ancestor node, bringing the potential of decoupled reconstruction. We propose a stratified approach to decouple the conventional full-body avatar reconstruction pipeline into two stages, with the reconstruction of the upper body first and a subsequent reconstruction of the lower body conditioned on the previous stage. To implement this straightforward idea, we leverage the latent diffusion model as a powerful probabilistic generator, and train it to follow the latent distribution of decoupled motions explored by a VQ-VAE encoder-decoder model. Extensive experiments on AMASS mocap dataset demonstrate our state-of-the-art performance in the reconstruction of full-body motions.
Abstract（参考訳）: AR/VRデバイスから3Dフルボディアバターを推定することは、AR/VRアプリケーションに没入的なエクスペリエンスを作り出す上で不可欠である。ヘッドマウントデバイスからの入力が限られているため、このタスクは困難である。これらのまばらな観察から全身のアバター、特に下半身を予測することは、重大な困難を呈する。本稿では,上半身と下半身が共通の祖先ノードを1つしか共有しないSkinned Multi-Person Linear (SMPL)モデルで定義されたキネマティックツリーの性質に着想を得た。そこで本研究では,従来のフルボディアバター再建パイプラインを2段階に分離し,まず上半身の再建と,それに続く下半身の再建を行った。この簡単なアイデアを実現するために、潜伏拡散モデルを強力な確率的生成器として利用し、VQ-VAEエンコーダ・デコーダモデルにより探索された非結合運動の潜伏分布に従うよう訓練する。 AMASSモキャップデータセットの大規模な実験により、全身運動の再構築における最先端のパフォーマンスが実証された。

関連論文リスト

SOAR: Self-Occluded Avatar Recovery from a Single Video In the Wild [30.728476070389707]
自己排除は、パフォーマーが事前に定義された動作スクリプトに従わない野生の人々を捕らえるときによく見られる。身体の一部が完全に観察されていない部分的な観察から人体を復元する手法であるセルフ・オクルード・アバター・リカバリ(SOAR)を紹介した。
論文参考訳（メタデータ） (2024-10-31T10:35:59Z)
Efficient One-Step Diffusion Refinement for Snapshot Compressive Imaging [8.819370643243012]
Coded Aperture Snapshot Spectral Imaging (CASSI)は3次元マルチスペクトル画像(MSI)を撮影するための重要な技術である現在の最先端の手法は、主にエンドツーエンドであり、高周波の詳細を再構築する際の制限に直面している。本稿では,Snapshot Compressive Imagingのための自己教師型適応フレームワークにおいて,新しい1段階拡散確率モデルを提案する。
論文参考訳（メタデータ） (2024-09-11T17:02:10Z)
GVA: Reconstructing Vivid 3D Gaussian Avatars from Monocular Videos [56.40776739573832]
モノクロビデオ入力(GVA)から鮮明な3Dガウスアバターの作成を容易にする新しい手法を提案する。私たちのイノベーションは、高忠実な人体再構築を実現するという、複雑な課題に対処することにあります。通常の地図とシルエットを整列させて手足のポーズ精度を向上させるためにポーズ改善手法を提案する。
論文参考訳（メタデータ） (2024-02-26T14:40:15Z)
EVOPOSE: A Recursive Transformer For 3D Human Pose Estimation With Kinematic Structure Priors [72.33767389878473]
本研究では,3次元ポーズ推定を効果的に行うために,トランスフォーマーを用いたモデルEvoPoseを提案する。構造的優先表現(Structure Priors Representation, SPR)モジュールは、人体パターンの豊富な構造的特徴として、人間の先行を表現している。推定結果を利用して3Dポーズ出力にRecursive Refinement(RR)モジュールを印加し、同時に人間を注入する。
論文参考訳（メタデータ） (2023-06-16T04:09:16Z)
BoDiffusion: Diffusing Sparse Observations for Full-Body Human Motion Synthesis [14.331548412833513]
複合現実感アプリケーションは、没入感のある体験を可能にするために、ユーザのフルボディの動きを追跡する必要がある。本稿では,この非拘束的再構成問題に対処するために,運動合成のための生成拡散モデルであるBoDiffusionを提案する。本稿では,スムーズで現実的なフルボディモーションシーケンスを生成しつつ,スパーストラッキング入力をBoDiffusionが活用できる時間空間調和方式を提案する。
論文参考訳（メタデータ） (2023-04-21T16:39:05Z)
Avatars Grow Legs: Generating Smooth Human Motion from Sparse Tracking Inputs with Diffusion Model [18.139630622759636]
本稿では,低速な上体追跡信号のフルボディ追跡に特化して設計された新しい条件拡散モデル AGRoL を提案する。我々のモデルは、シンプルな多層パーセプトロン(MLP)アーキテクチャと、モーションデータのための新しい条件付け方式に基づいている。一般的な拡散アーキテクチャとは異なり、私たちのコンパクトアーキテクチャはリアルタイムで動作し、オンラインのボディトラッキングアプリケーションに適している。
論文参考訳（メタデータ） (2023-04-17T19:35:13Z)
UnrealEgo: A New Dataset for Robust Egocentric 3D Human Motion Capture [70.59984501516084]
UnrealEgoは、エゴセントリックな3Dポーズ推定のための、新しい大規模博物学データセットである。これは、2台の魚眼カメラを備えた高度な眼鏡のコンセプトに基づいており、制約のない環境で使用することができる。本稿では,ステレオ入力のための2次元キーポイント推定モジュールを考案し,人間のポーズ推定を改善するための簡易かつ効果的なベンチマーク手法を提案する。
論文参考訳（メタデータ） (2022-08-02T17:59:54Z)
Learned Vertex Descent: A New Direction for 3D Human Model Fitting [64.04726230507258]
画像やスキャンに適合する3次元人体モデルのための新しい最適化手法を提案する。われわれのアプローチは、非常に異なる体型を持つ服を着た人々の基盤となる身体を捉えることができ、最先端技術と比べて大きな改善を達成できる。 LVDはまた、人間と手の3次元モデル適合にも適用でき、よりシンプルで高速な方法でSOTAに大きな改善が示される。
論文参考訳（メタデータ） (2022-05-12T17:55:51Z)
LiP-Flow: Learning Inference-time Priors for Codec Avatars via Normalizing Flows in Latent Space [90.74976459491303]
実行時入力に条件付けされた先行モデルを導入し、この先行空間を潜伏空間の正規化フローを介して3次元顔モデルに結びつける。正規化フローは2つの表現空間をブリッジし、潜在サンプルをある領域から別の領域に変換することで、潜在可能性の目的を定義する。提案手法は,表情のダイナミックスや微妙な表現をよりよく捉えることによって,表現的かつ効果的に先行することを示す。
論文参考訳（メタデータ） (2022-03-15T13:22:57Z)
Distribution-Aware Single-Stage Models for Multi-Person 3D Pose Estimation [29.430404703883084]
本稿では,多人数の3Dポーズ推定問題に対処する新しいDASモデルを提案する。提案するDASモデルでは,3次元カメラ空間における人物位置と人体関節をワンパスで同時に位置決めする。 CMU Panoptic と MuPoTS-3D のベンチマークに関する総合的な実験は、提案したDASモデルの優れた効率を実証している。
論文参考訳（メタデータ） (2022-03-15T07:30:27Z)
Kinematic-Structure-Preserved Representation for Unsupervised 3D Human Pose Estimation [58.72192168935338]
大規模インスタディオデータセットの監視を用いて開発された人間のポーズ推定モデルの一般化可能性については疑問が残る。本稿では,2対あるいは2対の弱い監督者によって抑制されない,新しいキネマティック構造保存型非教師付き3次元ポーズ推定フレームワークを提案する。提案モデルでは,前方運動学,カメラ投影,空間マップ変換という3つの連続的な微分可能変換を用いる。
論文参考訳（メタデータ） (2020-06-24T23:56:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。