論文の概要: Physics-based Motion Retargeting from Sparse Inputs

• arxiv url: http://arxiv.org/abs/2307.01938v1
• Date: Tue, 4 Jul 2023 21:57:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-06 15:41:27.175575
• Title: Physics-based Motion Retargeting from Sparse Inputs
• Title（参考訳）: スパース入力からの物理に基づく動き再ターゲティング
• Authors: Daniele Reda, Jungdam Won, Yuting Ye, Michiel van de Panne, Alexander Winkler
• Abstract要約: 商用AR/VR製品はヘッドセットとコントローラーのみで構成されており、ユーザーのポーズのセンサーデータは非常に限られている。 本研究では, 多様な形態のキャラクタに対して, 粗い人間のセンサデータからリアルタイムに動きをターゲットする手法を提案する。 アバターのポーズは、下半身のセンサー情報がないにもかかわらず、驚くほどよくユーザと一致していることを示す。
• 参考スコア（独自算出の注目度）: 73.94570049637717
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Avatars are important to create interactive and immersive experiences in virtual worlds. One challenge in animating these characters to mimic a user's motion is that commercial AR/VR products consist only of a headset and controllers, providing very limited sensor data of the user's pose. Another challenge is that an avatar might have a different skeleton structure than a human and the mapping between them is unclear. In this work we address both of these challenges. We introduce a method to retarget motions in real-time from sparse human sensor data to characters of various morphologies. Our method uses reinforcement learning to train a policy to control characters in a physics simulator. We only require human motion capture data for training, without relying on artist-generated animations for each avatar. This allows us to use large motion capture datasets to train general policies that can track unseen users from real and sparse data in real-time. We demonstrate the feasibility of our approach on three characters with different skeleton structure: a dinosaur, a mouse-like creature and a human. We show that the avatar poses often match the user surprisingly well, despite having no sensor information of the lower body available. We discuss and ablate the important components in our framework, specifically the kinematic retargeting step, the imitation, contact and action reward as well as our asymmetric actor-critic observations. We further explore the robustness of our method in a variety of settings including unbalancing, dancing and sports motions.
• Abstract（参考訳）: アバターは仮想世界でインタラクティブで没入的な体験を作り出すために重要である。 これらのキャラクターをユーザーの動きを模倣するアニメーション化の課題の1つは、商用AR/VR製品がヘッドセットとコントローラのみで構成されており、ユーザーのポーズのセンサーデータが非常に限られていることである。 もう一つの課題は、アバターは人間とは異なる骨格構造を持ち、それらの間のマッピングは不明確である。 この作業では、これら2つの課題に対処します。 本稿では,人間の分散センサデータから様々な形態の文字へ,リアルタイムに動きをターゲティングする手法を提案する。 本手法は,物理シミュレータにおける文字制御ポリシーの学習に強化学習を用いる。 私たちは、アバターごとにアーティスト生成アニメーションに頼ることなく、トレーニングのために人間のモーションキャプチャーデータのみを必要とします。 これにより、大規模なモーションキャプチャデータセットを使用して、未確認のユーザをリアルタイムおよびスパースデータから追跡する一般的なポリシをトレーニングできます。 我々は、恐竜、ネズミのような生き物、人間という、異なる骨格構造を持つ3つのキャラクターに対するアプローチの実現可能性を示した。 下半身のセンサー情報がないにもかかわらず、アバターのポーズは驚くほどユーザーとよく合っていることが分かる。 我々は,我々のフレームワークの重要な構成要素,特にキネマティック・リターゲティングのステップ,模倣,接触,行動報酬,および非対称なアクター・クリティカルな観察について論じる。 さらに,アンバランス,ダンス,スポーツ動作など,さまざまな環境下での手法の堅牢性について検討する。

関連論文リスト

• AvatarGO: Zero-shot 4D Human-Object Interaction Generation and Animation [60.5897687447003]
  AvatarGOはテキスト入力からリアルな4D HOIシーンを生成するために設計された新しいフレームワークである。 我々のフレームワークは、コヒーレントな構成運動を生成するだけでなく、問題に対処する上でより堅牢性を示す。 4Dアバターをオブジェクトインタラクションで合成する最初の試みとして、AvatarGOが人間中心の4Dコンテンツを作るための新しい扉を開くことを願っている。
  論文  参考訳（メタデータ） (2024-10-09T17:58:56Z)
• SparsePoser: Real-time Full-body Motion Reconstruction from Sparse Data [1.494051815405093]
  SparsePoserは、スパースデータから全身のポーズを再構築するための、新しいディープラーニングベースのソリューションである。 このシステムには、高品質な連続した人間のポーズを合成する畳み込み型オートエンコーダが組み込まれている。 本手法は,IMUセンサや6-DoFトラッキングデバイスを用いた最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-03T18:48:01Z)
• Pose-to-Motion: Cross-Domain Motion Retargeting with Pose Prior [48.104051952928465]
  現在の学習に基づく動き合成法は、広範囲な動きデータセットに依存する。 ポーズデータは作成が容易で、画像から抽出することもできるため、よりアクセスしやすい。 提案手法は,他のキャラクタの既存のモーションキャプチャーデータセットから動きを転送することで,データのみをポーズするキャラクタに対する可塑性モーションを生成する。
  論文  参考訳（メタデータ） (2023-10-31T08:13:00Z)
• Universal Humanoid Motion Representations for Physics-Based Control [71.46142106079292]
  物理学に基づくヒューマノイド制御のための総合的な運動スキルを含む普遍的な運動表現を提案する。 まず、大きな非構造運動データセットから人間の動きをすべて模倣できる動き模倣機を学習する。 次に、模倣者から直接スキルを蒸留することで、動作表現を作成します。
  論文  参考訳（メタデータ） (2023-10-06T20:48:43Z)
• QuestEnvSim: Environment-Aware Simulated Motion Tracking from Sparse Sensors [69.75711933065378]
  ヘッドセットとコントローラーのポーズは,高度に制約された環境においても,現実的なフルボディのポーズを生成可能であることを示す。 本稿では,環境表現,接触報酬,シーンランダム化の3つの特徴について論じる。
  論文  参考訳（メタデータ） (2023-06-09T04:40:38Z)
• QuestSim: Human Motion Tracking from Sparse Sensors with Simulated Avatars [80.05743236282564]
  人間の身体の動きのリアルタイム追跡は、AR/VRにおける没入感のある体験に不可欠である。 本稿では,HMDと2つのコントローラから疎信号を取り出す強化学習フレームワークを提案する。 一つのポリシーは、多様な移動スタイル、異なる体の大きさ、新しい環境に対して堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-09-20T00:25:54Z)
• AvatarPoser: Articulated Full-Body Pose Tracking from Sparse Motion Sensing [24.053096294334694]
  AvatarPoserは、ユーザの頭と手の動きのみを入力として、世界座標におけるフルボディポーズを予測する最初の学習ベースの方法である。 提案手法はTransformerエンコーダ上に構築され,入力信号から深い特徴を抽出し,学習した局所的な関節方向からグローバルな動きを分離する。 我々の評価では、AvatarPoserは大規模なモーションキャプチャーデータセットの評価において、新しい最先端の結果を得た。
  論文  参考訳（メタデータ） (2022-07-27T20:52:39Z)
• S3: Neural Shape, Skeleton, and Skinning Fields for 3D Human Modeling [103.65625425020129]
  歩行者の形状、ポーズ、皮膚の重みを、データから直接学習する神経暗黙関数として表現します。 各種データセットに対するアプローチの有効性を実証し,既存の最先端手法よりも再現性が優れていることを示す。
  論文  参考訳（メタデータ） (2021-01-17T02:16:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。