論文の概要: MACS: Mass Conditioned 3D Hand and Object Motion Synthesis

• arxiv url: http://arxiv.org/abs/2312.14929v1
• Date: Fri, 22 Dec 2023 18:59:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-25 13:55:54.332471
• Title: MACS: Mass Conditioned 3D Hand and Object Motion Synthesis
• Title（参考訳）: macs: マスコンディショニングされた3dハンドと物体の動き合成
• Authors: Soshi Shimada, Franziska Mueller, Jan Bednarik, Bardia Doosti, Bernd Bickel, Danhang Tang, Vladislav Golyanik, Jonathan Taylor, Christian Theobalt, Thabo Beeler
• Abstract要約: 質量のような物体の物理的性質は、我々の手でそれを操作する方法に大きな影響を与えます。 本研究は,MAss Conditioned 3D Hand and Object Motion Synthesis approachを提案する。 提案手法は, カスケード拡散モデルに基づいて, 対象質量と相互作用タイプに基づいて, 合理的に調整可能な相互作用を生成する。
• 参考スコア（独自算出の注目度）: 68.40728343078257
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The physical properties of an object, such as mass, significantly affect how we manipulate it with our hands. Surprisingly, this aspect has so far been neglected in prior work on 3D motion synthesis. To improve the naturalness of the synthesized 3D hand object motions, this work proposes MACS the first MAss Conditioned 3D hand and object motion Synthesis approach. Our approach is based on cascaded diffusion models and generates interactions that plausibly adjust based on the object mass and interaction type. MACS also accepts a manually drawn 3D object trajectory as input and synthesizes the natural 3D hand motions conditioned by the object mass. This flexibility enables MACS to be used for various downstream applications, such as generating synthetic training data for ML tasks, fast animation of hands for graphics workflows, and generating character interactions for computer games. We show experimentally that a small-scale dataset is sufficient for MACS to reasonably generalize across interpolated and extrapolated object masses unseen during the training. Furthermore, MACS shows moderate generalization to unseen objects, thanks to the mass-conditioned contact labels generated by our surface contact synthesis model ConNet. Our comprehensive user study confirms that the synthesized 3D hand-object interactions are highly plausible and realistic.
• Abstract（参考訳）: 質量のような物体の物理的性質は、我々の手でそれを操作する方法に大きな影響を与えます。 驚くべきことに、これまでの3dモーション合成の作業では、この側面は無視されている。 本研究は, 合成した3次元手の動きの自然性を改善するために, MACSによる最初のMAss Conditioned 3Dハンドとオブジェクトモーション合成手法を提案する。 提案手法はカスケード拡散モデルに基づき,物体質量と相互作用型に基づいて再現可能な相互作用を生成する。 MACSはまた、手動で描画された3Dオブジェクトの軌跡を入力として受け入れ、オブジェクトの質量によって条件付けられた自然な3Dハンドモーションを合成する。 この柔軟性により、MLタスク用の合成トレーニングデータの生成、グラフィックワークフロー用のハンドの高速アニメーション、コンピュータゲーム用のキャラクターインタラクションの生成など、さまざまなダウンストリームアプリケーションにMACSを使用することができる。 我々は,MACSが訓練中に見つからない補間および外挿された物体の質量を合理的に一般化するのに,小規模データセットが十分であることを示す。 さらにmacは,表面接触合成モデルであるconnetが生成するマスコンディショニングコンタクトラベルにより,被写体に対する適度な一般化を示す。 総合的なユーザ調査により、合成された3Dハンドオブジェクトの相互作用は、極めて可塑性でリアルであることが確認された。

関連論文リスト

• MOSS: Motion-based 3D Clothed Human Synthesis from Monocular Video [14.683309699648175]
  ワンビューの人間の再構築は、仮想現実の応用において中心的な位置を占めている。 現在の手法は、運動が表面の変形に与える影響をしばしば見落とし、その結果、表面は大域的な動きによって課される制約を欠いている。 運動に基づく3次元衣料合成 (MOSS) を導入し, 運動認識型ガウス分割を実現する。
  論文  参考訳（メタデータ） (2024-05-21T13:57:53Z)
• PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation [62.53760963292465]
  PhysDreamerは物理に基づくアプローチで、静的な3Dオブジェクトにインタラクティブなダイナミクスを与える。 本稿では, 弾性物体の多様な例について考察し, ユーザスタディを通じて合成された相互作用の現実性を評価する。
  論文  参考訳（メタデータ） (2024-04-19T17:41:05Z)
• HOIDiffusion: Generating Realistic 3D Hand-Object Interaction Data [42.49031063635004]
  本研究では,現実的かつ多様な3次元ハンドオブジェクトインタラクションデータを生成するためのHOIDiffusionを提案する。 本モデルは,3次元手対象幾何学構造とテキスト記述を画像合成の入力として用いた条件拡散モデルである。 生成した3Dデータを6次元オブジェクトのポーズ推定学習に適用し,認識システムの改善に有効であることを示す。
  論文  参考訳（メタデータ） (2024-03-18T17:48:31Z)
• VR-based generation of photorealistic synthetic data for training hand-object tracking models [0.0]
  ブレンダー・ホアシンス (blender-hoisynth) は、ブレンダーソフトウェアに基づくインタラクティブな合成データ生成装置である。 ユーザーは標準のバーチャルリアリティハードウェアを使用して、仮想手でオブジェクトと対話することができる。 私たちは、よく知られたDexYCBデータセットのトレーニングデータの大部分をホアシンスデータに置き換え、最先端のHOI再構築モデルをトレーニングします。
  論文  参考訳（メタデータ） (2024-01-31T14:32:56Z)
• Object Motion Guided Human Motion Synthesis [22.08240141115053]
  大規模物体の操作におけるフルボディ人体動作合成の問題点について検討する。 条件付き拡散フレームワークであるOMOMO(Object Motion Guided Human Motion synthesis)を提案する。 我々は、操作対象物にスマートフォンを装着するだけで、全身の人間の操作動作をキャプチャする新しいシステムを開発した。
  論文  参考訳（メタデータ） (2023-09-28T08:22:00Z)
• ROAM: Robust and Object-Aware Motion Generation Using Neural Pose Descriptors [73.26004792375556]
  本稿では,3次元オブジェクト認識キャラクタ合成における新しいシーンオブジェクトへのロバストさと一般化が,参照オブジェクトを1つも持たないモーションモデルをトレーニングすることで実現可能であることを示す。 我々は、オブジェクト専用のデータセットに基づいて訓練された暗黙的な特徴表現を活用し、オブジェクトの周りのSE(3)-同変記述体フィールドをエンコードする。 本研究では,3次元仮想キャラクタの動作と相互作用の質,および未知のオブジェクトを持つシナリオに対するロバスト性を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-08-24T17:59:51Z)
• GRIP: Generating Interaction Poses Using Spatial Cues and Latent Consistency [57.9920824261925]
  手は器用で多用途なマニピュレータであり、人間が物体や環境とどのように相互作用するかの中心である。 現実的な手オブジェクトの相互作用をモデル化することは、コンピュータグラフィックス、コンピュータビジョン、混合現実の応用において重要である。 GRIPは、体と物体の3次元運動を入力として取り、物体の相互作用の前、中、後の両方の両手の現実的な動きを合成する学習ベースの手法である。
  論文  参考訳（メタデータ） (2023-08-22T17:59:51Z)
• Reconfigurable Data Glove for Reconstructing Physical and Virtual Grasps [100.72245315180433]
  本研究では,人間の手-物体相互作用の異なるモードを捉えるために,再構成可能なデータグローブの設計を提案する。 グローブは3つのモードで動作し、異なる特徴を持つ様々な下流タスクを実行する。 i)手の動きと関連力を記録し,(ii)VRの操作流速を改善するとともに,(iii)様々なツールの現実的なシミュレーション効果を生み出すことにより,システムの3つのモードを評価する。
  論文  参考訳（メタデータ） (2023-01-14T05:35:50Z)
• IMoS: Intent-Driven Full-Body Motion Synthesis for Human-Object Interactions [69.95820880360345]
  そこで本研究では,仮想人物の全身動作を3Dオブジェクトで合成する最初のフレームワークを提案する。 本システムでは,オブジェクトと仮想文字の関連意図を入力テキストとして記述する。 その結果, 80%以上のシナリオにおいて, 合成された全身運動は参加者よりリアルに見えることがわかった。
  論文  参考訳（メタデータ） (2022-12-14T23:59:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。