論文の概要: DAViD: Modeling Dynamic Affordance of 3D Objects using Pre-trained Video Diffusion Models

• arxiv url: http://arxiv.org/abs/2501.08333v2
• Date: Tue, 11 Mar 2025 21:35:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 22:49:45.697038
• Title: DAViD: Modeling Dynamic Affordance of 3D Objects using Pre-trained Video Diffusion Models
• Title（参考訳）: DAViD:事前学習ビデオ拡散モデルを用いた3次元物体の動的精度のモデル化
• Authors: Hyeonwoo Kim, Sangwon Beak, Hanbyul Joo,
• Abstract要約: 本稿では,様々な対象対象カテゴリにまたがって動的アフォーダンスを学習するための新しいフレームワークを提案する。 4D HOIデータセットの不足に対処するために, 合成した4D HOIサンプルから3次元ダイナミックアベイランスを学習する。 生成的4次元物体相互作用モデルであるDAViDがHOI動作のベースラインを上回っていることを示す。
• 参考スコア（独自算出の注目度）: 9.103840202072336
• License:
• Abstract: Modeling how humans interact with objects is crucial for AI to effectively assist or mimic human behaviors. Existing studies for learning such ability primarily focus on static human-object interaction (HOI) patterns, such as contact and spatial relationships, while dynamic HOI patterns, capturing the movement of humans and objects over time, remain relatively underexplored. In this paper, we present a novel framework for learning Dynamic Affordance across various target object categories. To address the scarcity of 4D HOI datasets, our method learns the 3D dynamic affordance from synthetically generated 4D HOI samples. Specifically, we propose a pipeline that first generates 2D HOI videos from a given 3D target object using a pre-trained video diffusion model, then lifts them into 3D to generate 4D HOI samples. Leveraging these synthesized 4D HOI samples, we train DAViD, our generative 4D human-object interaction model, which is composed of two key components: (1) a human motion diffusion model (MDM) with Low-Rank Adaptation (LoRA) module to fine-tune a pre-trained MDM to learn the HOI motion concepts from limited HOI motion samples, (2) a motion diffusion model for 4D object poses conditioned by produced human interaction motions. Interestingly, DAViD can integrate newly learned HOI motion concepts with pre-trained human motions to create novel HOI motions, even for multiple HOI motion concepts, demonstrating the advantage of our pipeline with LoRA in integrating dynamic HOI concepts. Through extensive experiments, we demonstrate that DAViD outperforms baselines in synthesizing HOI motion.
• Abstract（参考訳）: 人間とオブジェクトの相互作用のモデル化は、AIが人間の振る舞いを効果的に支援または模倣するために不可欠である。 このような能力を学ぶための既存の研究は、主に接触や空間関係のような静的な人間と物体の相互作用(HOI)パターンに焦点を当てているが、動的なHOIパターンは、時間とともに人間と物体の動きを捉え、比較的過小評価されている。 本稿では,様々な対象対象カテゴリにまたがる動的アクダクタンスを学習するための新しいフレームワークを提案する。 4D HOIデータセットの不足に対処するために, 合成した4D HOIサンプルから3次元ダイナミックアベイランスを学習する。 具体的には,事前に訓練した映像拡散モデルを用いて,まず所定の3次元対象物から2D HOI映像を生成し,次にそれを3次元に引き上げて4D HOIサンプルを生成するパイプラインを提案する。 1)ローランド適応 (LoRA) モジュールを用いた人間の動き拡散モデル (MDM) を用いて、訓練済みのMDMを微調整し、限定されたHOIモーションサンプルからHOIモーションの概念を学習する。 興味深いことに、DAViDは、新しい学習されたHOIモーション概念と事前訓練された人間のモーションを統合することで、複数のHOIモーション概念であっても新しいHOIモーションを作成できる。 広範囲な実験を通して,DAViDはHOI運動の合成においてベースラインよりも優れることを示した。

関連論文リスト

• HOIMotion: Forecasting Human Motion During Human-Object Interactions Using Egocentric 3D Object Bounding Boxes [10.237077867790612]
  本稿では,人間と物体の相互作用における人間の動き予測の新しい手法であるHOIMotionを提案する。 提案手法は,過去の身体のポーズやエゴセントリックな3Dオブジェクト境界ボックスに関する情報を統合する。 HOIMotionは、最先端の手法よりも大きなマージンで一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-02T19:58:35Z)
• EgoGaussian: Dynamic Scene Understanding from Egocentric Video with 3D Gaussian Splatting [95.44545809256473]
  エゴガウスアン(EgoGaussian)は、3Dシーンを同時に再構築し、RGBエゴセントリックな入力のみから3Dオブジェクトの動きを動的に追跡する手法である。 動的オブジェクトと背景再構築の品質の両面で,最先端技術と比較して大きな改善が見られた。
  論文  参考訳（メタデータ） (2024-06-28T10:39:36Z)
• WANDR: Intention-guided Human Motion Generation [67.07028110459787]
  我々は,アバターの初期ポーズとゴールの3D位置を取り,ゴール位置にエンドエフェクタ(抵抗)を配置する自然な人間の動きを生成するデータ駆動モデルであるWADRを紹介する。 インテンションはエージェントをゴールに誘導し、サブゴールやモーションパス全体を定義することなく、新しい状況にインタラクティブに世代を適応させる。 提案手法を広範に評価し,3次元目標に到達した自然および長期の動作と,見当たらない目標位置を生成できることを実証する。
  論文  参考訳（メタデータ） (2024-04-23T10:20:17Z)
• DO3D: Self-supervised Learning of Decomposed Object-aware 3D Motion and Depth from Monocular Videos [76.01906393673897]
  本研究では,モノクラービデオから3次元運動と深度を協調的に学習する自己教師手法を提案する。 本システムでは,深度を推定する深度推定モジュールと,エゴモーションと3次元物体の動きを推定する新しい分解対象3次元運動推定モジュールを備える。 我々のモデルは評価されたすべての設定において優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-03-09T12:22:46Z)
• Realistic Human Motion Generation with Cross-Diffusion Models [30.854425772128568]
  クロスヒューマンモーション拡散モデル(クロスディフ) 拡散モデルのトレーニングでは,共有変圧器ネットワークを用いて3次元情報と2次元情報を統合する。 CrossDiffは、両方の表現の強みを効果的に組み合わせて、より現実的なモーションシーケンスを生成する。
  論文  参考訳（メタデータ） (2023-12-18T07:44:40Z)
• Human Performance Capture from Monocular Video in the Wild [50.34917313325813]
  本研究では,挑戦的な身体ポーズを特徴とするモノクロ映像から動的3次元人体形状をキャプチャする手法を提案する。 本手法は,現在開発中の3DPWビデオデータセットにおいて,最先端の手法よりも優れる。
  論文  参考訳（メタデータ） (2021-11-29T16:32:41Z)
• Estimating 3D Motion and Forces of Human-Object Interactions from Internet Videos [49.52070710518688]
  一つのRGBビデオからオブジェクトと対話する人の3D動作を再構築する手法を提案する。 本手法では,被験者の3次元ポーズを物体のポーズ,接触位置,人体の接触力とともに推定する。
  論文  参考訳（メタデータ） (2021-11-02T13:40:18Z)
• 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
  我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。 学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
  論文  参考訳（メタデータ） (2021-07-08T17:49:37Z)
• Hindsight for Foresight: Unsupervised Structured Dynamics Models from Physical Interaction [24.72947291987545]
  エージェントが世界と対話することを学ぶための鍵となる課題は、オブジェクトの物理的性質を推論することである。 本研究では,ラベルのない3次元点群と画像から直接,ロボットのインタラクションのダイナミクスをモデル化するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-08-02T11:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。