論文の概要: How Do I Do That? Synthesizing 3D Hand Motion and Contacts for Everyday Interactions

• arxiv url: http://arxiv.org/abs/2504.12284v1
• Date: Wed, 16 Apr 2025 17:48:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-24 16:17:05.130244
• Title: How Do I Do That? Synthesizing 3D Hand Motion and Contacts for Everyday Interactions
• Title（参考訳）: どうしたらいいのか? 日々のインタラクションのための3Dハンドモーションとコンタクトの合成
• Authors: Aditya Prakash, Benjamin Lundell, Dmitry Andreychuk, David Forsyth, Saurabh Gupta, Harpreet Sawhney,
• Abstract要約: 我々は,RGBビュー,アクションテキスト,オブジェクト上の3次元接触点を入力として,3次元手の動きと接触地図(または対話軌跡)を予測するという新たな課題に取り組む。 本手法は,(1)手ポーズと接触点の潜在コードブックを学習するVQVAEモデル,(2)対話軌跡を効果的にトークン化するInteraction Predictor: テスト時間入力から対話軌跡を予測するTransformer-Decoderモジュールから構成される。
• 参考スコア（独自算出の注目度）: 13.854929222017121
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We tackle the novel problem of predicting 3D hand motion and contact maps (or Interaction Trajectories) given a single RGB view, action text, and a 3D contact point on the object as input. Our approach consists of (1) Interaction Codebook: a VQVAE model to learn a latent codebook of hand poses and contact points, effectively tokenizing interaction trajectories, (2) Interaction Predictor: a transformer-decoder module to predict the interaction trajectory from test time inputs by using an indexer module to retrieve a latent affordance from the learned codebook. To train our model, we develop a data engine that extracts 3D hand poses and contact trajectories from the diverse HoloAssist dataset. We evaluate our model on a benchmark that is 2.5-10X larger than existing works, in terms of diversity of objects and interactions observed, and test for generalization of the model across object categories, action categories, tasks, and scenes. Experimental results show the effectiveness of our approach over transformer & diffusion baselines across all settings.
• Abstract（参考訳）: 我々は,RGBビュー,アクションテキスト,オブジェクト上の3次元接触点を入力として,3次元手の動きと接触マップ(または対話軌道)を予測するという新たな課題に取り組む。 本手法は,(1)手ポーズと接触点の潜在コードブックを学習するためのVQVAEモデル,(2)対話軌跡の効果的トークン化,(2)対話予測モジュール:テスト時間入力から対話軌跡を予測するためのインデクサモジュールを用いて,学習したコードブックから潜在価格を検索する。 モデルをトレーニングするために,多様なHoloAssistデータセットから3次元手ポーズと接触軌跡を抽出するデータエンジンを開発した。 対象物と相互作用の多様性の観点から,既存の作業よりも2.5～10倍大きいベンチマークでモデルを評価し,対象カテゴリ,アクションカテゴリ,タスク,シーン間のモデルの一般化を検証した。 実験結果から, 変圧器および拡散基線に対するアプローチの有効性が得られた。

関連論文リスト

• IAAO: Interactive Affordance Learning for Articulated Objects in 3D Environments [56.85804719947]
  IAAOは知的エージェントのための明示的な3Dモデルを構築するフレームワークで,対話を通して環境内の明瞭な物体の理解を得る。 マスク特徴とビュー一貫性ラベルを多視点画像から抽出し,まず3次元ガウススティング(3DGS)を用いて各オブジェクト状態の階層的特徴とラベルフィールドを構築する。 次に、3Dガウスプリミティブ上でオブジェクトと部分レベルのクエリを実行し、静的および明瞭な要素を識別し、大域的な変換と局所的な調音パラメータをアベイランスとともに推定する。
  論文  参考訳（メタデータ） (2025-04-09T12:36:48Z)
• SIGHT: Single-Image Conditioned Generation of Hand Trajectories for Hand-Object Interaction [86.54738165527502]
  本研究では,物体の1つの画像に対して,現実的かつ多様な3次元ハンドトラジェクトリを生成する新しいタスクを提案する。 手動物体の相互作用の軌跡は、ロボット工学、具体化されたAI、拡張現実、および関連分野の応用に大きな恩恵をもたらす。
  論文  参考訳（メタデータ） (2025-03-28T20:53:20Z)
• Text2HOI: Text-guided 3D Motion Generation for Hand-Object Interaction [8.253265795150401]
  本稿では,3Dにおける手-物間相互作用のシーケンスを生成するための最初のテキスト誘導作業について紹介する。 接触生成のために、VAEベースのネットワークはテキストとオブジェクトメッシュを入力として、手の表面とオブジェクトとの間の接触の確率を生成する。 運動生成のために、トランスフォーマーベースの拡散モデルは、この3Dコンタクトマップを、物理的に可塑性な手オブジェクトの動きを生成するための強力な先行手段として利用する。
  論文  参考訳（メタデータ） (2024-03-31T04:56:30Z)
• HOI-Diff: Text-Driven Synthesis of 3D Human-Object Interactions using Diffusion Models [42.62823339416957]
  テキストのプロンプトによって駆動される現実的な3次元物体間相互作用(HOI)を創出する問題に対処する。 まず、入力テキストに条件付けされた人間と物体の両方の動きを生成するための二重分岐拡散モデル(HOI-DM)を開発する。 また,人間と物体の接触領域を予測するためのアベイランス予測拡散モデル(APDM)を開発した。
  論文  参考訳（メタデータ） (2023-12-11T17:41:17Z)
• Towards a Unified Transformer-based Framework for Scene Graph Generation and Human-object Interaction Detection [116.21529970404653]
  本稿では,Transformerアーキテクチャに基づく一段階統一モデルであるSG2HOI+を紹介する。 本手法では,SGGとHOI検出のタスクをシームレスに統一する2つの対話型階層変換器を用いる。 提案手法は最先端のHOI法と比較して競争性能が向上する。
  論文  参考訳（メタデータ） (2023-11-03T07:25:57Z)
• ROAM: Robust and Object-Aware Motion Generation Using Neural Pose Descriptors [73.26004792375556]
  本稿では,3次元オブジェクト認識キャラクタ合成における新しいシーンオブジェクトへのロバストさと一般化が,参照オブジェクトを1つも持たないモーションモデルをトレーニングすることで実現可能であることを示す。 我々は、オブジェクト専用のデータセットに基づいて訓練された暗黙的な特徴表現を活用し、オブジェクトの周りのSE(3)-同変記述体フィールドをエンコードする。 本研究では,3次元仮想キャラクタの動作と相互作用の質,および未知のオブジェクトを持つシナリオに対するロバスト性を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-08-24T17:59:51Z)
• Estimating 3D Motion and Forces of Human-Object Interactions from Internet Videos [49.52070710518688]
  一つのRGBビデオからオブジェクトと対話する人の3D動作を再構築する手法を提案する。 本手法では,被験者の3次元ポーズを物体のポーズ,接触位置,人体の接触力とともに推定する。
  論文  参考訳（メタデータ） (2021-11-02T13:40:18Z)
• Dynamic Modeling of Hand-Object Interactions via Tactile Sensing [133.52375730875696]
  本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。 我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。 この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
  論文  参考訳（メタデータ） (2021-09-09T16:04:14Z)
• Hindsight for Foresight: Unsupervised Structured Dynamics Models from Physical Interaction [24.72947291987545]
  エージェントが世界と対話することを学ぶための鍵となる課題は、オブジェクトの物理的性質を推論することである。 本研究では,ラベルのない3次元点群と画像から直接,ロボットのインタラクションのダイナミクスをモデル化するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-08-02T11:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。