論文の概要: Harnessing Coupled Stream Completion For Human-Object Interaction Modeling
- arxiv url: http://arxiv.org/abs/2609.32551v2
- Date: Tue, 29 Sep 2026 05:31:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:46.606258
- Title: Harnessing Coupled Stream Completion For Human-Object Interaction Modeling
- Title(参考訳): ヒューマン・オブジェクト間相互作用モデリングのためのハーネスリング結合ストリーム補完
- Abstract要約: テキスト・コンディショニング・ヒューマン・オブジェクト・インタラクション(HOI)生成には、身体の動き、物体の軌跡と回転、手関節の調整が必要である。
共有表現は、各ストリームの異なる構造を制限する可能性があるが、独立生成は、各ストリームが他のストリームの変更に応答することを妨げている。
ストリーム状態を分離し、更新を結合する継続的潜在フレームワークであるTRACEを提案する。
- 参考スコア(独自算出の注目度): 3.3791496522934032
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Text-conditioned human-object interaction (HOI) generation requires body motion, object trajectories & rotations, and hand articulation to remain coordinated. These components differ in scale and dynamics, but must agree on contact, relative pose, and timing. A shared representation may limit the distinct structure of each stream, while independent generation prevents each stream from responding to changes in the others. Latent supervision alone also does not directly constrain contact after decoding. We propose TRACE, a continuous latent framework that keeps stream states separate and couples their updates. TRACE encodes body, object, and hand motion into separate latents and predicts each stream velocity from the complete current interaction state. Geometric losses on decoded motion further constrain contact and object-relative motion over time. The same model supports completion of any single absent stream from the other two. Frozen flow features also serve as input to a language model for HOI understanding. Experiments on InterAct, OMOMO, and BEHAVE show that joint completion training improves generation and that frozen flow features improve understanding over raw-motion encoding. On InterAct, TRACE achieves the highest contact precision, recall, and F1 among the compared methods.
- Abstract(参考訳): テキスト・コンディショニング・ヒューマン・オブジェクト・インタラクション(HOI)生成には、身体の動き、物体の軌跡と回転、手関節の調整が必要である。
これらの構成要素はスケールとダイナミクスが異なるが、接触、相対的なポーズ、タイミングで一致しなければならない。
共有表現は、各ストリームの異なる構造を制限する可能性があるが、独立生成は、各ストリームが他のストリームの変更に応答することを妨げている。
遅延監視単独では、デコード後に直接接触を制限しない。
ストリーム状態を分離し、更新を結合する継続的潜在フレームワークであるTRACEを提案する。
TRACEは、身体、物体、手の動きを別個の潜水器に符号化し、それぞれの流速を完全な電流相互作用状態から予測する。
復号化運動における幾何学的損失はさらに接触と物体相対運動を時間とともに制限する。
同じモデルは、他の2つから1つの欠落ストリームの完了をサポートする。
凍結フロー機能は、HOI理解のための言語モデルへの入力としても機能する。
InterAct, OMOMO, BEHAVEの実験により, ジョイント・コンプリート・トレーニングは生成を向上し, 凍結流動特性は生動符号化の理解を向上させることが示された。
InterActでは、TRACEは比較した手法の中で最も高い接触精度、リコール、F1を達成する。
関連論文リスト
- StreamPI: Streaming Multimodal Temporal Modeling for Vision-Language-Action Models [84.17128030384099]
StreamPIはストリーミングマルチモーダル時間モデリングフレームワークである。
追加パラメータを導入することなく、単一フレームのVLAに時間的推論能力を持たせる。
メモリ依存および正確な認識シナリオにまたがる実ロボットタスクの実験とシミュレーションベンチマークのLIBEROは、StreamPIが様々なタスクでpi0.5より優れていることを示した。
論文 参考訳(メタデータ) (2026-08-26T17:33:19Z) - MAD-HOI: Masked Autoregressive Diffusion for Generating Articulated Hand Object Interactions from Text [4.764824772285089]
HOI 生成用 Masked Autoregression with Diffusion (MAD-HOI) モデルを提案する。
提案手法は,手動と物体の動きを連続的な潜伏空間に符号化し,ストリームワイズ制御を維持するためにアンタングルを保ったままにすることから始める。
MAD-HOIは、原子および複合的な調音配列の運動生成、条件付き動作完了および埋め込み、および単一の訓練目標からのEOM(End of Motion)予測を行うことができる。
論文 参考訳(メタデータ) (2026-08-10T19:30:59Z) - MotionMAR: Multi-scale Auto-Regressive Human Motion Reconstruction from Sparse Observations [51.837372131319285]
MotionMARは、スパース観測からの運動再構成のためのフレームワークである。
まず、人間の動きのグローバルな軌跡を推定し、時間的詳細を徐々に洗練する。
MotionMARは、AMASSデータセット上で最先端の精度を達成する。
論文 参考訳(メタデータ) (2026-06-22T08:15:56Z) - HO-Flow: Generalizable Hand-Object Interaction Generation with Latent Flow Matching [113.81911881001905]
HO-Flowはテキストと正準3Dオブジェクトから現実的な手動動作シーケンスを合成するためのフレームワークである。
まず、手動と物体の動きのシーケンスを統一された潜在多様体に符号化するために、相互作用を意識した変分オートエンコーダを用いる。
次に、自己回帰的時間的推論と連続的な潜伏生成を組み合わせたマスク付きフローマッチングモデルを利用する。
論文 参考訳(メタデータ) (2026-04-12T22:06:11Z) - PRISM: Streaming Human Motion Generation with Per-Joint Latent Decomposition [42.434871160461206]
既存のモーションオートエンコーダは各フレームを1つのモノリシック潜在ベクトルに圧縮する。
PRISMを提示し、各課題に専用のコントリビューションで対処する。
本研究では,テキスト・ツー・モーション,ポーズ・コンディショニング,自己回帰的逐次生成,ナラティブ・モーション・コンポジションをシームレスに扱う単一動作生成基盤モデルを訓練する。
論文 参考訳(メタデータ) (2026-03-09T16:41:15Z) - Interact2Ar: Full-Body Human-Human Interaction Generation via Autoregressive Diffusion Models [80.28579390566298]
テキスト条件付き自己回帰拡散モデルであるInteract2Arを導入する。
ハンドキネマティクスは専用のパラレルブランチを通じて組み込まれ、高忠実度フルボディ生成を可能にする。
我々のモデルは、時間的動きの合成、外乱へのリアルタイム適応、ディヤディックからマルチパーソンシナリオへの拡張など、一連のダウンストリームアプリケーションを可能にする。
論文 参考訳(メタデータ) (2025-12-22T18:59:50Z) - Seamless Human Motion Composition with Blended Positional Encodings [38.85158088021282]
後処理や冗長な復調ステップを伴わずにシームレスなヒューマン・モーション・コンポジション(HMC)を生成する最初の拡散モデルであるフローMDMを紹介する。
我々はBabelとHumanML3Dデータセットの精度、リアリズム、スムーズさの観点から最先端の結果を得る。
論文 参考訳(メタデータ) (2024-02-23T18:59:40Z) - InterControl: Zero-shot Human Interaction Generation by Controlling Every Joint [67.6297384588837]
関節間の所望距離を維持するために,新しい制御可能な運動生成手法であるInterControlを導入する。
そこで本研究では,既成の大規模言語モデルを用いて,ヒューマンインタラクションのための結合ペア間の距離を生成できることを実証した。
論文 参考訳(メタデータ) (2023-11-27T14:32:33Z) - Synthesizing Long-Term Human Motions with Diffusion Models via Coherent
Sampling [74.62570964142063]
テキスト・トゥ・モーション・ジェネレーションは注目されているが、既存の手法のほとんどは短期的な動きに限られている。
本稿では,2つのコヒーレントサンプリング手法を用いた過去の拡散モデルを用いた新しい手法を提案する。
提案手法は,ユーザの指示した長文ストリームによって制御された,構成的かつコヒーレントな3次元人間の動作を生成することができる。
論文 参考訳(メタデータ) (2023-08-03T16:18:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。