論文の概要: Gaze2HOI: Gaze-Aware Intention Disambiguation for Egocentric Hand-Object Interaction Forecasting

• arxiv url: http://arxiv.org/abs/2610.27877v1
• Date: Tue, 20 Oct 2026 08:59:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.733449
• Title: Gaze2HOI: Gaze-Aware Intention Disambiguation for Egocentric Hand-Object Interaction Forecasting
• Title（参考訳）: Gaze2HOI:Egocentric Hand-Object Interaction ForecastingのためのGaze-Aware Intention Disambiguation
• Abstract要約: 本稿では,手動インタラクション予測を定式化した視線認識フレームワークGaze2HOIを提案する。 Gaze2HOIの最初の重み付けは、固定強度と電流による視線キューの重み付けであり、視覚言語モデルの視覚的表現を変調するためにそれらを使用する。 予測接触接地モジュールは、構造化意図を明示的な接触、支持、配置フィールドにマッピングする。 拡散モデルにより、6-DoF物体軌跡と将来の両手の関節運動を共同生成する。
• 参考スコア（独自算出の注目度）: 45.81287088860959
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Anticipating how users will interact with their surroundings is essential for proactive systems that provide timely assistance in AR, VR, and embodied applications. Prior work typically forecasts hand-object interactions directly from historical observations, leaving intention and contact geometry implicit. However, similar observation histories can precede semantically or geometrically distinct futures. Inspired by behavioral evidence that gaze can provide early cues for underlying intention, we propose Gaze2HOI, a gaze-aware framework that formulates hand-object interaction forecasting as a hierarchical problem comprising intention inference, contact grounding, and coupled hand-object motion generation. Specifically, Gaze2HOI first weights gaze cues by fixation strength and recency, and uses them to modulate the visual representations of a vision-language model (VLM) through Temporal Gaze Saliency Modulation (TGSM), thereby reducing semantic ambiguity in intention inference. Subsequently, an Anticipatory Contact Grounding (ACG) module maps these structured intentions into explicit contact, support, and placement fields, effectively mitigating geometric ambiguity. Driven by these explicit conditions, a diffusion-based model jointly generates the 6-DoF object trajectories and future articulated motion of both hands. To evaluate Gaze2HOI, we further introduce EgoAIM, a phase-aware benchmark that organizes egocentric hand-object interactions into four phases defined by evolving hand-object relations and provides fine-grained intention annotations. Extensive experiments demonstrate that Gaze2HOI achieves state-of-the-art performance in both intention inference and motion forecasting, even approaching oracle-level end-to-end performance in specific interaction phases. Project page: https://gaze2hoi.github.io/.
• Abstract（参考訳）: ユーザーが周囲とどのようにやりとりするかを予測することは、AR、VR、エンボディされたアプリケーションにタイムリーな支援を提供するプロアクティブシステムにとって不可欠である。 以前の研究は通常、歴史的観測から直接手動の相互作用を予測し、意図や接触幾何学を暗黙的に残す。 しかし、同様の観察履歴は、意味的に、または幾何学的に異なる未来に先行する可能性がある。 本研究は,視線が早期の手がかりとなる行動証拠に着想を得て,意図推論,接触接地,複合手物体運動生成を含む階層的問題として,手物体間相互作用予測を定式化する視線認識フレームワークGaze2HOIを提案する。 特に、Gaze2HOIは、固定強度と傾きによって視線を第一に重み付け、テンポラル・ゲイズ・サリエンシ・モジュレーション(TGSM)を通して視覚言語モデル(VLM)の視覚的表現を変調することで、意図的推論における意味的曖昧さを低減する。 その後、予測接触接地(ACG)モジュールは、これらの構造された意図を明示的な接触、支持、配置フィールドにマッピングし、幾何学的曖昧さを効果的に緩和する。 これらの明示的な条件により、拡散に基づくモデルは、両手の6-DoF物体軌道と将来の関節運動を共同で生成する。 Gaze2HOIを評価するために,エゴセントリックな手オブジェクト間相互作用を,手オブジェクト関係の進化によって定義された4つのフェーズに整理し,きめ細かな意図的アノテーションを提供する相認識型ベンチマークであるEgoAIMを導入する。 広汎な実験により、Gaze2HOIは、特定の相互作用フェーズにおけるオラクルレベルのエンドツーエンドのパフォーマンスに近づいたとしても、意図推論と動き予測の両方において最先端のパフォーマンスを達成することを示した。 プロジェクトページ: https://gaze2hoi.github.io/.com

関連論文リスト

• Gaze-guided Hand-Object Interaction Synthesis: Dataset and Method [61.19028558470065]
  本稿では,視線,手,物間相互作用の3次元モデリングを同時に行う最初のデータセットであるGazeHOIを紹介する。 これらの課題に対処するため,GHO-Diffusion という手動物体間相互作用拡散モデルを提案する。 また, GHO拡散のサンプリング段階におけるHOI-Manifold Guidanceを導入し, 生成した動きのきめ細かい制御を可能にする。
  論文  参考訳（メタデータ） (2024-03-24T14:24:13Z)
• Forecasting Action through Contact Representations from First Person Video [7.10140895422075]
  接触を中心とした表現とモデルを導入し,そのモデルを用いて行動予測と予測を行う。 これらのアノテーションを使用して、期待される近い将来のアクションの新たな低レベル表現を生成するモジュールをトレーニングします。 予測モジュールの上に、アクション予測と予測のためのフレームワークであるEgo-OMGを適用します。
  論文  参考訳（メタデータ） (2021-02-01T05:52:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。