論文の概要: HAP: A Hand-Driven Active Perception Framework for Egocentric Head Motion Prediction
- arxiv url: http://arxiv.org/abs/2609.18548v1
- Date: Wed, 16 Sep 2026 12:13:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.79352
- Title: HAP: A Hand-Driven Active Perception Framework for Egocentric Head Motion Prediction
- Title(参考訳): HAP:エゴセントリックな頭部運動予測のための手動型能動知覚フレームワーク
- Abstract要約: エゴセントリックな動き予測は主に手と操作対象に焦点を当てており、将来の人間の頭部の動きは比較的過小評価されている。
今後6自由度(6-DoF)の頭部運動予測を手の動きと推定対象コンテキストに基づいて定式化する。
本稿では,目標視認性の変化にともなう頭部と手の動きを調整した,オブジェクト操作のエゴセントリックなRGB-DデータセットであるBottleを紹介する。
- 参考スコア(独自算出の注目度): 17.601756896740778
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Egocentric motion forecasting has primarily focused on hands and manipulated objects, leaving future human head motion comparatively underexplored. During manipulation, the head both redirects perception toward the target to acquire task-relevant evidence and coordinates with body and hand motion. We therefore formulate future six Degree of Freedom (6-DoF) head-motion prediction conditioned on observed hand motion and inferred target context, and propose HAP, a Hand-Driven Active Perception framework. HAP infers confidence for each target object from observed hand motion and object geometry. Then constructs a dynamic Predictive Target-Centric Amodal Occlusion Graph (P-TAOG) representing current and potential occlusion among candidate objects. Directed graph and causal temporal reasoning encode the evolving target conditioned perceptual state, which is fused with hand and head motion history. A horizon-wise gate then blends the learned trajectory with a constant velocity prior. We further introduce Bottle, an egocentric RGB-D dataset of object manipulation toward specified targets, with coordinated head and hand motion under changing target visibility. Experiments on the public dataset and Bottle show that HAP achieves lower head motion prediction errors than representative baselines, supporting the value of hand driven intention and dynamic occlusion reasoning for anticipating human head motion. Code will be released at https://HAP-ego.github.io/HAP.
- Abstract(参考訳): エゴセントリックな動き予測は主に手と操作対象に焦点を当てており、将来の人間の頭部の動きは比較的過小評価されている。
操作中、頭部はどちらも目標に向かって知覚をリダイレクトし、タスク関連証拠を取得し、身体と手の動きと協調する。
そこで我々は、観測された手の動きと推定対象コンテキストに基づいて、将来の6自由度(6-DoF)の頭部運動予測を定式化し、ハンド駆動型アクティブ・パーセプションフレームワークであるHAPを提案する。
HAPは、観測された手の動きと物体形状から、各対象物に対する信頼度を推定する。
次に、候補オブジェクトの現在および潜在的閉塞を表す動的予測的ターゲット・中心アモーダルオクルージョングラフ(P-TAOG)を構築する。
方向グラフと因果時間推論は、手と頭の動き履歴を融合した、進化する目標条件付き知覚状態を符号化する。
水平方向のゲートは、学習された軌道と一定の速度を前もってブレンドする。
さらに,目標視認性の変化にともなう頭部と手の動きを調整した,オブジェクト操作のエゴセントリックなRGB-DデータセットであるBottleを紹介した。
パブリックデータセットとBottleの実験では、HAPが代表ベースラインよりも低い頭部運動予測誤差を達成し、人間の頭部運動を予測するための手動意図と動的閉塞推論の値を支持することが示されている。
コードはhttps://HAP-ego.github.io/HAPでリリースされる。
関連論文リスト
- EggHand: A Multimodal Foundation Model for Egocentric Hand Pose Forecasting [11.687067206676625]
EggHandは、エゴセントリックな手ポーズ予測のための基盤モデルベースのフレームワークである。
動的モーションモデリングとマルチモーダルなセマンティック推論を統一する。
提案手法は,エゴモーション下でのジェネリックビジュアルエンコーダの脆さを克服する。
論文 参考訳(メタデータ) (2026-05-08T12:09:27Z) - EscherVerse: An Open World Benchmark and Dataset for Teleo-Spatial Intelligence with Physical-Dynamic and Intent-Driven Understanding [56.89359230139883]
本稿では,Teleo-Spatial Intelligence(TSI)について紹介する。
本稿では、大規模なオープンワールドベンチマーク(Escher-Bench)、データセット(Escher-35k)、モデル(Escherシリーズ)からなるEscherVerseを紹介する。
これはIntent-Driven Reasoningを体系的に評価する最初のベンチマークである。
論文 参考訳(メタデータ) (2026-01-04T14:42:39Z) - CoopDiff: Anticipating 3D Human-object Interactions via Contact-consistent Decoupled Diffusion [62.93198247045824]
3Dヒューマンオブジェクトインタラクション(HOI)は,人間の将来の動きとその操作対象を,歴史的文脈で予測することを目的としている。
そこで我々は,人間と物体の運動モデリングを分離するために,2つの異なる分岐を用いた接触非結合拡散フレームワークCoopDiffを提案する。
論文 参考訳(メタデータ) (2025-08-10T03:29:17Z) - Estimating Body and Hand Motion in an Ego-sensed World [62.61989004520802]
頭部装着装置から人体の動きを推定するシステムであるEgoAlloについて述べる。
エゴセントリックなSLAMポーズとイメージのみを使用して、EgoAlloは条件付き拡散モデルからサンプリングを行い、3Dボディポーズ、高さ、手のパラメータを推定する。
論文 参考訳(メタデータ) (2024-10-04T17:59:57Z) - Diff-IP2D: Diffusion-Based Hand-Object Interaction Prediction on Egocentric Videos [22.81433371521832]
そこで我々は,Diff-IP2Dを提案する。
提案手法は,市販のメトリクスと新たに提案した評価プロトコルの両方において,最先端のベースラインを大幅に上回っている。
論文 参考訳(メタデータ) (2024-05-07T14:51:05Z) - WANDR: Intention-guided Human Motion Generation [67.07028110459787]
我々は,アバターの初期ポーズとゴールの3D位置を取り,ゴール位置にエンドエフェクタ(抵抗)を配置する自然な人間の動きを生成するデータ駆動モデルであるWADRを紹介する。
インテンションはエージェントをゴールに誘導し、サブゴールやモーションパス全体を定義することなく、新しい状況にインタラクティブに世代を適応させる。
提案手法を広範に評価し,3次元目標に到達した自然および長期の動作と,見当たらない目標位置を生成できることを実証する。
論文 参考訳(メタデータ) (2024-04-23T10:20:17Z) - GIMO: Gaze-Informed Human Motion Prediction in Context [75.52839760700833]
本研究では、高品質なボディポーズシーケンス、シーンスキャン、目視によるエゴ中心のビューを提供する大規模な人体動作データセットを提案する。
私たちのデータ収集は特定のシーンに縛られません。
視線の全可能性を実現するために,視線と運動枝の双方向通信を可能にする新しいネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2022-04-20T13:17:39Z) - TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。
実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。
評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
論文 参考訳(メタデータ) (2021-04-08T20:01:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。