論文の概要: SAGE: Synchronized Action-Gaze Recognition and Anticipation for Human Behavior Understanding
- arxiv url: http://arxiv.org/abs/2607.04017v1
- Date: Sat, 04 Jul 2026 20:23:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.793018
- Title: SAGE: Synchronized Action-Gaze Recognition and Anticipation for Human Behavior Understanding
- Title（参考訳）: SAGE: 行動の同時認識と人間の行動理解への期待
- Abstract要約: 本稿では,人間の視線の同時認識と予測を単一エンドツーエンドトレーニングモデルに統合する,新たな統合フレームワークであるSAGE(Synchronized Action-Gaz-E)を提案する。
提案手法は、トランスフォーマーに基づくアーキテクチャを活用し、視線データを時間的注意機構に組み込んで、現在および将来の人間の行動と視線行動の同時予測を行う。
- 参考スコア（独自算出の注目度）: 10.66901115053585
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human object interaction (HOI), gaze pattern, and their anticipation are intricately linked, providing valuable insights into cognitive processes, intentions, and behavior. However, most existing models handle gaze and actions separately, missing both their interdependence and the advantages of a unified solution. This paper presents a novel unified framework, SAGE (Synchronized Action-GazE), which integrates simultaneous recognition and anticipation of both HOI and human gaze into a single unified end-to-end trainable model. Our approach leverages a transformer-based architecture and incorporates gaze data into spatiotemporal attention mechanisms to simultaneously predict current and future human actions and gaze behavior. We explore this bidirectional relationship between gaze and actions under different scenarios, whether requiring a close-up, detailed view (egocentric) or a wider, more contextual view (exocentric), making our framework versatile for various applications. Additionally, due to lack of datasets for comprehensive analysis of both HOI and gaze in exocentric videos, we establish a new benchmark Exo-Cook to facilitate further research in this domain. Experiments on three benchmark datasets: VidHOI, EGTEA Gaze+, and Exo-Cook show that jointly modeling gaze and actions across current and future frames achieves consistently strong results, often surpassing specialized state-of-the-art models tailored to individual tasks. By unifying actions and attention in a comprehensive way, our work lays the groundwork for more intuitive human-machine interaction.
- Abstract（参考訳）: 人間の物体の相互作用(HOI)、視線パターン、その予測は複雑に結びついており、認知過程、意図、行動に関する貴重な洞察を提供する。
しかし、既存のモデルの多くは視線と行動を別々に扱い、相互依存と統合されたソリューションの利点の両方を欠いている。
本稿では,HOIとヒトの視線の同時認識と予測を,単一のエンドツーエンドトレーニングモデルに統合する,新たな統合フレームワークであるSAGE(Synchronized Action-GazE)を提案する。
提案手法は、トランスフォーマーに基づくアーキテクチャを活用し、視線データを時空間の注意機構に組み込んで、現在および将来の人間の行動と視線行動の同時予測を行う。
我々は、様々なシナリオ下での視線と行動の双方向関係を探究し、クローズアップで詳細な視点(エゴセントリック)が必要か、より広い文脈的な視点(エゴセントリック)が必要か、フレームワークが様々なアプリケーションに汎用的であるかを検討します。
さらに,HOIを包括的に分析するためのデータセットの欠如や,エキソセントリックなビデオの視認により,この領域におけるさらなる研究を促進するために,Exo-Cookという新たなベンチマークを構築した。
VidHOI、EGTEA Gaze+、Exo-Cookの3つのベンチマークデータセットの実験によると、現在のフレームと将来のフレームをまたいで、視線とアクションを共同でモデリングすることで、一貫して強力な結果が得られる。
行動と注意を包括的に統一することで、我々の研究はより直感的な人間と機械の相互作用の基礎となる。
関連論文リスト
- Inter-X++: A Comprehensive Benchmark for Multimodal Human-Human Interaction Analysis [55.78822230833247]
We present Inter-X++, a comprehensive and large-scale benchmark designed to empower useful HHI analysis。
インターX++は11,388個の高忠実な相互作用シーケンスと8.1Mフレームを提供する。
インタラクションの再構築と意味理解を協調的に最適化する,単一かつ統一されたHHI表現とモデリングフレームワークOpenHHIを提案する。
論文 参考訳（メタデータ） (2026-08-20T17:51:48Z) - Astra: General Interactive World Model with Autoregressive Denoising [73.6594791733982]
Astraはインタラクティブな汎用世界モデルであり、多様なシナリオのために現実世界の未来を生成する。
本稿では,自己回帰型認知型アーキテクチャを提案し,時間的因果的注意を用いて過去の観測を集約する。
Astraはインタラクティブで一貫性があり、一般的な長期的なビデオ予測を実現し、様々な形式のインタラクションをサポートする。
論文 参考訳（メタデータ） (2025-12-09T18:59:57Z) - Contextualized Representation Learning for Effective Human-Object Interaction Detection [17.242400169885453]
ヒューマンオブジェクトインタラクション(HOI)検出は、人間オブジェクトのペアを同時にローカライズし、その相互作用を認識することを目的としている。
本研究では,条件付き推論と文脈的プロンプトを統合した文脈適応型表現学習を提案する。
提案手法は, HICO-DetデータセットとV-COCOデータセットの両方において, 多くのシナリオにおいて優れた性能を示す。
論文 参考訳（メタデータ） (2025-09-16T08:03:16Z) - Geometric Visual Fusion Graph Neural Networks for Multi-Person Human-Object Interaction Recognition in Videos [14.198003271084799]
ビデオにおけるHuman-Object Interaction(HOI)認識には、時間とともに進化していく視覚的パターンと幾何学的関係の両方を理解する必要がある。
本稿では,相互依存型実体グラフ学習と組み合わせた2重アテンション特徴フュージョンを用いたGeometric Visual Fusion Graph Neural Network (GeoVis-GNN)を提案する。
実世界のシナリオにHOI認識を前進させるために、コンカレント部分的相互作用データセットを導入する。
論文 参考訳（メタデータ） (2025-06-03T22:51:44Z) - Learning from Observer Gaze:Zero-Shot Attention Prediction Oriented by Human-Object Interaction Recognition [13.956664101032006]
まず,740種類の相互作用カテゴリの530,000個の固定点を含む,IGという新しい視線固定データセットを収集した。
次に、ゼロショットインタラクション指向の注意予測タスクZeroIAを紹介し、トレーニング中に遭遇しないインタラクションに対する視覚的手がかりを予測するモデルに挑戦する。
第3に、人間観測者の認知過程をエミュレートしてZeroIA問題に取り組むための対話型注意モデルIAを提案する。
論文 参考訳（メタデータ） (2024-05-16T09:34:57Z) - Gaze-guided Hand-Object Interaction Synthesis: Dataset and Method [61.19028558470065]
本稿では,視線,手,物間相互作用の3次元モデリングを同時に行う最初のデータセットであるGazeHOIを紹介する。
これらの課題に対処するため,GHO-Diffusion という手動物体間相互作用拡散モデルを提案する。
また, GHO拡散のサンプリング段階におけるHOI-Manifold Guidanceを導入し, 生成した動きのきめ細かい制御を可能にする。
論文 参考訳（メタデータ） (2024-03-24T14:24:13Z) - Learning Mutual Excitation for Hand-to-Hand and Human-to-Human Interaction Recognition [21.007782102151282]
相互励起グラフ畳み込み層を積み重ねた相互励起グラフ畳み込みネットワーク(me-GCN)を提案する。
Me-GCは各レイヤとグラフ畳み込み操作の各ステージで相互情報を学習する。
提案するme-GCは,最先端GCN法およびTransformer法より優れている。
論文 参考訳（メタデータ） (2024-02-04T10:00:00Z) - Disentangled Interaction Representation for One-Stage Human-Object
Interaction Detection [70.96299509159981]
ヒューマン・オブジェクト・インタラクション(HOI)検出は、人間中心の画像理解のコアタスクである。
最近のワンステージ手法では、対話予測に有用な画像ワイドキューの収集にトランスフォーマーデコーダを採用している。
従来の2段階の手法は、非絡み合いで説明可能な方法で相互作用特徴を構成する能力から大きな恩恵を受ける。
論文 参考訳（メタデータ） (2023-12-04T08:02:59Z) - Enhancing HOI Detection with Contextual Cues from Large Vision-Language Models [56.257840490146]
ConCueは、HOI検出における視覚的特徴抽出を改善するための新しいアプローチである。
コンテクストキューをインスタンスと相互作用検出器の両方に統合するマルチトウワーアーキテクチャを用いたトランスフォーマーベースの特徴抽出モジュールを開発した。
論文 参考訳（メタデータ） (2023-11-26T09:11:32Z) - Towards a Unified Transformer-based Framework for Scene Graph Generation
and Human-object Interaction Detection [116.21529970404653]
本稿では,Transformerアーキテクチャに基づく一段階統一モデルであるSG2HOI+を紹介する。
本手法では,SGGとHOI検出のタスクをシームレスに統一する2つの対話型階層変換器を用いる。
提案手法は最先端のHOI法と比較して競争性能が向上する。
論文 参考訳（メタデータ） (2023-11-03T07:25:57Z) - TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。
実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。
評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
論文 参考訳（メタデータ） (2021-04-08T20:01:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。