論文の概要: Intention-Guided Cognitive Reasoning for Egocentric Long-Term Action Anticipation
- arxiv url: http://arxiv.org/abs/2508.01742v1
- Date: Sun, 03 Aug 2025 12:52:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-05 18:25:22.042319
- Title: Intention-Guided Cognitive Reasoning for Egocentric Long-Term Action Anticipation
- Title（参考訳）: Egocentric Long-Term Action Precipationのための意図誘導型認知推論
- Authors: Qiaohui Chu, Haoyu Zhang, Meng Liu, Yisen Feng, Haoxiang Shi, Liqiang Nie,
- Abstract要約: INSIGHTは、エゴセントリックなアクション予測のための2段階のフレームワークである。
最初の段階では、INSIGHTは手動オブジェクトの相互作用領域から意味的にリッチな特徴を抽出することに焦点を当てている。
第2段階では、明示的な認知的推論をシミュレートする強化学習ベースのモジュールを導入する。
- 参考スコア（独自算出の注目度）: 52.6091162517921
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-term action anticipation from egocentric video is critical for applications such as human-computer interaction and assistive technologies, where anticipating user intent enables proactive and context-aware AI assistance. However, existing approaches suffer from three key limitations: 1) underutilization of fine-grained visual cues from hand-object interactions, 2) neglect of semantic dependencies between verbs and nouns, and 3) lack of explicit cognitive reasoning, limiting generalization and long-term forecasting ability. To overcome these challenges, we propose INSIGHT, a unified two-stage framework for egocentric action anticipation. In the first stage, INSIGHT focuses on extracting semantically rich features from hand-object interaction regions and enhances action representations using a verb-noun co-occurrence matrix. In the second stage, it introduces a reinforcement learning-based module that simulates explicit cognitive reasoning through a structured process: visual perception (think) -> intention inference (reason) -> action anticipation (answer). Extensive experiments on Ego4D, EPIC-Kitchens-55, and EGTEA Gaze+ benchmarks show that INSIGHT achieves state-of-the-art performance, demonstrating its effectiveness and strong generalization capability.
- Abstract（参考訳）: エゴセントリックなビデオからの長期的なアクション予測は、人間とコンピュータのインタラクションや、ユーザの意図を予測することによって、アクティブでコンテキスト対応のAIアシストを可能にするアシスト技術といったアプリケーションに不可欠である。
しかし、既存のアプローチには3つの重要な制限がある。
1)手・物間相互作用によるきめ細かい視覚的手がかりの活用
2)動詞と名詞間の意味的依存関係を無視して,
3)明示的な認知的推論の欠如,一般化の制限,長期予測能力の欠如。
これらの課題を克服するために,エゴセントリックな行動予測のための統合された2段階フレームワークであるINSIGHTを提案する。
第一段階において、INSIGHTは、手・物間相互作用領域から意味的に豊かな特徴を抽出することに焦点を当て、動詞-名詞共起行列を用いて行動表現を強化する。
第2段階では、視覚知覚(思考) ->意図推論(推論) ->行動予測(回答)という、構造化されたプロセスを通じて明確な認知的推論をシミュレートする強化学習ベースのモジュールを導入する。
Ego4D, EPIC-Kitchens-55, EGTEA Gaze+ベンチマークの広範な実験により、INSIGHTは最先端のパフォーマンスを達成し、その有効性と強力な一般化能力を示した。
関連論文リスト
- EgoPrompt: Prompt Learning for Egocentric Action Recognition [49.12318087940015]
EgoPromptは、エゴセントリックな行動認識タスクを実行するための、素早い学習ベースのフレームワークである。
EgoPromptは、内部データセット、クロスデータセット、ベース・ツー・ノーベルの一般化ベンチマークで最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2025-08-05T09:47:07Z) - Reinforcing Spatial Reasoning in Vision-Language Models with Interwoven Thinking and Visual Drawing [62.447497430479174]
空間における推論への描画は、視覚空間における基本的な描画操作を通じてLVLMを推論できる新しいパラダイムである。
我々のモデルはVILASRと呼ばれ、様々な空間推論ベンチマークで既存の手法より一貫して優れています。
論文 参考訳（メタデータ） (2025-06-11T17:41:50Z) - DeepEyes: Incentivizing "Thinking with Images" via Reinforcement Learning [11.242852367476015]
DeepEyesは、エンドツーエンドの強化学習を通じてインセンティブを得た、“イメージで考える”機能を備えたモデルである。
本稿では,ツール・ユース指向のデータ選択機構と報奨戦略を提案する。
DeepEyesは、微粒な認識と推論ベンチマークにおいて、大幅なパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2025-05-20T13:48:11Z) - Seeing Beyond the Scene: Enhancing Vision-Language Models with Interactional Reasoning [27.511627003202538]
伝統的なシーングラフは主に空間的関係に焦点を当て、視覚シーンにおける複雑な相互作用を推論する視覚言語モデル(VLM)の能力を制限する。
本稿では,(1) 従来の検出・構築手法は,非集中的かつ文脈的に無関係な関係集合を生成し,(2) 既存の手法では,新しい場面に起因した相互作用を一般化するための永続記憶の形成に失敗する,という2つの課題に対処する。
本稿では,3つの相補的なコンポーネントを通してVLMの相互作用推論を強化するフレームワークであるISGRを提案する。
論文 参考訳（メタデータ） (2025-05-14T04:04:23Z) - Navigating the State of Cognitive Flow: Context-Aware AI Interventions for Effective Reasoning Support [6.758533259752144]
フロー理論は、個人が深い焦点と本質的な動機を経験する最適な認知状態を記述する。
AIが強化された推論では、認知の流れを乱す介入は意思決定を強化するよりも妨げられる。
本稿では、タイプ、タイミング、スケールに基づいて介入を適応する文脈認識型認知強化フレームワークを提案する。
論文 参考訳（メタデータ） (2025-04-22T16:35:39Z) - A Cognitive Paradigm Approach to Probe the Perception-Reasoning Interface in VLMs [3.2228025627337864]
本稿では,視覚言語モデル(VLM)における知覚推論インタフェースを識別するための構造化評価フレームワークを提案する。
本稿では,人間の問題解決戦略を反映した3つの評価パラダイムを提案する。
このフレームワークを適用したCAは、リッチで独立に生成された記述を推論するために強力な言語モデルを活用し、新しい最先端(SOTA)パフォーマンスを実現することを実証する。
論文 参考訳（メタデータ） (2025-01-23T12:42:42Z) - Actional Atomic-Concept Learning for Demystifying Vision-Language Navigation [124.07372905781696]
行動原子概念学習(Actical Atomic-Concept Learning, ACL)は、視覚的な観察を行動原子の概念にマッピングしてアライメントを促進する。
AACLは、細粒度(R2R)と高レベル(REVERIEとR2R-Last)のVLNベンチマークで新しい最先端結果を確立する。
論文 参考訳（メタデータ） (2023-02-13T03:08:05Z) - Learning Action-Effect Dynamics for Hypothetical Vision-Language
Reasoning Task [50.72283841720014]
本研究では,行動の効果に関する推論を改善する新しい学習戦略を提案する。
本稿では,提案手法の有効性を実証し,性能,データ効率,一般化能力の観点から,従来のベースラインに対する優位性を論じる。
論文 参考訳（メタデータ） (2022-12-07T05:41:58Z) - ReAct: Synergizing Reasoning and Acting in Language Models [44.746116256516046]
大規模言語モデル (LLM) は, 推論トレースとタスク固有動作の両方を, インターリーブ方式で生成可能であることを示す。
我々はReActという名前のアプローチを多種多様な言語と意思決定タスクに適用する。
ReActは、単純なウィキペディアAPIと対話することで、チェーン・オブ・ソート推論でよく見られる幻覚やエラーの伝播の問題を克服する。
論文 参考訳（メタデータ） (2022-10-06T01:00:32Z) - Self-Regulated Learning for Egocentric Video Activity Anticipation [147.9783215348252]
自己制御学習(SRL)は、中間表現を連続的に制御し、現在のタイムスタンプのフレームにおける新しい情報を強調する表現を作り出すことを目的としている。
SRLは2つのエゴセントリックなビデオデータセットと2つの第三者のビデオデータセットにおいて、既存の最先端技術よりも大幅に優れています。
論文 参考訳（メタデータ） (2021-11-23T03:29:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。