論文の概要: From Frames to Temporal Graphs: In-Context Egocentric Action Recognition with Vision-Language Models

• arxiv url: http://arxiv.org/abs/2606.15417v1
• Date: Sat, 13 Jun 2026 18:00:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.557075
• Title: From Frames to Temporal Graphs: In-Context Egocentric Action Recognition with Vision-Language Models
• Title（参考訳）: フレームからテンポラルグラフへ:視覚言語モデルを用いたインテクスト・エゴセントリックな行動認識
• Abstract要約: エゴセントリックビデオにおけるアクション推論は、手-対象相互作用のきめ細かい遷移を捉える必要がある。 本稿では,映像をテンポラルアクショングラフに変換することによって,視覚知覚を象徴的推論から切り離すことを提案する。
• 参考スコア（独自算出の注目度）: 67.00247936789127
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Action reasoning in egocentric video requires capturing fine-grained transitions of hand-object interactions, a task where general-purpose Vision-Language Models (VLMs) often struggle when operating directly on raw pixels. We propose to decouple visual perception from symbolic reasoning by converting videos into Temporal Action Graphs. In a multi-stage prompting pipeline, we first generate dense natural language narratives over short temporal windows as a semantic bottleneck, then formalize them into structured, open-vocabulary graph representations. On the EGTEA and Epic-Kitchens-100 datasets, the symbolic representation unlocks efficient in-context learning: few-shot graph demonstrations yield substantial accuracy gains over zero-shot frame and graph-based inference alike. Even in the zero-shot setting, graph-based reasoning remains competitive with pixel-based inference despite potential pretraining contamination favoring the latter. Across 11 open-weight VLMs from 6 model families ranging from 2B to 235B parameters, our findings indicate that current VLMs are more effective as symbolic reasoners than as direct visual observers. By projecting video into the language domain, we provide a scalable, fine-tuning-free alternative to end-to-end approaches that better leverages these models' latent reasoning strengths. The code will be made public.
• Abstract（参考訳）: エゴセントリックビデオにおけるアクション推論には、手動物体の相互作用のきめ細かい遷移を捉える必要がある。これは、汎用視覚言語モデル(VLM)が生のピクセルで直接操作する際にしばしば苦労するタスクである。 本稿では,映像をテンポラルアクショングラフに変換することによって,視覚知覚を象徴的推論から切り離すことを提案する。 多段階のプロンプトパイプラインにおいて、我々はまず、意味的ボトルネックとして短時間の時間的ウィンドウ上で密集した自然言語の物語を生成し、それらを構造化されたオープン語彙グラフ表現にフォーマル化する。 EGTEAとEpic-Kitchens-100データセットでは、シンボル表現は、効率的なコンテキスト内学習を解放する。 ゼロショット設定であっても、グラフベースの推論はピクセルベースの推論と競合する。 2Bから235Bまでの6種類のモデル群から得られた11個のオープンウェイトVLMに対して,現在のVLMは直接視覚観察者よりも象徴的推論器として有効であることが示唆された。 動画を言語領域に投影することで、これらのモデルの潜伏する推論の強みをうまく活用するエンドツーエンドアプローチに対して、スケーラブルで微調整不要な代替手段を提供する。 コードは公開されます。

関連論文リスト

• Beyond Visual CoT: Internalized Visual Thinking for Proactive Video Reasoning [15.521458272682308]
  マルチモーダルな大規模言語モデルは、空間的、時間的、具体的環境を推論するために視覚的連鎖(Visual CoT)をますます利用している。 モデルが推論を直接推論しながら、トレーニング中に視覚的に思考することを学ぶことができるかどうかを問う。 テキストによる予測と、ラベルのないビデオに対する次の埋め込み予測を共同で最適化するフレームワークであるInnalized Visual Thinking (IVT)を紹介した。
  論文  参考訳（メタデータ） (2026-08-16T17:35:38Z)
• Learning to Evolve Scenes: Reasoning about Human Activities with Scene Graphs [10.367002095946843]
  我々は、明示的で構成的で編集可能な相互作用が、リッチな活動理解にとって重要な役割を担っていると論じる。 アノテーション付きシーングラフでEgo4Dを拡張する大規模なアノテーションセットであるEgoEgoを紹介する。 また,アクティビティ駆動型グラフ編集予測(A-GEF)問題についても定式化する。
  論文  参考訳（メタデータ） (2026-07-02T16:53:42Z)
• OR-Action: Multi-Role Video Understanding with Fine-Grained Actions [37.96856087875045]
  操作室(OR)の活動のきめ細かい理解はワークフロー認識の支援を可能にする。 現在のシーングラフ予測手法は時間構造をモデル化するのに苦労している。 本稿では,グラフベースの手法より優れた視覚のみの時間モデルを提案する。
  論文  参考訳（メタデータ） (2026-06-11T13:24:40Z)
• Video-R2: Reinforcing Consistent and Grounded Reasoning in Multimodal Language Models [56.851611990473174]
  動的ビジュアルコンテンツに対する推論は、大きな言語モデルにとって依然として中心的な課題である。 本稿では,時間的精度と推論一貫性を両立させる強化学習手法を提案する。 結果のモデルであるVideo R2は、複数のベンチマークでTAC、VAS、精度を一貫して向上させる。
  論文  参考訳（メタデータ） (2025-11-28T18:59:58Z)
• Language-Guided Graph Representation Learning for Video Summarization [96.2763459348758]
  本稿では,映像要約のためのLGRLN(Language-guided Graph Representation Learning Network)を提案する。 具体的には,ビデオフレームを構造化グラフに変換して時間的順序と文脈依存性を保存するビデオグラフ生成装置を提案する。 提案手法は,複数のベンチマークにおいて既存手法より優れている。
  論文  参考訳（メタデータ） (2025-11-14T04:35:48Z)
• DIFFVSGG: Diffusion-Driven Online Video Scene Graph Generation [61.59996525424585]
  DIFFVSGGはオンラインのVSGGソリューションで、このタスクを反復的なシーングラフ更新問題とみなしている。 オブジェクト分類の復号化、境界ボックス回帰、グラフ生成の3つのタスクを1つの共有特徴埋め込みを用いて統合する。 DIFFVSGGはさらに、後続のフレームの予測が過去のフレームの結果をLCMの条件入力として活用する継続的時間的推論を促進する。
  論文  参考訳（メタデータ） (2025-03-18T06:49:51Z)
• From Pixels to Graphs: Open-Vocabulary Scene Graph Generation with Vision-Language Models [81.92098140232638]
  シーングラフ生成(SGG)は、下流の推論タスクのための中間グラフ表現に視覚シーンを解析することを目的としている。 既存の手法は、新しい視覚的関係の概念を持つシーングラフを生成するのに苦労している。 シークエンス生成に基づく新しいオープン語彙SGGフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-01T04:21:01Z)
• Jointly Visual- and Semantic-Aware Graph Memory Networks for Temporal Sentence Localization in Videos [67.12603318660689]
  階層型ビジュアル・セマンティック・アウェア推論ネットワーク(HVSARN)を提案する。 HVSARNは、オブジェクトレベルからフレームレベルへの視覚的および意味論的クエリ推論を可能にする。 3つのデータセットの実験では、HVSARNが新しい最先端のパフォーマンスを達成することが示されています。
  論文  参考訳（メタデータ） (2023-03-02T08:00:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。