論文の概要: Joint Latent Reasoning and Observation for Agentic Video Understanding

• arxiv url: http://arxiv.org/abs/2610.35229v1
• Date: Mon, 26 Oct 2026 11:18:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.840276
• Title: Joint Latent Reasoning and Observation for Agentic Video Understanding
• Title（参考訳）: エージェントビデオ理解のための共同潜時推論と観察
• Abstract要約: LARVA(Latent Agentic Reasoning for Video Analysis)は,複数ラウンドのビデオエージェントを,共同で学習した潜時推論と視覚的観察によって蒸留するフレームワークである。 5つのビデオ基盤ベンチマークで、ARVAは4Bと7Bのバックボーンで強力なパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 16.621442949527758
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Effective video agents must learn not only how to answer, but also where to look next. Transferring this capability to smaller models is challenging because each observation serves two purposes: supporting an answer and guiding the search for further evidence. Textual descriptions may capture what is currently visible while omitting cues needed for subsequent acquisition. We introduce Latent Agentic Reasoning for Video Analysis (LARVA), a framework that distills multi-round video agents through jointly learned latent reasoning and visual observations. Rather than communicating through captions, an observer passes compact continuous representations to a reasoner that selects the next acquisition action or produces the final answer. Crucially, action and answer supervision propagate through this interface, training the observer to communicate information useful for downstream decisions. Observation reconstruction and reasoning-distribution alignment provide auxiliary supervision from textual teacher trajectories. Across five video-understanding benchmarks, LARVA achieves strong performance with 4B and 7B backbones. On VideoHolmes, Video-MME, and LVBench, the 7B model outperforms a textual CoT student trained on the same teacher trajectories by 5.1, 2.5, and 3.7 percentage points, respectively. These results highlight the value of jointly learning how agents represent evidence and act on it when distilling video-understanding capabilities.
• Abstract（参考訳）: 効果的なビデオエージェントは、答えの仕方だけでなく、次に見る場所も学ばなければならない。 この能力をより小さなモデルに移すことは、それぞれの観察が2つの目的を果たすからである。 テキスト記述は、後続の取得に必要な手がかりを省略しながら、現在見えるものをキャプチャすることができる。 LARVA(Latent Agentic Reasoning for Video Analysis)は,複数ラウンドのビデオエージェントを,共同で学習した潜時推論と視覚的観察によって蒸留するフレームワークである。 観察者はキャプションを介して通信する代わりに、コンパクトな連続表現を次の取得アクションを選択し、最終回答を生成する推論子に渡す。 重要なことは、アクションと回答の監督がこのインターフェースを通じて伝播し、下流の決定に有用な情報を伝えるようオブザーバに訓練する。 観察的再構成と推論-分布アライメントは、教師のテキストトラジェクトリからの補助的な監督を提供する。 5つのビデオ基盤ベンチマークで、ARVAは4Bと7Bのバックボーンで強力なパフォーマンスを実現している。 VideoHolmes、Video-MME、LVBenchでは、7Bモデルは、同じ教師軌跡で訓練されたテキストCoT学生をそれぞれ5.1、2.5、および3.7ポイント上回っている。 これらの結果は、映像理解能力の蒸留において、エージェントが証拠をどう表現し、それに対して行動するかを共同で学習することの価値を強調している。

関連論文リスト

• From Perception to Prediction and Intervention: Benchmarking Proactive Video Assistants in Real-Life Scenarios [37.81708997870599]
  textscP$3$IBenchは,リアルタイムストリーミングシナリオにおけるプロアクティブビデオ理解のためのベンチマークである。 我々は、ストリーミングや適応型非ストリーミングシステムを含む12の代表的なオープンソースおよびプロプライエタリなビデオ言語モデルをベンチマークする。 我々は、追加のプロアクティブトレーニングデータを構築し、textscP$3$I-Assistant-4B をトレーニングし、いくつかのタスクを改善する。
  論文  参考訳（メタデータ） (2026-10-15T09:23:45Z)
• OWLET: On-Policy Weighted Learning via Evidence Transfer for Video Large Language Model Post-Training [44.01655800302536]
  ビデオ大言語モデル(ビデオ-LLM)における学習後推論の重要段階となった よりリッチな教師視点から学習信号を導出するエビデンスに富んだRL法を提案する。 このビューは、グローバルな状況と質問条件のローカルウィンドウを一致させ、より大きなモデルを必要としない視覚的証拠を提供する。
  論文  参考訳（メタデータ） (2026-10-09T09:23:21Z)
• VideoScout: Learning Agentic Active Exploration with Adaptive Reasoning Pacing for Long Video Understanding [61.00809248898572]
  ロングビデオ理解(英: Long video understanding)とは、エージェントが時間軸に沿って回転してビデオを読み取る問題である。 適応推論によるSEAパラダイムをインスタンス化するマルチターン推論エージェントである textbfVideoScout を提案する。 長いビデオ理解と推論のベンチマーク実験により、我々の7Bモデルは、既存の訓練された7Bエージェントモデルと比較して、強い性能を発揮することが示された。
  論文  参考訳（メタデータ） (2026-09-14T14:04:03Z)
• Video-OPSD: Exploiting Privileged Visual Evidence for On-Policy Self-Distillation in Video Large Language Models [58.45264308304815]
  On-policy Self-distillation (OPSD)は、最近、特権的な自己教育者から密集したトークンレベルの監督を通じて政策最適化を改善する効果的なポストトレーニングパラダイムとして登場した。 我々は,自己学習者構築と知識伝達の両方の特権的な視覚的証拠を利用するOPSDフレームワークであるtextbfVideo-OPSD$を提示する。
  論文  参考訳（メタデータ） (2026-08-27T12:51:32Z)
• MemDreamer: Decoupling Perception and Reasoning for Long Video Understanding via Hierarchical Graph Memory and Agentic Retrieval Mechanism [70.69809410471993]
  現在のVision-Language Modelsは、フル長のビジュアルシーケンスを処理することによって、禁止されたトークンの爆発と注意の希釈を引き起こすため、数時間のビデオに苦労している。 我々はMemDreamerを導入し、知覚と推論を分離し、長いビデオ理解をエージェント探索プロセスに移行する。 MemDreamerは4つの主要なベンチマークでSOTAの結果を達成し、人間の専門家とのギャップをわずか3.7ポイントに縮める。
  論文  参考訳（メタデータ） (2026-06-05T17:59:21Z)
• STEP: Enhancing Video-LLMs' Compositional Reasoning by Spatio-Temporal Graph-guided Self-Training [87.58996020705258]
  Video Large Language Models (Video-LLMs) は近年,ビデオ理解タスクに強い派生性を示している。 ビデオLLMは、多段階の明示的時間的推論を必要とする構成的推論と、オブジェクトの関係、相互作用、イベントに苦労する。 本稿では,ビデオLLMが生ビデオから推論に富んだ微調整データを生成し,自己改善を実現するための,グラフ誘導型自己学習手法STEPを提案する。
  論文  参考訳（メタデータ） (2024-11-29T11:54:55Z)
• Self-Regulated Learning for Egocentric Video Activity Anticipation [147.9783215348252]
  自己制御学習(SRL)は、中間表現を連続的に制御し、現在のタイムスタンプのフレームにおける新しい情報を強調する表現を作り出すことを目的としている。 SRLは2つのエゴセントリックなビデオデータセットと2つの第三者のビデオデータセットにおいて、既存の最先端技術よりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-11-23T03:29:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。