論文の概要: LAVE: Latent Visual Evidence-Enhanced Planning for Video Tool-use Agents
- arxiv url: http://arxiv.org/abs/2608.07585v1
- Date: Wed, 05 Aug 2026 10:25:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.449587
- Title: LAVE: Latent Visual Evidence-Enhanced Planning for Video Tool-use Agents
- Title（参考訳）: LAVE:ビデオツール利用エージェントの視覚的エビデンス向上計画
- Abstract要約: ロングビデオ理解には、長いビデオストリームと冗長なビデオストリームからスパースな視覚的証拠を効率的に取得し、再利用するモデルが必要である。
最近のビデオツール利用エージェントは、異なる時間スケールで視覚ツールを反復的に呼び出すことでこの問題に対処している。
ツールコールの完了した視覚的証拠を再利用するためのトレーニング不要なフレームワークであるLatent Visual Evidence-Enhanced Planning (LAVE)を提案する。
- 参考スコア（独自算出の注目度）: 31.505673981223385
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-video understanding requires models to efficiently acquire and reuse sparse visual evidence from long and redundant video streams. Recent video tool-use agents address this challenge by iteratively invoking visual Tools at different temporal scales, but their Tool-Planner communication typically relies on textual observations. Such text-only interfaces provide lossy summaries of Tool computations, causing previously computed visual evidence not verbalized to be discarded and unavailable for subsequent planning. We identify this limitation as the Tool observation bottleneck and propose Latent Visual Evidence-Enhanced Planning (LAVE), a training-free framework for reusing latent visual evidence from completed Tool calls. LAVE introduces a dual-channel observation interface: the visible channel preserves the original textual trajectory, while the latent channel stores pre-verbal visual updates with their Tool roles, source-frame timestamps, and visual locations. During planning, LAVE retrieves evidence relevant to the current Planner state but not covered by textual observations, and integrates it through bounded timestamp-aligned latent updates with entropy-constrained frame-time routing. This enables video agents to reuse existing visual computation without additional training, frame replay, or modifications to the original orchestration. Extensive experiments on Video-MME, LongVideoBench, and CG-Bench show that LAVE consistently improves video tool-use agents across backbones. Under a comparable frame budget, LAVE improves the Video-MME overall score by 3.76 points over the strongest baseline, demonstrating the effectiveness of latent visual evidence reuse for multi-step video-agent planning.
- Abstract（参考訳）: ロングビデオ理解には、長いビデオストリームと冗長なビデオストリームからスパースな視覚的証拠を効率的に取得し、再利用するモデルが必要である。
最近のビデオツール使用エージェントは、異なる時間スケールで視覚ツールを反復的に呼び出すことでこの問題に対処するが、ツール・プランナー通信は典型的にはテキスト観察に依存している。
このようなテキストのみのインターフェイスはツールの計算の損失の少ない要約を提供するため、事前に計算された視覚的証拠は放棄され、その後の計画では利用できない。
この制限をツールの監視ボトルネックとして認識し,完成したツールコールから潜伏した視覚的証拠を再利用するためのトレーニング不要のフレームワークであるLatent Visual Evidence-Enhanced Planning (LAVE)を提案する。
可視チャネルは元のテキストの軌跡を保存し、潜時チャネルはツールロール、ソースフレームのタイムスタンプ、視覚的な位置を格納する。
計画中、LAVEは現在のプランナー状態に関連する証拠を回収するが、テキストの観察ではカバーされない。
これにより、ビデオエージェントは、トレーニング、フレーム再生、オリジナルオーケストレーションの変更なしに、既存のビジュアル計算を再利用することができる。
Video-MME、LongVideoBench、CG-Benchの大規模な実験は、LAVEがバックボーン全体のビデオツール使用エージェントを一貫して改善していることを示している。
LAVEはビデオ・MME全体のスコアを最強のベースラインで3.76ポイント改善し、多段階のビデオエージェント計画における潜在的な視覚的証拠の再利用の有効性を実証した。
関連論文リスト
- Visual Search Augmented Chain-of-Thought Reasoning for Attribute Value Extraction from Product Videos [14.43540077402288]
本稿では,視覚属性値抽出のための視覚探索拡張連鎖推論(ViS-CoT)を提案する。
ViS-CoTは、電子商取引におけるビデオからテキストへのAVEのために、どんなオープンソースビデオVLMにも容易に適用できる。
論文 参考訳（メタデータ） (2026-09-06T06:01:57Z) - STORM: Internalized Modeling for Spatial-Temporal Reasoning in Video-Language Models [81.32710031596591]
ビデオ推論タスクには、動きの追跡、時間順、フレーム全体の視覚状態の進化が必要である。
視覚言語モデル(LVLM)上に構築された既存の手法はしばしば、チェーン・オブ・ソート(CoT)を通じて推論を外部化することでこの問題に対処する。
STORMSは,LVLMに明示的なテキストCoTではなく,有界な連続的な潜在軌道を推論する2段階のフレームワークである。
論文 参考訳（メタデータ） (2026-05-25T16:33:00Z) - ReTool-Video: Recursive Tool-Using Video Agents with Meta-Augmented Tool Grounding [30.50286834537385]
ビデオ理解には、時間的推論、クロスモーダル理解、複雑な質問応答のためのツール強化ビデオエージェントの探索、動機付け、積極的なエビデンスが必要である。
既存のビデオエージェントは、検索、メモリ、フレーム検査、検証ツールでビデオ推論を改善したが、それでも2つの制限に直面している。
本稿では,これらの課題を2つの相補的な設計で解決する。
論文 参考訳（メタデータ） (2026-05-13T09:19:22Z) - Act2See: Emergent Active Visual Perception for Video Reasoning [70.52373240573856]
VLM(Vision-Language Models)は通常、ビデオの推論に静的な初期フレームに依存している。
本稿では,アクト・ツー・シー(Act2See)という,アクティブな視覚知覚を実現する新しいフレームワークを紹介する。
論文 参考訳（メタデータ） (2026-05-03T00:52:51Z) - APVR: Hour-Level Long Video Understanding with Adaptive Pivot Visual Information Retrieval [41.81696346270799]
現在の大規模言語モデル(LM)は時間レベルのビデオ理解に苦慮している。
bftextAdaptive textbfPivot MLbfVisual information textbfRetrieval (textbfAPVR)は、十分に重要な視覚情報を階層的に検索し保持する、トレーニング不要のフレームワークである。
論文 参考訳（メタデータ） (2025-06-05T12:27:10Z) - Deep Video Discovery: Agentic Search with Tool Use for Long-form Video Understanding [60.88843818016968]
長時間のビデオ理解は時間空間の複雑さと質問応答の難しさによって大きな課題を呈する。
セグメント化されたビデオクリップ上でのエージェント検索戦略を活用するために,Deep Video Discovery (DVD) エージェントを提案する。
当社のDVDエージェントは,LVBenchデータセット上での最先端性能を実現し,74.2%の精度を実現した。
論文 参考訳（メタデータ） (2025-05-23T16:37:36Z) - Scoring, Remember, and Reference: Catching Camouflaged Objects in Videos [24.03405963900272]
Video Camouflaged Object Detectionは、外見が周囲によく似ているオブジェクトを分割することを目的としている。
既存の視覚モデルは、カモフラージュされた物体の識別不可能な外観のために、このようなシナリオでしばしば苦労する。
人間の記憶認識にインスパイアされたエンドツーエンドのフレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-21T11:08:14Z) - Understanding Long Videos via LLM-Powered Entity Relation Graphs [51.13422967711056]
GraphVideoAgentは、ビデオシーケンスを通して視覚的エンティティ間の進化する関係をマップし、監視するフレームワークである。
当社の手法は,業界ベンチマークと比較した場合,顕著な効果を示す。
論文 参考訳（メタデータ） (2025-01-27T10:57:24Z) - Object-Centric Temporal Consistency via Conditional Autoregressive Inductive Biases [69.46487306858789]
Conditional Autoregressive Slot Attention (CA-SA) は、ビデオ中心の視覚タスクにおいて抽出されたオブジェクト中心の表現の時間的一貫性を高めるフレームワークである。
本稿では,提案手法が下流タスクのベースラインよりも優れていることを示す定性的,定量的な結果を示す。
論文 参考訳（メタデータ） (2024-10-21T07:44:44Z) - HAVANA: Hierarchical stochastic neighbor embedding for Accelerated Video ANnotAtions [59.71751978599567]
本稿では,時間的ビデオアノテーションプロセスの高速化のために,事前抽出した特徴量と次元減少量を用いた新しいアノテーションパイプラインを提案する。
従来のリニア手法と比較して,アノテーションの取り組みが大幅に改善され,12時間以上のビデオのアノテートに要するクリック数が10倍以上に短縮された。
論文 参考訳（メタデータ） (2024-09-16T18:15:38Z) - Video-based Person Re-identification with Long Short-Term Representation
Learning [101.62570747820541]
ビデオベースの人物再識別(V-ReID)は、オーバーラップしないカメラで撮影した生のビデオから特定の人物を回収することを目的としている。
本稿では,V-ReIDのためのLong Short-Term Representation Learning(LSTRL)という新しいディープラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-07T16:22:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。