論文の概要: Online Video Agent Harness for Long Video Understanding
- arxiv url: http://arxiv.org/abs/2609.12818v1
- Date: Fri, 11 Sep 2026 13:13:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.754714
- Title: Online Video Agent Harness for Long Video Understanding
- Title（参考訳）: 長時間ビデオ理解のためのオンラインビデオエージェントHarness
- Abstract要約: 長いビデオ理解は、しばしば視覚的な針・ア・ヘイスタック問題のように振る舞う。
既存のビデオエージェントは、クエリに依存しないオフライン前処理やアドホックツールセットに依存することが多い。
我々は、ビデオ理解のための純粋にオンラインビデオエージェントであるVideoXAgentを紹介する。
- 参考スコア（独自算出の注目度）: 35.044765942623876
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Long video understanding often behaves like a visual needle-in-a-haystack problem: query-relevant evidence is sparsely distributed across long temporal spans, while packing dense frames into a single VLM context incurs \textit{context rot} and high cost. Existing video agents often rely on query-agnostic offline preprocessing or ad hoc tool sets, which can miss query-specific details and waste computation. In this work, we present VideoXAgent, a purely online video-agent harness for long video understanding that starts from the given video file and user query, plans and decomposes the task, invokes specialized expert tools on demand, and aggregates multimodal evidence to produce a final answer while resolving conflicts among observations. To support this on-demand invocation, we design a suite of heterogeneous expert tools guided by a data-driven taxonomy of atomic capabilities, spanning scripts, VLMs, and domain models (e.g., detection, OCR, ASR, face recognition). The harness further enforces objective evidence prompting and budget-aware control to curb hallucination and non-termination. Across Video-MME-Long, LongVideoBench-Long, LVBench, and MINERVA, VideoXAgent is competitive with frontier LMMs and video agents under a smaller context footprint---about 50k tokens of agent context per sample, even on hour-long videos. In particular, on complex video-reasoning benchmarks such as MINERVA, it matches this level while using only about 15\% of the context of a 1,024-frame dense-packing baseline. Notably, the harness remains effective with a visually weak or even text-only orchestrator, suggesting that strong long-video understanding can emerge from progressive agentic evidence seeking rather than from packing the full video into a single context. Project page: https://go-agent-x.github.io/video_agent_harness/
- Abstract（参考訳）: クエリ関連エビデンスを長い時間間隔に分散させる一方で、密度の高いフレームを単一のVLMコンテキストに詰め込むことは、textit{context rot}を発生させ、コストを高くする。
既存のビデオエージェントは、クエリ非依存のオフライン前処理やアドホックツールセットに依存しており、クエリ固有の詳細やムダ計算を見逃す可能性がある。
本稿では,ビデオファイルとユーザクエリから始まり,タスクを計画,分解し,要求に応じて専門的なツールを起動し,マルチモーダルなエビデンスを集約して,観察間の対立を解消する,ビデオ理解のためのオンラインビデオエージェントであるVideoXAgentを紹介する。
このオンデマンド呼び出しをサポートするために、私たちは、スクリプト、VLM、ドメインモデル(例えば、検出、OCR、ASR、顔認識)にまたがる、原子機能のデータ駆動分類によって導かれる異種の専門家ツールのスイートを設計します。
ハーネスはさらに、幻覚と非終末を抑制するための客観的な証拠と予算に配慮した制御を強制する。
Video-MME-Long、LongVideoBench-Long、LVBench、MINERVAを通じて、VideoXAgentは、より小さなコンテキストフットプリントの下でフロンティアのLMMやビデオエージェントと競合している。
特にMINERVAのような複雑なビデオ推論ベンチマークでは、1,024フレームの高密度パッケージングベースラインのコンテキストの15.5%しか使用せず、このレベルと一致している。
特に、ハーネスは、視覚的に弱い、あるいはテキストのみのオーケストレータで有効であり、フルビデオを単一のコンテキストに詰め込むのではなく、プログレッシブなエージェント的証拠を求めることによって、強力なロングビデオ理解が生まれる可能性があることを示唆している。
プロジェクトページ: https://go-agent-x.github.io/video_agent_harness/
関連論文リスト
- VideoScout: Learning Agentic Active Exploration with Adaptive Reasoning Pacing for Long Video Understanding [61.00809248898572]
ロングビデオ理解(英: Long video understanding)とは、エージェントが時間軸に沿って回転してビデオを読み取る問題である。
適応推論によるSEAパラダイムをインスタンス化するマルチターン推論エージェントである textbfVideoScout を提案する。
長いビデオ理解と推論のベンチマーク実験により、我々の7Bモデルは、既存の訓練された7Bエージェントモデルと比較して、強い性能を発揮することが示された。
論文 参考訳（メタデータ） (2026-09-14T14:04:03Z) - Bridging Modalities, Spanning Time: Structured Memory for Ultra-Long Agentic Video Reasoning [82.97398529552166]
MAGIC-Videoは、インターリーブされた物語チェーンを備えたマルチモーダルメモリグラフを中心に構築されたフレームワークである。
EgoLifeQA、Ego-R1、MM-Lifelongでは、MAGIC-Videoは一貫して、強力な汎用、長期ビデオ、エージェントベースラインを上回っている。
論文 参考訳（メタデータ） (2026-05-08T03:21:47Z) - VideoStir: Understanding Long Videos via Spatio-Temporally Structured and Intent-Aware RAG [33.938909878793815]
VideoStirは構造化されマルチモーダルなインテント対応長ビデオRAGフレームワークである。
ビデオは、クリップレベルでテンポラルグラフとして構成され、エビデンスを集約するマルチホップ検索を実行する。
また、MLLMが支援するインテント関連スコアラを導入し、クエリの推論インテントとのアライメントに基づいてフレームを取得する。
論文 参考訳（メタデータ） (2026-04-07T04:26:59Z) - LongVideo-R1: Smart Navigation for Low-cost Long Video Understanding [106.23494088118571]
LongVideo-R1は、効率的なビデオコンテキストナビゲーションのためのマルチモーダル大言語モデル(MLLM)エージェントである。
これは、その後の処理において最も情報に富むビデオクリップを推測する。
LongVideo-R1エージェントは、2段階のパラダイムを通じてQwen-3-8Bモデルに微調整される。
論文 参考訳（メタデータ） (2026-02-24T13:49:47Z) - LongVideoAgent: Multi-Agent Reasoning with Long Videos [69.28914905197426]
本稿では,主LLMが問題関連セグメントの局所化のために接地エージェントをコーディネートするマルチエージェントフレームワークと,対象とするテキスト観察を抽出する視覚エージェントを提案する。
マスターエージェントは、ステップ制限で計画し、簡潔で正確で効率的なマルチエージェント協調を促進するために強化学習で訓練されている。
テレビQA/TVQA+から集約したエピソードレベルのデータセットであるLongTVQAとLongTVQA+では,マルチエージェントシステムは強力な非エージェントベースラインよりも大幅に優れています。
論文 参考訳（メタデータ） (2025-12-23T18:59:49Z) - LongVT: Incentivizing "Thinking with Long Videos" via Native Tool Calling [87.98096428508181]
LongVTは、Multimodal Chain-of-Tool-Thoughtを通じて"Thinking with Long Videos"を可能にするエンドツーエンドのエージェントフレームワークである。
我々は、LMM固有の時間的接地機能を利用して、特定のビデオクリップをズームインし、よりきめ細かいビデオフレームを再サンプリングするネイティブビデオトリミングツールを開発した。
トレーニングデータセットは, ツール統合型冷間始動微調整用247.9K試料, エージェント強化学習用1.6K試料, エージェント強化微調整用15.4K試料からなる。
論文 参考訳（メタデータ） (2025-11-25T19:22:48Z) - Deep Video Discovery: Agentic Search with Tool Use for Long-form Video Understanding [60.88843818016968]
長時間のビデオ理解は時間空間の複雑さと質問応答の難しさによって大きな課題を呈する。
セグメント化されたビデオクリップ上でのエージェント検索戦略を活用するために,Deep Video Discovery (DVD) エージェントを提案する。
当社のDVDエージェントは,LVBenchデータセット上での最先端性能を実現し,74.2%の精度を実現した。
論文 参考訳（メタデータ） (2025-05-23T16:37:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。