論文の概要: Agentic Video Intelligence: A Flexible Framework for Advanced Video Exploration and Understanding

• arxiv url: http://arxiv.org/abs/2511.14446v1
• Date: Tue, 18 Nov 2025 12:43:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-19 16:23:53.116353
• Title: Agentic Video Intelligence: A Flexible Framework for Advanced Video Exploration and Understanding
• Title（参考訳）: Agentic Video Intelligence: 高度なビデオ探索と理解のための柔軟なフレームワーク
• Authors: Hong Gao, Yiming Bao, Xuezhen Tu, Yutong Xu, Yue Jin, Yiyang Mu, Bin Zhong, Linan Yue, Min-Ling Zhang,
• Abstract要約: 本稿では,システムレベルの設計と最適化によって人間の映像理解を反映できるフレキシブルでトレーニング不要なフレームワークであるエージェントビデオインテリジェンス(AVI)を提案する。 AVIは、(1)人間にインスパイアされた3相推論プロセス(Retrieve-Perceive-Review)、(2)エンティティグラフによって構成された構造化ビデオ知識ベース、(3)軽量CVモデルとVLMを組み合わせたオープンソースのモデルアンサンブルの3つの重要なイノベーションを紹介している。
• 参考スコア（独自算出の注目度）: 43.785571875867
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video understanding requires not only visual recognition but also complex reasoning. While Vision-Language Models (VLMs) demonstrate impressive capabilities, they typically process videos largely in a single-pass manner with limited support for evidence revisit and iterative refinement. While recently emerging agent-based methods enable long-horizon reasoning, they either depend heavily on expensive proprietary models or require extensive agentic RL training. To overcome these limitations, we propose Agentic Video Intelligence (AVI), a flexible and training-free framework that can mirror human video comprehension through system-level design and optimization. AVI introduces three key innovations: (1) a human-inspired three-phase reasoning process (Retrieve-Perceive-Review) that ensures both sufficient global exploration and focused local analysis, (2) a structured video knowledge base organized through entity graphs, along with multi-granularity integrated tools, constituting the agent's interaction environment, and (3) an open-source model ensemble combining reasoning LLMs with lightweight base CV models and VLM, eliminating dependence on proprietary APIs or RL training. Experiments on LVBench, VideoMME-Long, LongVideoBench, and Charades-STA demonstrate that AVI achieves competitive performance while offering superior interpretability.
• Abstract（参考訳）: ビデオ理解には、視覚認識だけでなく、複雑な推論も必要である。 VLM(Vision-Language Models)は印象的な能力を示しているが、一般的にはビデオの処理はシングルパス方式で行う。 最近登場したエージェントベースの手法は、長距離推論を可能にするが、高価なプロプライエタリなモデルに大きく依存するか、広範囲なエージェントRLトレーニングを必要とする。 このような制限を克服するために,システムレベルの設計と最適化によって人間の映像理解を反映できるフレキシブルでトレーニングのないフレームワークであるAVI(Agentic Video Intelligence)を提案する。 AVIは,(1) 十分なグローバルな探索と局所分析を両立させる3段階推論プロセス(Retrieve-Perceive-Review),(2) エンティティグラフによって構成された構造化ビデオ知識ベース,(2) エージェントのインタラクション環境を構成する多言語統合ツール,(3) 軽量なCVモデルとVLMによる推論を組み合わせたオープンソースモデルアンサンブル,そして,プロプライエタリなAPIやRLトレーニングへの依存を排除した。 LVBench、VideoMME-Long、LongVideoBench、Charades-STAの実験は、AVIが優れた解釈性を提供しながら競争力を発揮することを示した。

関連論文リスト

• REVISOR: Beyond Textual Reflection, Towards Multimodal Introspective Reasoning in Long-Form Video Understanding [23.684146245231457]
  ロングフォームビデオ理解には、よりリッチでダイナミックな視覚入力が含まれる。 純粋にテキストベースのリフレクションメカニズムは、クロスモーダルなインタラクション機能を欠いている。 ツール拡張マルチモーダルリフレクションのための新しいフレームワークであるREVISORを提案する。
  論文  参考訳（メタデータ） (2025-11-17T06:25:12Z)
• Video-LMM Post-Training: A Deep Dive into Video Reasoning with Large Multimodal Models [78.32948112203228]
  ビデオ理解はコンピュータビジョンにおける最も困難なフロンティアである。 近年,映像理解タスクにおいて,映像多時間モデルが顕著に出現している。 Surveyは、ビデオ-LMM能力を向上するための統一的なフレームワークを研究者や実践者に提供することを目的としている。
  論文  参考訳（メタデータ） (2025-10-06T17:10:44Z)
• Reinforcement Learning Tuning for VideoLLMs: Reward Design and Data Efficiency [56.475612147721264]
  本稿では、離散的かつ連続的な報酬信号を通して意味的推論と時間的推論の両方を監督する二重回帰定式化を提案する。 我々は,ビデオQA,テンポラルビデオグラウンディング,グラウンドドビデオQAを含む8つの代表的なビデオ理解タスクに対するアプローチを評価した。 その結果、MLLMを用いた推論中心のビデオ理解の進展において、報酬設計とデータ選択の重要性が浮き彫りになった。
  論文  参考訳（メタデータ） (2025-06-02T17:28:26Z)
• ViaRL: Adaptive Temporal Grounding via Visual Iterated Amplification Reinforcement Learning [68.76048244253582]
  ビデオ理解におけるフレーム選択の最適化にルールベース強化学習(RL)を利用する最初のフレームワークであるViaRLを紹介する。 ViaRLは、下流モデルの応答精度を報奨信号として利用し、試行錯誤によってフレームセレクタを訓練する。 ViaRLは、多様なビデオ理解タスクに対して、時間的基盤性能と堅牢な一般化を一貫して提供します。
  論文  参考訳（メタデータ） (2025-05-21T12:29:40Z)
• Exploring the Effect of Reinforcement Learning on Video Understanding: Insights from SEED-Bench-R1 [53.894789613838654]
  ビデオ理解におけるMLLMのポストトレーニング手法を評価するためのベンチマークであるSEED-Bench-R1を紹介する。 複雑な現実世界のビデオや、複数の質問の形式での複雑な日常的な計画タスクも含んでいる。 Qwen2-VL-Instruct-7Bをベースモデルとして、RLと教師付き微調整(SFT)を比較した。 我々の詳細な分析では、RLは視覚知覚を増強するが、しばしばコヒーレント推論連鎖を減少させる。
  論文  参考訳（メタデータ） (2025-03-31T17:55:23Z)
• LAVID: An Agentic LVLM Framework for Diffusion-Generated Video Detection [14.687867348598035]
  大規模視覚言語モデル(LVLM)は、AI生成コンテンツ検出の新しいツールとなっている。 本稿では,LVLMを用いた新たなai生成ビデオ検出システムであるLAVIDを提案する。 提案するパイプラインは,検出のための明示的な知識ツールのセットを自動的に選択し,自己書換えによって構造を適応的に調整する。
  論文  参考訳（メタデータ） (2025-02-20T19:34:58Z)
• How Good is my Video LMM? Complex Video Reasoning and Robustness Evaluation Suite for Video-LMMs [98.37571997794072]
  CVRR-ES(Complex Video Reasoning and Robustness Evaluation Suite)について紹介する。 CVRR-ESは、11種類の実世界のビデオ次元にわたるビデオLMMの性能を包括的に評価する。 我々の発見は、次世代の人間中心AIシステムを構築する上で貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-05-06T17:59:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。