論文の概要: AdaVDR: Adaptive Tool Use and Reflection for Video Deep Research
- arxiv url: http://arxiv.org/abs/2608.25559v1
- Date: Wed, 26 Aug 2026 09:07:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.696675
- Title: AdaVDR: Adaptive Tool Use and Reflection for Video Deep Research
- Title（参考訳）: AdaVDR:ビデオディープリサーチのための適応ツールとリフレクション
- Abstract要約: ビデオディープリサーチは、ビデオコンテンツを共同で理解し、オープンWebから外部知識を取得することで複雑な質問に答える。
AdaVDRは適応型ツール呼び出しとリフレクションを備えた適応型ビデオディープリサーチエージェントである。
AdaVDRはタスクとその能力に応じてツールを選択し、信頼性の低い中間結果に修正が必要な場合にのみバックトラックを行う。
- 参考スコア（独自算出の注目度）: 34.906834225717795
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video deep research answers complex questions by jointly understanding video content and retrieving external knowledge from the open Web. However, diverse questions and videos require different tool-use strategies, and inappropriate tool calls can produce incorrect results. Uncertain grounding and retrieval also make unnecessary interactions costly and error-prone, increasing latency and reasoning errors. To address these challenges, we propose AdaVDR, an adaptive video deep research agent with adaptive tool invocation and reflection. AdaVDR selects tools according to the task and its capabilities, and backtracks only when unreliable intermediate results require correction. To enable these capabilities, we develop a video deep research data construction pipeline. We first discover retrieval-relevant events and entities in diverse videos and acquire detailed information through grounding and external retrieval to construct high-quality QA pairs. For each QA, task-specific prompts organize the information acquisition process into a tool-use trajectory, allowing different question and video types to follow different grounding and retrieval strategies. We further introduce model-conditioned tool necessity filtering, which evaluates tool calls against the target model's video understanding and internal knowledge, removing tools or tool chains the model can bypass. This yields trajectories tailored to the target model's video understanding capability and knowledge. Using this pipeline, we construct training data and VDR-EE, a benchmark covering entity-centric and event-centric questions. We perform supervised fine-tuning followed by reinforcement learning with a redundancy-aware reward to strengthen adaptive tool invocation and reflection. Experiments show that our method performs best among the evaluated open-source models on VDR-EE and substantially improves over its base models on VideoDR.
- Abstract（参考訳）: ビデオディープリサーチは、ビデオコンテンツを共同で理解し、オープンWebから外部知識を取得することで複雑な質問に答える。
しかし、多様な質問やビデオは異なるツール利用戦略を必要とし、不適切なツールコールは誤った結果を生み出す可能性がある。
不確実な接地と検索は、不要なインタラクションをコストとエラーを起こし、レイテンシと推論エラーを増大させる。
これらの課題に対処するため、適応型ツール呼び出しとリフレクションを備えた適応型ビデオディープリサーチエージェントであるAdaVDRを提案する。
AdaVDRはタスクとその能力に応じてツールを選択し、信頼性の低い中間結果に修正が必要な場合にのみバックトラックを行う。
これらの機能を実現するため,我々は深層研究データ構築パイプラインを開発した。
まず,多種多様なビデオにおける検索関連事象やエンティティを発見し,地上検索や外部検索を通じて詳細な情報を取得し,高品質なQAペアを構築する。
各QAに対して、タスク固有のプロンプトは、情報取得プロセスをツール使用軌跡に整理し、異なる質問やビデオタイプが異なる根拠と検索戦略に従うことを可能にする。
さらに,対象モデルの映像理解と内部知識に対するツールコールを評価し,回避可能なツールやツールチェーンを除去する。
これにより、対象モデルの映像理解能力と知識に合わせた軌道が得られる。
このパイプラインを使用して、トレーニングデータと、エンティティ中心およびイベント中心の質問をカバーするベンチマークであるVDR-EEを構築します。
適応型ツールの実行とリフレクションを強化するため,教師付き微調整を行い,強化学習と冗長性を考慮した報酬を付与した。
実験により,VDR-EE上で評価されたオープンソースモデルの中で,本手法が最良であることが確認された。
関連論文リスト
- Thinking Beyond Videos: Unifying Video Reasoning and Deep Research for Open-World Video Agents [50.87605650923757]
我々は,ビデオトリミング,マルチモーダル検索,Webページブラウジングを協調する統合ビデオディープリサーチフレームワークであるVideoRoverを紹介する。
ビデオ検索のペアが与えられたら、VideoRoverはそれぞれのツールの結果を使って次のアクションを選択する。
この機能を開発するために,26KのSFTトラジェクトリと3Kの挑戦的RLインスタンスを生成する自動データキュレーションパイプラインを構築した。
論文 参考訳（メタデータ） (2026-08-24T14:42:23Z) - VideoSearcher: Empowering Video Deep Research with Multi-Tool Agentic Reasoning via Reinforcement Learning [55.2367119060441]
ビデオ理解は、クローズドコンテクストの知覚を超えて、オープンワールドのエビデンス探索へと移行している。
既存のマルチモーダル検索エージェントは主に静的画像をターゲットにしており、現在のVDRベンチマークはテキスト中心の検索に依存している。
本稿では,VDRのマルチツール推論による視覚言語モデルを実現するクローズドループエージェントフレームワークであるVideoSearcherを提案する。
論文 参考訳（メタデータ） (2026-07-03T03:50:09Z) - WebSeer: Training Deeper Search Agents through Reinforcement Learning with Self-Reflection [51.10348385624784]
本稿では,自己回帰機構によって強化された強化学習によって訓練された,よりインテリジェントな検索エージェントであるWebSeerを紹介する。
提案手法はツール使用チェーンを大幅に拡張し,回答精度を向上する。
論文 参考訳（メタデータ） (2025-10-21T16:52:00Z) - Video-LMM Post-Training: A Deep Dive into Video Reasoning with Large Multimodal Models [78.32948112203228]
ビデオ理解はコンピュータビジョンにおける最も困難なフロンティアである。
近年,映像理解タスクにおいて,映像多時間モデルが顕著に出現している。
Surveyは、ビデオ-LMM能力を向上するための統一的なフレームワークを研究者や実践者に提供することを目的としている。
論文 参考訳（メタデータ） (2025-10-06T17:10:44Z) - VideoExplorer: Think With Videos For Agentic Long-Video Understanding [117.68219930263153]
ロングビデオ理解はコンピュータビジョンにおいて難しい問題である。
ビデオによる思考の原則に基づくフレームワークであるVideoExplorerを提案する。
静的なコンテキストを推論する代わりに、VideoExplorerは、サブクエストを反復的に定式化し、関連するモーメントを特定し、タスク指向で時間的にスケーラブルなビデオ理解を実行する。
論文 参考訳（メタデータ） (2025-06-12T15:39:10Z) - Deep Video Discovery: Agentic Search with Tool Use for Long-form Video Understanding [60.88843818016968]
長時間のビデオ理解は時間空間の複雑さと質問応答の難しさによって大きな課題を呈する。
セグメント化されたビデオクリップ上でのエージェント検索戦略を活用するために,Deep Video Discovery (DVD) エージェントを提案する。
当社のDVDエージェントは,LVBenchデータセット上での最先端性能を実現し,74.2%の精度を実現した。
論文 参考訳（メタデータ） (2025-05-23T16:37:36Z) - Open-Ended and Knowledge-Intensive Video Question Answering [20.256081440725353]
知識集約型ビデオ質問応答 (KI-VideoQA) を多モード検索拡張世代のレンズを用いて検討する。
本稿では,最先端の検索モデルと視覚言語モデルを用いて,様々な検索拡張手法について検討する。
我々は、KnowIT VQAデータセットにおいて、複数の選択質問に対する精度を17.5%向上させる。
論文 参考訳（メタデータ） (2025-02-17T12:40:35Z) - QD-VMR: Query Debiasing with Contextual Understanding Enhancement for Video Moment Retrieval [7.313447367245476]
Video Moment Retrieval (VMR) は、クエリに対応する未トリミングビデオの関連モーメントを検索することを目的としている。
本稿では,文脈理解度を高めたクエリデバイアスモデルであるQD-VMRを提案する。
論文 参考訳（メタデータ） (2024-08-23T10:56:42Z) - Reframe Anything: LLM Agent for Open World Video Reframing [0.8424099022563256]
ビデオリフレーミングのためのビジュアルコンテンツを再構成するAIベースのエージェントであるReframe Any Video Agent (RAVA)を紹介する。
RAVAは、ユーザーの指示やビデオコンテンツを解釈する知覚、アスペクト比やフレーミング戦略を決定する計画、最終映像を作成するための編集ツールを呼び出す実行の3段階からなる。
我々の実験は、AIを利用したビデオ編集ツールとしての可能性を実証し、ビデオの有能なオブジェクト検出と現実世界のリフレーミングタスクにおけるRAVAの有効性を検証した。
論文 参考訳（メタデータ） (2024-03-10T03:29:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。