論文の概要: CoEvoWhen: Policy-Tool Coevolution for Ultra-Long Video Temporal Grounding

• arxiv url: http://arxiv.org/abs/2609.40048v1
• Date: Wed, 30 Sep 2026 16:14:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:28.030705
• Title: CoEvoWhen: Policy-Tool Coevolution for Ultra-Long Video Temporal Grounding
• Title（参考訳）: CoEvoWhen:ウルトラロングビデオ時間グラウンドのためのポリシーツールの共進化
• Abstract要約: 本稿では、VLMから高レベルなポリシーと実行可能なメディアツールを進化させるポリシーツールの共進化フレームワークを提案する。 進化中、外部スキル更新器は、長時間ビデオの時間的接地において伝達可能なタスク体験を蒸留する。 進化した技術を備えたVLMは、進化した政策の指導の下で、自律的にツールを編成する。
• 参考スコア（独自算出の注目度）: 14.694699117708725
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Ultra-long video temporal grounding requires balancing long-range evidence search with fine-grained event understanding under a limited visual budget, yet existing agentic methods still rely largely on predefined policies and tool capabilities. Motivated by this, we propose a novel policy-tool coevolution framework that jointly evolves high-level policies and executable media tools from the agentic reasoning trajectories of a VLM, forming a reusable skill without updating model parameters. During evolution, an external skill updater distills transferable task experience in long-video temporal grounding, accordingly refining the orchestration of long-range image-based and fine-grained video-based observations. Alongside these policy updates, the updater employs its coding capabilities to upgrade existing tools or create new ones, adapting the tools to long-video evidence acquisition. Equipped with the evolved skill, the VLM autonomously orchestrates tools under the guidance of the evolved policy, coordinating image and video observations for agentic inference without relying on a separate, stronger planning model. Extensive experiments spanning five benchmarks and three VLMs show that policy-tool coevolution consistently improves temporal grounding accuracy in ultra-long videos while reducing visual token cost at inference, and that the evolved skill yields substantial performance gains on general long-video QA without additional task-specific evolution, demonstrating the effectiveness and generalizability of our framework for long-video understanding.
• Abstract（参考訳）: 超長期ビデオの時間的根拠付けには、限られた視覚的予算の下で細かなイベント理解と長距離証拠検索のバランスをとる必要があるが、既存のエージェント的手法は、いまだに定義済みのポリシーやツール能力に大きく依存している。 そこで本研究では,VLMのエージェント的推論軌道から高レベルなポリシーと実行可能なメディアツールを共同で進化させ,モデルパラメータを更新することなく再利用可能なスキルを創出する,新しいポリシーとツールの共進化フレームワークを提案する。 進化中、外部スキル更新器は、長距離画像ベースおよび微粒なビデオベース観測のオーケストレーションを精錬し、長時間ビデオの時間的接地における伝達可能なタスク体験を蒸留する。 これらのポリシー更新と並行して、更新者はコーディング機能を使って既存のツールをアップグレードしたり、新しいツールを作ったりし、ツールを長期の証拠取得に適応させたりしている。 進化したスキルを備えたVLMは、進化したポリシーの指導の下でツールを自律的にオーケストレーションし、分離されたより強力な計画モデルに頼ることなく、エージェント推論のための画像とビデオの観察をコーディネートする。 5つのベンチマークと3つのVLMにまたがる大規模な実験により、ポリシーツールの共進化は、極長ビデオにおける時間的グラウンドの精度を一貫して向上し、推論時の視覚トークンコストを低減し、進化したスキルは、タスク固有の進化を伴わずに、一般的な長ビデオQAにおいて実質的なパフォーマンス向上をもたらすことを示し、長ビデオ理解のためのフレームワークの有効性と一般化性を実証した。

関連論文リスト

• VideoResearcher: Self-Improving Tool Design for Long-Video Understanding [48.056230109444016]
  VideoResearcherは、ビデオ理解のためのツールを自律的に設計、テスト、洗練する、トレーニング不要のマルチエージェントフレームワークである。 自己改善剤の最先端性能を達成し、人間設計の上界にアプローチする。
  論文  参考訳（メタデータ） (2026-09-17T04:04:23Z)
• DeVA: Decoupled Video-Action Model with physical guidance for robot policy learning [28.673173377342593]
  一般的なロボット操作は、言語命令を実行しながら視覚シーンがどのように進化するかを予測するポリシーを必要とする。 DeVAはDecoupled Video-Actionモデルであり、特殊ビデオとアクションの専門家、多レベル機能転送、物理的ガイダンスを備えている。 シミュレーションベンチマークと実世界のデプロイの両方の実験では、限られたデータによる強力なパフォーマンス、統一アーキテクチャよりも高速な収束、物理的ガイダンスによるパフォーマンス向上が示されている。
  論文  参考訳（メタデータ） (2026-07-27T08:37:35Z)
• VideoZoomer: Reinforcement-Learned Temporal Focusing for Long Video Reasoning [49.35834435935727]
  VideoZoomerは、MLLMが推論中に視覚的焦点を制御することができる新しいエージェントフレームワークである。 私たちの7Bモデルは、多種多様な複雑な推論パターンを提供し、幅広いビデオ理解と推論のベンチマークに強いパフォーマンスをもたらします。 これらの創発的な能力は、既存のオープンソースモデルを一貫して上回り、挑戦的なタスクでプロプライエタリなシステムをライバルにさえできる。
  論文  参考訳（メタデータ） (2025-12-26T11:43:21Z)
• Video-LMM Post-Training: A Deep Dive into Video Reasoning with Large Multimodal Models [78.32948112203228]
  ビデオ理解はコンピュータビジョンにおける最も困難なフロンティアである。 近年,映像理解タスクにおいて,映像多時間モデルが顕著に出現している。 Surveyは、ビデオ-LMM能力を向上するための統一的なフレームワークを研究者や実践者に提供することを目的としている。
  論文  参考訳（メタデータ） (2025-10-06T17:10:44Z)
• Reinforcement Learning Tuning for VideoLLMs: Reward Design and Data Efficiency [56.475612147721264]
  本稿では、離散的かつ連続的な報酬信号を通して意味的推論と時間的推論の両方を監督する二重回帰定式化を提案する。 我々は,ビデオQA,テンポラルビデオグラウンディング,グラウンドドビデオQAを含む8つの代表的なビデオ理解タスクに対するアプローチを評価した。 その結果、MLLMを用いた推論中心のビデオ理解の進展において、報酬設計とデータ選択の重要性が浮き彫りになった。
  論文  参考訳（メタデータ） (2025-06-02T17:28:26Z)
• Deep Video Discovery: Agentic Search with Tool Use for Long-form Video Understanding [60.88843818016968]
  長時間のビデオ理解は時間空間の複雑さと質問応答の難しさによって大きな課題を呈する。 セグメント化されたビデオクリップ上でのエージェント検索戦略を活用するために,Deep Video Discovery (DVD) エージェントを提案する。 当社のDVDエージェントは,LVBenchデータセット上での最先端性能を実現し,74.2%の精度を実現した。
  論文  参考訳（メタデータ） (2025-05-23T16:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。