論文の概要: A Multi-Agent Perception-Action Alliance for Efficient Long Video Reasoning

• arxiv url: http://arxiv.org/abs/2603.14052v1
• Date: Sat, 14 Mar 2026 17:43:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.571128
• Title: A Multi-Agent Perception-Action Alliance for Efficient Long Video Reasoning
• Title（参考訳）: マルチエージェント・パーセプション・Action Alliance for Efficient Long Video Reasoning
• Authors: Yichang Xu, Gaowen Liu, Ramana Rao Kompella, Tiansheng Huang, Sihao Hu, Fatih Ilhan, Selim Furkan Tekin, Zachary Yahn, Ling Liu,
• Abstract要約: A4VLは、VLMエージェントの選択を伴うマルチラウンドの知覚-行動探索ループで動作する。 知覚行動探索によるマルチエージェントアライアンスの統合と、イベント駆動パーティショニングとキュー誘導ブロックアライメントの併用により、A4VLは現実の長いビデオに効果的にスケールすることができる。
• 参考スコア（独自算出の注目度）: 35.34074811680048
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a multi-agent perception-action exploration alliance, dubbed A4VL, for efficient long-video reasoning. A4VL operates in a multi-round perception-action exploration loop with a selection of VLM agents. In each round, the team of agents performs video question-answer (VideoQA) via perception exploration followed by action exploration. During perception exploration, each agent learns to extract query-specific perception clue(s) from a few sampled frames and performs clue-based alignment to find the video block(s) that are most relevant to the query-specific event. During action exploration, A4VL performs video reasoning in three steps: (1) each agent produces its initial answer with rational, (2) all agents collaboratively scores one another through cross-reviews and relevance ranking, and (3) based on whether a satisfactory consensus is reached, the decision is made either to start a new round of perception-action deliberation by pruning (e.g., filtering out the lowest performing agent) and re-staging (e.g., new-clue and matching block based perception-action exploration), or to conclude by producing its final answer. The integration of the multi-agent alliance through multi-round perception-action exploration, coupled with event-driven partitioning and cue-guided block alignment, enables A4VL to effectively scale to real world long videos while preserving high quality video reasoning. Evaluation Results on five popular VideoQA benchmarks show that A4VL outperforms 18 existing representative VLMs and 10 recent methods optimized for long-video reasoning, while achieving significantly lower inference latency. Our code is released at https://github.com/git-disl/A4VL.
• Abstract（参考訳）: 本稿では,A4VLと呼ばれるマルチエージェントの知覚行動探索アライアンスを,より効率的なロングビデオ推論のために提案する。 A4VLは、VLMエージェントの選択を伴うマルチラウンドの知覚-行動探索ループで動作する。 各ラウンドで、エージェントのチームは、知覚探索とアクション探索を通じてビデオ質問応答(VideoQA)を行う。 知覚探索中、各エージェントは、いくつかのサンプルフレームからクエリ固有の知覚手がかりを抽出し、手がかりに基づくアライメントを行い、クエリ固有のイベントに最も関係のあるビデオブロックを見つける。 アクション探索中、A4VLは、(1)各エージェントが合理的に最初の回答を生成し、(2)全てのエージェントが相互レビューと関連性ランキングを通じて協調的にスコア付けし、(3)満足なコンセンサスに達するか否かに基づいて、プルーニング(例えば、最もパフォーマンスの低いエージェントをフィルタリングする)と再試行(例えば、新しいサイクルとブロックベースの認識行動探索)による新たなラウンドを開始するか、または最終回答を出力して終了するかの3ステップでビデオ推論を行う。 マルチエージェントアライアンスの統合は、イベント駆動パーティショニングとキュー誘導ブロックアライメントと組み合わせて、高品質なビデオ推論を保ちながら、A4VLが実世界の長いビデオに効果的にスケールできるようにする。 人気の高い5つのビデオQAベンチマークの評価結果によると、A4VLは18の既存のVLMと10の最近の手法で長ビデオの推論に最適化され、推論レイテンシーは大幅に低下している。 私たちのコードはhttps://github.com/git-disl/A4VLでリリースされています。

関連論文リスト

• LongVideo-R1: Smart Navigation for Low-cost Long Video Understanding [106.23494088118571]
  LongVideo-R1は、効率的なビデオコンテキストナビゲーションのためのマルチモーダル大言語モデル(MLLM)エージェントである。 これは、その後の処理において最も情報に富むビデオクリップを推測する。 LongVideo-R1エージェントは、2段階のパラダイムを通じてQwen-3-8Bモデルに微調整される。
  論文  参考訳（メタデータ） (2026-02-24T13:49:47Z)
• Active Video Perception: Iterative Evidence Seeking for Agentic Long Video Understanding [139.83981719664794]
  LVU(Long Video Understanding)は、現実のクエリに答えることが、数時間の計算時間内に埋められた、時間的に分散されたキューと無関係なコンテンツに依存するため、難しい。 我々は,映像をインタラクティブな環境として扱うエビデンス検索フレームワークであるActive Video Perception(AVP)を,画素から直接クエリ関連エビデンスを取得する。
  論文  参考訳（メタデータ） (2025-12-05T15:03:48Z)
• CAViAR: Critic-Augmented Video Agentic Reasoning [90.48729440775223]
  より複雑なビデオ推論を行うために、知覚能力を利用することができますか? 我々は,ビデオモジュールをサブエージェントやツールとして利用できる大規模言語モデルエージェントを開発した。 我々は,我々のエージェントと批評家の組み合わせが,データセット上で高い性能を達成することを示す。
  論文  参考訳（メタデータ） (2025-09-09T17:59:39Z)
• MAGNET: A Multi-agent Framework for Finding Audio-Visual Needles by Reasoning over Multi-Video Haystacks [67.31276358668424]
  AV-HaystacksQAという新しいタスクを導入し、クエリに応答して、異なるビデオにまたがる有能なセグメントを識別し、それらをリンクして最も有意義な回答を生成する。 AVHaystacksは、マルチビデオ検索および時間的グラウンドタスクにおけるLMMの能力を評価するために設計された3100の注釈付きQAペアからなるオーディオビジュアルベンチマークである。 提案するAVHaystackのQAタスクにおけるBLEU@4およびGPT評価スコアの基準値よりも89%と65%の相対的な改善を実現し、モデルに依存しないマルチエージェントフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-08T06:34:29Z)
• LVAgent: Long Video Understanding by Multi-Round Dynamical Collaboration of MLLM Agents [18.580893774836845]
  既存のMLLMは、長いビデオ内の時間的コンテキストをモデル化する上で大きな課題に直面している。 LVAgentはMLLMエージェントのマルチラウンド動的協調を長時間ビデオ理解で実現した最初のフレームワークである。 LVAgentは4つのメインストリームビデオ理解タスクにおいて80%の精度を実現している。
  論文  参考訳（メタデータ） (2025-03-13T09:35:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。