論文の概要: RACER: Reflective Agent Coupling Query Interpretation and Tool-Based Retrieval for Frame Selection in Long Video Understanding

• arxiv url: http://arxiv.org/abs/2610.08954v1
• Date: Tue, 06 Oct 2026 18:21:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.552069
• Title: RACER: Reflective Agent Coupling Query Interpretation and Tool-Based Retrieval for Frame Selection in Long Video Understanding
• Title（参考訳）: RACER: 長いビデオ理解におけるフレーム選択のためのクエリ解釈とツールベース検索を結合した反射エージェント
• Abstract要約: ビデオ大言語モデル(Vid-LLM)は、選択したフレームを推論することで、多様なビデオ言語タスクに優れる。 本稿では,タスク分割の観点からの長ビデオフレーム選択に対する支配的アプローチについて検討する。 本稿では,長時間のフレーム選択を問合せに分解する学習自由反射型エージェントフレームワークであるRACERを提案する。
• 参考スコア（独自算出の注目度）: 46.54120636784103
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video large language models (Vid-LLMs) excel at diverse video-language tasks by reasoning over selected frames. However, frame selection for long videos remains challenging, as it requires retrieving relevant frames distributed across segments from a large candidate pool given complex queries. This paper investigates dominant approaches to long-video frame selection from a task-decomposition perspective, identifying two key challenges: the Query Comprehension Gap in similarity-based methods and the Interpretation--Selection Gap in judgment-based methods. To address them, we propose RACER, a training-free reflective agentic framework that decomposes long-video frame selection into query interpretation driven by a lightweight Vid-LLM and evidence localization supported by an embedding model serving as a retrieval tool. Specifically, the Vid-LLM is responsible solely for reformulating the complex query into sub-queries that make implicit information requirements explicit, mitigating the Query Comprehension Gap. Meanwhile, the retrieval tool leverages these sub-queries to localize relevant evidence, relieving the Vid-LLM of direct frame selection and thus addressing the Interpretation--Selection Gap. Finally, the retrieved frames are fed back to the Vid-LLM for sub-query refinement, forming a reflection loop that iteratively improves query interpretation and frame selection. Experiments across multiple benchmarks show that RACER consistently improves long video understanding. Notably, RACER achieves effective frame selection even with limited-capability components, demonstrating that agentic integration enables these components to enhance more capable Vid-LLMs.
• Abstract（参考訳）: ビデオ大言語モデル(Vid-LLM)は、選択したフレームを推論することで、多様なビデオ言語タスクに優れる。 しかし、長いビデオのフレーム選択は、複雑なクエリを与えられた大きな候補プールからセグメントに分散したフレームを取得する必要があるため、依然として困難である。 本稿では,タスク分解の観点からの長ビデオフレーム選択における主要なアプローチについて検討し,類似性に基づくクエリ理解ギャップと,判断に基づく手法による解釈-選択ギャップの2つの主要な課題を同定する。 そこで本研究では,長時間ビデオのフレーム選択を軽量なVid-LLMによって駆動されるクエリ解釈と,検索ツールとして機能する埋め込みモデルによって支持されるエビデンスローカライゼーションに分解する,学習不要な反射型エージェントフレームワークであるRACERを提案する。 具体的には、Vid-LLMは、複雑なクエリを暗黙的な情報要求を明確にするサブクエリに書き換えることだけに責任を持ち、Query Comprehension Gapを緩和します。 一方、検索ツールはこれらのサブクエリを活用して、関連するエビデンスをローカライズし、直接フレーム選択のVid-LLMを軽減し、解釈-選択ギャップに対処する。 最後に、検索したフレームをサブクエリ精錬のためにVid-LLMに送り返してリフレクションループを形成し、クエリ解釈とフレーム選択を反復的に改善する。 複数のベンチマークで実験したところ、RACERは長いビデオの理解を継続的に改善している。 特にRACERは、制限可能なコンポーネントであっても効果的なフレーム選択を実現し、エージェント統合によってこれらのコンポーネントがより有能なVid-LLMを実現できることを示す。

関連論文リスト

• Efficient Frame Selection for Long Videos at Test Time with Attention-Based MLLM Selectors [69.75895255395702]
  MLLMの検証選択抽出層におけるクロスモーダルな注意は、自己回帰生成を必要とせずに、クエリ関連フレーム証拠を既に提供している。 2Bパラメータしか持たない軽量MLLMセレクタは、クエリ条件アグリゲーションにより、選択した層注目値を関連スコアに変換することにより、フレームレベルのエビデンスを抽出することができる。 32フレームの予算下では,ビデオMMEで最大6.4ポイントの均一サンプリングを改良し,フレーム予算の一致したトレーニングベースセレクタよりも優れていた。
  論文  参考訳（メタデータ） (2026-07-17T07:04:31Z)
• Query-Conditioned Evidential Keyframe Sampling for MLLM-Based Long-Form Video Understanding [21.306038832082553]
  MLLM(Multimodal Large Language Models)は,ビデオ質問応答において高い性能を示した。 ロングフォームビデオへのそれらの応用は、コンテキスト長と計算コストの制限によって制限される。 本稿では,情報理論に基づくエビデンス駆動サンプリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-01T15:02:50Z)
• Improving Video Question Answering through query-based frame selection [15.416301612152004]
  Video Question Answering (VideoQA) モデルは、視聴覚コンテンツに対する理解とインタラクションを強化する。 重い計算要求のため、ビデオQAのほとんどの大きなビジュアル言語モデル(VLM)は、動画を一様にサンプリングすることで固定数のフレームに依存している。 本稿では,サブモジュール相互情報(SMI)関数に基づいて,質問に関連のある新しい問合せベースのフレーム選択を提案する。
  論文  参考訳（メタデータ） (2026-01-12T12:10:20Z)
• SeViCES: Unifying Semantic-Visual Evidence Consensus for Long Video Understanding [36.30263540665245]
  本稿では,効果的で信頼性の高いロングビデオ理解のためのフレームワークを提案する。 SeViCESはトレーニング不要でモデルに依存しない2つの重要なコンポーネントを導入している。 長いビデオ理解ベンチマークの実験によると、SeViCESは精度と堅牢性の両方で最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-10-23T14:55:28Z)
• Q-Frame: Query-aware Frame Selection and Multi-Resolution Adaptation for Video-LLMs [13.306662159600677]
  適応型フレーム選択とマルチテンポラリスケーリングのための新しいアプローチであるビデオQFrameを紹介する。 Q-Frameは、CLIPのようなテキスト画像マッチングネットワークによって生成されたトレーニング不要のプラグイン・アンド・プレイ戦略を採用している。 ベンチマークデータセットの広範な実験を通じて,Q-Frameの有効性を実証する。
  論文  参考訳（メタデータ） (2025-06-27T11:30:51Z)
• ReFoCUS: Reinforcement-guided Frame Optimization for Contextual Understanding [52.050036778325094]
  ReFoCUS(Reinforcement-guided Frame Optimization for Contextual UnderStanding)は、新しいフレームレベルのポリシー最適化フレームワークである。 ReFoCUSは、参照LMMから派生した報酬信号を用いて、フレームに対するモデル固有の嗜好を反映して、強化学習を通じてフレーム選択ポリシーを学習する。 提案手法は複数のビデオQAベンチマークにおける推論性能を継続的に改善する。
  論文  参考訳（メタデータ） (2025-06-02T03:08:07Z)
• M-LLM Based Video Frame Selection for Efficient Video Understanding [60.93714759178143]
  本稿では,ユーザのクエリに関連性の高いフレームを適応的に選択する,軽量なM-LLMベースのフレーム選択手法を提案する。 選択されたフレームは、視覚的推論と質問応答のための凍った下流ビデオM-LLMによって消化される。
  論文  参考訳（メタデータ） (2025-02-27T01:44:13Z)
• An Empirical Study of Frame Selection for Text-to-Video Retrieval [62.28080029331507]
  テキスト・ツー・ビデオ検索(TVR)は、クエリーテキストが与えられた大きなビデオギャラリーで最も関連性の高いビデオを見つけることを目的としている。 既存の方法は通常、TVRのビデオコンテンツを表すためにビデオ内のフレームのサブセットを選択する。 本稿では,TVRにおけるフレーム選択の実証的研究を行う。
  論文  参考訳（メタデータ） (2023-11-01T05:03:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。