論文の概要: Evidence-Driven Dynamic Visual Selector for Efficient Long Video Understanding
- arxiv url: http://arxiv.org/abs/2608.05780v1
- Date: Thu, 06 Aug 2026 09:15:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 15:25:20.862728
- Title: Evidence-Driven Dynamic Visual Selector for Efficient Long Video Understanding
- Title（参考訳）: Evidence-Driven Dynamic Visual Selector for Evidence-Driven Long Video Understanding
- Abstract要約: 本稿では,MLLMの内部的注意証拠をベースとした動的視覚選択フレームワークEviSelectを提案する。
本手法は,高度に圧縮された視覚入力とスパースアテンションを用いて,ターゲットMLLMのマップを効率的に近似する。
EviSelectは既存の方法に比べて優れたパフォーマンスを実現し、選択したビジュアルトークンを約50%削減し、エンドツーエンドのスピードアップを3.9倍に向上させる。
- 参考スコア（独自算出の注目度）: 54.840531495584095
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advancements in MLLM-based long-form video understanding have mitigated inference-time computational cost and limited context lengths by selecting query-relevant frames. However, existing approaches predominantly rely on external proxy scorers and rigid heuristic rules, inevitably suffering from misalignment with the target MLLM's intrinsic evidence and failing to accommodate the non-uniform spatiotemporal information density. In this paper, we propose a fine-grained dynamic visual selection framework named EviSelect, grounded in the target MLLM internal attention evidence. Our method efficiently probes visual evidence via sparse prefilling as a structured prior to guide distribution-aware dynamic sampling. Specifically, we efficiently approximate attention maps of the target MLLM using highly compressed visual inputs and sparse attention, well-aligned to the full counterpart. Conditioned on three complementary attention components derived from this prior, we design a lightweight selector that not only precisely locates query-relevant timestamps but also adaptively adjusts the local sampling rate and spatial resolution. To enable evidence-conditioned spatiotemporal sampling, we formulate the selector as a stochastic policy and optimize it via GRPO under a joint accuracy--efficiency reward. By rewarding correct predictions under lower visual cost through group-relative comparisons, our method encourages the policy to allocate computation dynamically according to the information density of each video. Across three long video understanding benchmarks, EviSelect achieves superior performance compared to existing methods while reducing selected visual tokens by about 50\% and achieving a 3.9x end-to-end speedup.
- Abstract（参考訳）: MLLMに基づく長文ビデオ理解の最近の進歩は、クエリ関連フレームの選択により、推論時間計算コストとコンテキスト長の制限を緩和している。
しかし、既存のアプローチは主に外部のプロキシスコアと厳密なヒューリスティックルールに依存しており、必然的にターゲットMLLMの本質的な証拠との不一致に悩まされ、一様でない時空間情報密度に対応できない。
本稿では,MLLM内部の注意喚起の根拠として,EviSelectという微細な動的視覚選択フレームワークを提案する。
本手法は,分布認識動的サンプリングの導出に先立って,スパースプリフィルによる視覚的エビデンスを効率的に探索する。
具体的には、高度に圧縮された視覚入力とスパースアテンションを用いて、ターゲットMLLMのアテンションマップを効率よく近似する。
この先程から導かれた3つの補完的注意要素に基づいて,クエリ関連タイムスタンプを正確に検出するだけでなく,局所サンプリング率と空間分解能を適応的に調整する軽量セレクタを設計した。
証拠条件付き時空間サンプリングを可能にするため, セレクタを確率的ポリシとして定式化し, GRPO を用いて共同精度-効率の報奨の下で最適化する。
グループ相対比較により,より低い視覚的コスト下での正確な予測を報奨することにより,各ビデオの情報密度に応じて動的に計算を割り当てるようにポリシーを奨励する。
3つの長いビデオ理解ベンチマークで、EviSelectは既存の方法よりも優れたパフォーマンスを実現し、選択したビジュアルトークンを約50\%削減し、エンドツーエンドのスピードアップを3.9倍に向上させた。
関連論文リスト
- Efficient Frame Selection for Long Videos at Test Time with Attention-Based MLLM Selectors [69.75895255395702]
MLLMの検証選択抽出層におけるクロスモーダルな注意は、自己回帰生成を必要とせずに、クエリ関連フレーム証拠を既に提供している。
2Bパラメータしか持たない軽量MLLMセレクタは、クエリ条件アグリゲーションにより、選択した層注目値を関連スコアに変換することにより、フレームレベルのエビデンスを抽出することができる。
32フレームの予算下では,ビデオMMEで最大6.4ポイントの均一サンプリングを改良し,フレーム予算の一致したトレーニングベースセレクタよりも優れていた。
論文 参考訳（メタデータ） (2026-07-17T07:04:31Z) - Where to Focus: Query-Modulated Multimodal Keyframe Selection for Long Video Understanding [48.14432643308697]
長いビデオ理解は、マルチモーダルな大規模言語モデルにとって非常に難しい課題です。
Q-Gateは、選択を動的モダリティルーティング問題として扱うプラグイン・アンド・プレイフレームワークである。
論文 参考訳（メタデータ） (2026-04-19T13:04:18Z) - Query-Conditioned Evidential Keyframe Sampling for MLLM-Based Long-Form Video Understanding [21.306038832082553]
MLLM(Multimodal Large Language Models)は,ビデオ質問応答において高い性能を示した。
ロングフォームビデオへのそれらの応用は、コンテキスト長と計算コストの制限によって制限される。
本稿では,情報理論に基づくエビデンス駆動サンプリングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-01T15:02:50Z) - VideoBrain: Learning Adaptive Frame Sampling for Long Video Understanding [9.415923244280542]
VideoBrainは、Vision-Language Modelsが学習したサンプリングポリシーを通じて視覚情報を適応的に取得することを可能にするエンドツーエンドフレームワークである。
提案手法は,ビデオ間の意味検索を行うCLIPエージェントと,時間間隔内での高密度サンプリングを行うUniformエージェントの2つの補完エージェントを特徴とする。
論文 参考訳（メタデータ） (2026-02-04T00:08:35Z) - Tracking Meets Large Multimodal Models for Driving Scenario Understanding [76.71815464110153]
大規模マルチモーダルモデル(LMM)は、最近自動運転研究で注目されている。
本稿では3次元の空間的・時間的詳細を復元するための追加入力として追跡情報を統合することを提案する。
本稿では,この追跡情報をLMMに埋め込んで,運転シナリオの理解を深めるための新しい手法を提案する。
論文 参考訳（メタデータ） (2025-03-18T17:59:12Z) - Coarse Correspondences Boost Spatial-Temporal Reasoning in Multimodal Language Model [51.83436609094658]
本稿では,2次元画像を入力として,MLLMの時空間推論を強化する軽量な手法である粗対応を導入する。
本手法は,映像のフレーム間や異なる視点における主物体の対応性を特定するために,軽量な追跡モデルを用いている。
この単純なトレーニングフリーアプローチは、4つのベンチマークでGPT4-V/Oに一定の利得をもたらすことを実証する。
論文 参考訳（メタデータ） (2024-08-01T17:57:12Z) - Practical Video Object Detection via Feature Selection and Aggregation [18.15061460125668]
ビデオオブジェクト検出(VOD)は、オブジェクトの外観における高いフレーム間変動と、いくつかのフレームにおける多様な劣化を懸念する必要がある。
現代のアグリゲーション法のほとんどは、高い計算コストに苦しむ2段階検出器用に調整されている。
この研究は、特徴選択と集約の非常に単純だが強力な戦略を考案し、限界計算コストでかなりの精度を得る。
論文 参考訳（メタデータ） (2024-07-29T02:12:11Z) - You Can Ground Earlier than See: An Effective and Efficient Pipeline for
Temporal Sentence Grounding in Compressed Videos [56.676761067861236]
ビデオがトリミングされていない場合、時間的文のグラウンド化は、文問合せに従って目的のモーメントを意味的に見つけることを目的としている。
それまでの優れた作品は、かなり成功したが、それらはデコードされたフレームから抽出されたハイレベルな視覚的特徴にのみ焦点を当てている。
本稿では,圧縮された映像を直接視覚入力として利用する,圧縮された領域のTSGを提案する。
論文 参考訳（メタデータ） (2023-03-14T12:53:27Z) - DFA: Dynamic Feature Aggregation for Efficient Video Object Detection [15.897168900583774]
本稿では,機能拡張のためのフレームを適応的に選択するバニラ動的アグリゲーションモジュールを提案する。
バニラ動的アグリゲーションモジュールを、より効果的で再構成可能なデフォルマブルバージョンに拡張します。
提案手法と統合したImageNet VIDベンチマークでは,FGFAとSELSAがそれぞれ31%,SELSAが76%向上した。
論文 参考訳（メタデータ） (2022-10-02T17:54:15Z) - Video Annotation for Visual Tracking via Selection and Refinement [74.08109740917122]
ビデオシーケンスのバウンディングボックスアノテーションを容易にするための新しいフレームワークを提案する。
目標位置の時間的コヒーレンスを捉えることのできる時間的アセスメントネットワークを提案する。
また、選択したトラッキング結果をさらに強化するために、ビジュアルジオメトリ・リファインメント・ネットワークが設計されている。
論文 参考訳（メタデータ） (2021-08-09T05:56:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。