論文の概要: Efficient Frame Selection for Long Videos at Test Time with Attention-Based MLLM Selectors
- arxiv url: http://arxiv.org/abs/2607.15689v1
- Date: Fri, 17 Jul 2026 07:04:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-20 17:56:52.777834
- Title: Efficient Frame Selection for Long Videos at Test Time with Attention-Based MLLM Selectors
- Title（参考訳）: アテンションベースMLLMセレクタを用いた長時間ビデオの効率的なフレーム選択
- Abstract要約: MLLMの検証選択抽出層におけるクロスモーダルな注意は、自己回帰生成を必要とせずに、クエリ関連フレーム証拠を既に提供している。
2Bパラメータしか持たない軽量MLLMセレクタは、クエリ条件アグリゲーションにより、選択した層注目値を関連スコアに変換することにより、フレームレベルのエビデンスを抽出することができる。
32フレームの予算下では,ビデオMMEで最大6.4ポイントの均一サンプリングを改良し,フレーム予算の一致したトレーニングベースセレクタよりも優れていた。
- 参考スコア（独自算出の注目度）: 69.75895255395702
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding long videos with multimodal large language models (MLLMs) requires selecting a compact set of frames from thousands of candidates, yet identifying the right frames seemingly requires understanding the video first. We resolve this circular dependency with a simple observation: cross-modal attention at validation-selected extraction layers in MLLMs already provides query-relevant frame evidence without requiring autoregressive generation. We exploit this property to build DAFS (Dynamic Attention-based Budget-aware Frame Selection), a training-free frame selector. A lightweight MLLM selector, even with only 2B parameters, can extract frame-level evidence by converting selected-layer attention into relevance scores through query-conditioned aggregation. This enables cross-frame comparison without autoregressive decoding. To handle the selector's own context constraint, we formulate the joint allocation of candidate pool size and per-frame token budget as a discrete optimization problem solved by dynamic programming. Under a 32-frame budget, our selector improves over uniform sampling by up to 6.4 points on Video-MME and outperforms prior training-based selectors under matched frame budgets, while generalizing across selector and answerer backbones, and across tasks, without retraining.
- Abstract（参考訳）: MLLM(Multimodal large language model)で長いビデオを理解するには、数千の候補からコンパクトなフレームを選択する必要があるが、適切なフレームを特定するには、まずビデオを理解する必要があるように見える。
MLLMの検証選択された抽出層におけるクロスモーダルな注意は、自己回帰生成を必要とせずに、クエリ関連フレーム証拠を既に提供しています。
この特性を利用して、トレーニング不要フレームセレクタであるDAFS(Dynamic Attention-based Budget-aware Frame Selection)を構築する。
2Bパラメータしか持たない軽量MLLMセレクタは、クエリ条件アグリゲーションにより、選択した層注目値を関連スコアに変換することにより、フレームレベルのエビデンスを抽出することができる。
これにより、自動回帰復号化なしでクロスフレーム比較が可能になる。
セレクタ自身のコンテキスト制約に対処するため、動的プログラミングによって解く離散最適化問題として、候補プールサイズとフレーム単位のトークン予算の同時割り当てを定式化する。
32フレームの予算の下では,ビデオMMEで最大6.4ポイントの均一サンプリングを改良し,フレーム予算で事前のトレーニングベースセレクタよりも優れ,セレクタと応答器のバックボーンをまたいで,タスクを再トレーニングすることなく一般化する。
関連論文リスト
- MarKey: Marginal Utility Guided Greedy Keyframe Selection for Long Video Understanding [17.82627304498428]
長いビデオの理解は、大きな言語モデルでは依然として困難である。
最近の無訓練選択法はより効率的な推論を可能にしている。
本稿では,マルチモーダル選択をサブセット認識の欲求最適化として定式化するフレームワークであるMarKeyを提案する。
論文 参考訳（メタデータ） (2026-09-14T11:39:20Z) - RIDGE: Region-Informed Derivative-Guided Evidence Selection for Long Video Understanding [55.75126327155788]
RIDGEはフレーム選択フレームワークであり、時間信号としてフレームクエリの類似性曲線を読み取る。
タイムラインを構造的なリージョンに分割し、固定予算の下でイベントコア、トランジション、ビルドアップ、アフターマス、コンテキストフレームを保存するために、リージョン固有の選択を適用する。
ほとんどの設定で最高のパフォーマンスを達成し、他の設定では競争力を維持します。
論文 参考訳（メタデータ） (2026-08-30T18:40:51Z) - Evidence-Driven Dynamic Visual Selector for Efficient Long Video Understanding [54.840531495584095]
本稿では,MLLMの内部的注意証拠をベースとした動的視覚選択フレームワークEviSelectを提案する。
本手法は,高度に圧縮された視覚入力とスパースアテンションを用いて,ターゲットMLLMのマップを効率的に近似する。
EviSelectは既存の方法に比べて優れたパフォーマンスを実現し、選択したビジュアルトークンを約50%削減し、エンドツーエンドのスピードアップを3.9倍に向上させる。
論文 参考訳（メタデータ） (2026-08-06T09:15:43Z) - Coverage-Driven Adaptive Keyframe Selection for Video Understanding [12.078063042214573]
そこで我々はCSESを提案する。CSESは学習不要なセマンティックセレクタで、スコアとセレクトのためのフレームの数を適応的に決定する。
CSESはフレームクエリの優位性を推定し、アクティブな取得を誘導し、各入力の時間的カバレッジを適応させる。
次に、意味的関連性、時間的冗長性、視覚的冗長性を共同で説明するカバレッジ問題として、選択の妥当性を定式化する。
論文 参考訳（メタデータ） (2026-08-01T15:24:06Z) - Where to Focus: Query-Modulated Multimodal Keyframe Selection for Long Video Understanding [48.14432643308697]
長いビデオ理解は、マルチモーダルな大規模言語モデルにとって非常に難しい課題です。
Q-Gateは、選択を動的モダリティルーティング問題として扱うプラグイン・アンド・プレイフレームワークである。
論文 参考訳（メタデータ） (2026-04-19T13:04:18Z) - Query-Conditioned Evidential Keyframe Sampling for MLLM-Based Long-Form Video Understanding [21.306038832082553]
MLLM(Multimodal Large Language Models)は,ビデオ質問応答において高い性能を示した。
ロングフォームビデオへのそれらの応用は、コンテキスト長と計算コストの制限によって制限される。
本稿では,情報理論に基づくエビデンス駆動サンプリングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-01T15:02:50Z) - Event-Anchored Frame Selection for Effective Long-Video Understanding [67.56884568828508]
Event-Anchored Frame Selection (EFS)は階層的なイベント認識パイプラインである。
トレーニング不要のプラグイン・アンド・プレイモジュールとして、EFSは既製のLVLMにシームレスに統合できる。
論文 参考訳（メタデータ） (2026-03-01T08:25:37Z) - Improving Video Question Answering through query-based frame selection [15.416301612152004]
Video Question Answering (VideoQA) モデルは、視聴覚コンテンツに対する理解とインタラクションを強化する。
重い計算要求のため、ビデオQAのほとんどの大きなビジュアル言語モデル(VLM)は、動画を一様にサンプリングすることで固定数のフレームに依存している。
本稿では,サブモジュール相互情報(SMI)関数に基づいて,質問に関連のある新しい問合せベースのフレーム選択を提案する。
論文 参考訳（メタデータ） (2026-01-12T12:10:20Z) - HFS: Holistic Query-Aware Frame Selection for Efficient Video Reasoning [13.569944737211472]
ビデオ理解におけるキーフレーム選択は重要な課題である。
フレームを独立にスコアする従来のトップK選択法は、選択全体を最適化するのに失敗することが多い。
フレーム選択のためのエンドツーエンドのトレーニング可能なタスク適応フレームワークを提案する。
論文 参考訳（メタデータ） (2025-12-12T13:10:30Z) - Adaptive Keyframe Sampling for Long Video Understanding [75.7837692594814]
本稿では、適応鍵フレームサンプリング(AKS)という、単純だが効果的なアルゴリズムを提案する。
これはAdaptive Keyframe Sampling (AKS)と呼ばれるプラグインとプレイモジュールを挿入し、ビデオトークンの固定数で有用な情報を最大化することを目的としている。
2つの長いビデオ理解ベンチマークの実験は、AKSが情報的出会いを選択する際にビデオQA精度を改善することを検証する。
論文 参考訳（メタデータ） (2025-02-28T17:46:29Z) - M-LLM Based Video Frame Selection for Efficient Video Understanding [60.93714759178143]
本稿では,ユーザのクエリに関連性の高いフレームを適応的に選択する,軽量なM-LLMベースのフレーム選択手法を提案する。
選択されたフレームは、視覚的推論と質問応答のための凍った下流ビデオM-LLMによって消化される。
論文 参考訳（メタデータ） (2025-02-27T01:44:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。