論文の概要: When and Where to Look: Adaptive Visual Evidence Scheduling for Efficient Long Video Understanding
- arxiv url: http://arxiv.org/abs/2608.03918v1
- Date: Tue, 04 Aug 2026 16:49:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:23.285132
- Title: When and Where to Look: Adaptive Visual Evidence Scheduling for Efficient Long Video Understanding
- Title（参考訳）: いつ, どこで見るか: 映像理解の効率化を目的とした適応的視覚的エビデンススケジューリング
- Abstract要約: 低オーバーヘッドクエリ適応型視覚的エビデンススケジューリングのためのフレームワークであるEcoFrameを提案する。
Video-MME、LongVideoBench、MLVUの実験では、EcoFrameは複数のVLMバックボーン間で効率の良いトレードオフを実現する。
- 参考スコア（独自算出の注目度）: 17.062781672214104
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Efficient long-video understanding requires vision--language models (VLMs) to reason over a small number of frames selected as sparse visual evidence. Existing relevance-based methods rely on static one-shot selection with fixed frame budgets and candidate pools, while agent-based schedulers achieve adaptivity through costly multi-round reasoning and interactive search. We propose EcoFrame, a training-free framework for low-overhead query-adaptive visual evidence scheduling. EcoFrame leverages the VLM's inference feedback to determine when to increase the frame budget and where to search for additional candidate evidence. Specifically, entropy-gated budget scheduling uses output uncertainty to stop early when the current evidence is sufficient or progressively expand the frame budget otherwise. Meanwhile, attention-guided candidate proposal converts frame-level attention into a temporal prior, enabling dense local search in informative regions while preserving global coverage when attention is diffuse. Experiments on Video-MME, LongVideoBench, and MLVU demonstrate that EcoFrame achieves a better accuracy--efficiency trade-off across multiple VLM backbones. On Qwen2.5-VL, EcoFrame achieves an average accuracy of 64.4, surpassing BOLT at 63.5, while providing a $1.85\times$ speedup over AKS and BOLT. Compared with the agent-based A.I.R., EcoFrame maintains comparable accuracy with up to a $13.5\times$ inference speedup. Code will be available at https://github.com/AK-DREAM/EcoFrame.
- Abstract（参考訳）: 効率的な長ビデオ理解には視覚言語モデル(VLM)が必要であり、少ない視覚的証拠として選択された少数のフレームを推論する必要がある。
既存の関連性に基づく手法は、固定フレーム予算と候補プールによる静的一発選択に依存し、エージェントベースのスケジューラは、コストのかかる複数ラウンドの推論と対話的な探索によって適応性を達成する。
低オーバーヘッドクエリ適応型視覚的エビデンススケジューリングのためのトレーニング不要フレームワークであるEcoFrameを提案する。
EcoFrameは、VLMの推論フィードバックを活用して、いつフレーム予算を増すか、そして追加の証拠を探すかを決定する。
具体的には、エントロピー付き予算スケジューリングでは、現在の証拠が十分である場合や、フレーム予算を段階的に拡大する場合に、出力の不確実性を使用して早期に停止する。
一方、注意誘導型候補提案では、フレームレベルの注意を時間的事前に変換し、注意が散らばったときにグローバルなカバレッジを保ちながら、情報的領域における密集した局所探索を可能にする。
Video-MME、LongVideoBench、MLVUの実験では、EcoFrameは複数のVLMバックボーン間で効率の良いトレードオフを実現する。
Qwen2.5-VLでは、EcoFrameは平均64.4の精度でBOLTを63.5で上回り、AKSとBOLTよりも1.85\times$のスピードアップを提供する。
エージェントベースのA.I.R.と比較して、EcoFrameは最大13.5\times$推論スピードアップの精度を維持している。
コードはhttps://github.com/AK-DREAM/EcoFrame.comから入手できる。
関連論文リスト
- Why Is Video Still So Expensive? A Survey of Inference-Efficiency Mechanisms in Video and Audiovisual LLMs [2.1665689529884697]
ビデオ理解はビデオ大言語モデル(VideoLLMs)へと急速に進化した
キャプション、質問応答、検索、時間的グラウンドにおける彼らの強いパフォーマンスは、フレーム数とコンテキストの長さで増大する計算とメモリコストである。
この調査では、パラメータ数、入力毎のFLOP、レイテンシ、メモリ、およびビジュアルおよびオーディオトークン数の具体的な削減を報告した、視覚的およびオーディオ的ビデオLLMの推論効率メカニズムについて取り上げる。
論文 参考訳（メタデータ） (2026-09-09T15:50:39Z) - CoFiE: Coarse-to-Fine Evidence Selection for Efficient Streaming Video Understanding [9.22946015931432]
ビデオ理解のストリーミングには、成長するビデオストリームを処理し、レイテンシの厳しい制約の下でユーザの質問に答えるビジョン言語モデル(VLLM)が必要である。
視覚エンコーダの前の粗い、クエリに依存しないフィルタリングステージと、LLMプリフィル中のクエリ固有の精細化ステージに、証拠選択を分離する、粗大から偽のエビデンス選択フレームワークであるCoFiEを提案する。
CoFiEは、複数のビデオ理解ベンチマークで新しい最先端の精度効率トレードオフを確立し、StreamingBenchで78.86%、OvO-Benchで68.72%、最大3.72%の精度を達成した。
論文 参考訳（メタデータ） (2026-09-03T11:14:21Z) - RIDGE: Region-Informed Derivative-Guided Evidence Selection for Long Video Understanding [55.75126327155788]
RIDGEはフレーム選択フレームワークであり、時間信号としてフレームクエリの類似性曲線を読み取る。
タイムラインを構造的なリージョンに分割し、固定予算の下でイベントコア、トランジション、ビルドアップ、アフターマス、コンテキストフレームを保存するために、リージョン固有の選択を適用する。
ほとんどの設定で最高のパフォーマンスを達成し、他の設定では競争力を維持します。
論文 参考訳（メタデータ） (2026-08-30T18:40:51Z) - Evidence-Driven Dynamic Visual Selector for Efficient Long Video Understanding [54.840531495584095]
本稿では,MLLMの内部的注意証拠をベースとした動的視覚選択フレームワークEviSelectを提案する。
本手法は,高度に圧縮された視覚入力とスパースアテンションを用いて,ターゲットMLLMのマップを効率的に近似する。
EviSelectは既存の方法に比べて優れたパフォーマンスを実現し、選択したビジュアルトークンを約50%削減し、エンドツーエンドのスピードアップを3.9倍に向上させる。
論文 参考訳（メタデータ） (2026-08-06T09:15:43Z) - One Ranking, Any Budget: Matryoshka Evidence-to-Context Frame Selection for Long-Video Understanding [43.953366792790625]
本稿では,再利用可能なスパースビデオインデックスを構築するトレーニングフリーフレームワークであるMatryoshka Evidence-to-Context (MEC) Frame Selectionを紹介する。
MECは、均一サンプリングよりも平均精度を3.77ポイント向上し、強い最先端セレクタにマッチし、エンドツーエンドの選択遅延を47.37-51.19%削減する。
論文 参考訳（メタデータ） (2026-08-06T07:47:15Z) - Ground, Cover, and Refine: Evidence-Centric Frame Selection for Long-Video Question Answering [9.937860041147625]
長いビデオの質問に答えるには、制限された視覚的な予算の下でビデオからスパースで重要な証拠を特定する必要がある。
既存の方法は、単一のパスでクエリ対応フレームを選択するか、検索ガイダンスとしてタイムスタンプ付きテキストに頼るかのいずれかである。
本稿では,固定予算フレーム選択を共同エビデンスキュレーション問題として用いたトレーニングフリーフレームワークであるGCRを提案する。
論文 参考訳（メタデータ） (2026-08-03T03:50:22Z) - Coverage-Driven Adaptive Keyframe Selection for Video Understanding [12.078063042214573]
そこで我々はCSESを提案する。CSESは学習不要なセマンティックセレクタで、スコアとセレクトのためのフレームの数を適応的に決定する。
CSESはフレームクエリの優位性を推定し、アクティブな取得を誘導し、各入力の時間的カバレッジを適応させる。
次に、意味的関連性、時間的冗長性、視覚的冗長性を共同で説明するカバレッジ問題として、選択の妥当性を定式化する。
論文 参考訳（メタデータ） (2026-08-01T15:24:06Z) - Beyond Frame Selection: Generative Latent Evidence Aggregation for Long-Video Understanding [17.716106078756066]
ロングビデオ理解は、動画を小さなフレームや視覚トークンに圧縮して回答を生成するのが一般的である。
私たちのキーとなる考え方は、選択したフレームを生成前にクエリ関連クロスフレームエビデンスにまとめることです。
4つのベンチマークと2つのVideo-MLLMバックボーンで、GenEvAは一致したフレームのベースラインを一貫して改善している。
論文 参考訳（メタデータ） (2026-07-30T16:55:00Z) - Efficient Frame Selection for Long Videos at Test Time with Attention-Based MLLM Selectors [69.75895255395702]
MLLMの検証選択抽出層におけるクロスモーダルな注意は、自己回帰生成を必要とせずに、クエリ関連フレーム証拠を既に提供している。
2Bパラメータしか持たない軽量MLLMセレクタは、クエリ条件アグリゲーションにより、選択した層注目値を関連スコアに変換することにより、フレームレベルのエビデンスを抽出することができる。
32フレームの予算下では,ビデオMMEで最大6.4ポイントの均一サンプリングを改良し,フレーム予算の一致したトレーニングベースセレクタよりも優れていた。
論文 参考訳（メタデータ） (2026-07-17T07:04:31Z) - PEEK: Picking Essential frames via Efficient Knowledge distillation [2.0117085784914623]
適応的フレームサンプリングは、ビデオから最も情報性の高いフレームを選択するための有望なアプローチとして登場した。
我々は,より強力な教師モデルからキャプション条件付きフレーム関連ランキングを蒸留する,効率的な動的フレームサンプリング手法であるPEEKを紹介する。
全体として、ActivityNet CaptionsとMSR-VTTでは、我々の手法は最先端の手法よりも優れています。
論文 参考訳（メタデータ） (2026-05-29T09:01:56Z) - LiteFrame: Efficient Vision Encoders Unlock Frame Scaling in Video LLMs [90.77662862634509]
LiteFrameは、ビデオ大言語モデルのための強力な、しかし非常に効率的なバックボーンである。
LiteFrameはエンドツーエンドのレイテンシを35%削減し、8$times$より多くのフレームを処理する。
計算予算の固定化により,より長めの映像理解を解き明かす可能性を示した。
論文 参考訳（メタデータ） (2026-05-17T05:02:52Z) - Event-Anchored Frame Selection for Effective Long-Video Understanding [67.56884568828508]
Event-Anchored Frame Selection (EFS)は階層的なイベント認識パイプラインである。
トレーニング不要のプラグイン・アンド・プレイモジュールとして、EFSは既製のLVLMにシームレスに統合できる。
論文 参考訳（メタデータ） (2026-03-01T08:25:37Z) - Going Down Memory Lane: Scaling Tokens for Video Stream Understanding with Dynamic KV-Cache Memory [50.30283773196725]
既存のアプローチは、時間とともにフレームレベルの詳細を蓄積するためにキーバリューキャッシングに依存していますが、フレーム毎に限られた数のトークンを使用します。
より詳細な時間的理解と推論を可能にするためにトークン予算のスケーリングを提案する。
論文 参考訳（メタデータ） (2026-02-20T18:59:50Z) - Less is More: Token-Efficient Video-QA via Adaptive Frame-Pruning and Semantic Graph Integration [24.337139909108117]
過剰なフレームが文脈の希釈によってパラドックス的に性能を低下させる「レスはそれ以上」現象である。
視覚エコー」は「視覚エコー」という時間的冗長性を有する
AFP"は、ResNet-50とCLIPの機能空間に適応的な階層的クラスタリングアルゴリズムを用いて、これらのエコーを単一の代表に識別し、マージする。
我々の完全なアプローチは、必要なフレームを86.9%まで、合計入力トークンを83.2%まで劇的に削減することを示しています。
論文 参考訳（メタデータ） (2025-08-05T11:31:55Z) - BOLT: Boost Large Vision-Language Model Without Training for Long-form Video Understanding [51.49345400300556]
大規模ビデオ言語モデル (VLM) は様々なビデオ理解タスクにおいて有望な進歩を示した。
均一なフレームサンプリングのような伝統的なアプローチは、必然的に無関係なコンテンツにリソースを割り当てる。
本稿では,フレーム選択戦略の総合的研究を通じて,付加的なトレーニングを伴わずに大規模VLMをブーストする方法であるBOLTを紹介する。
論文 参考訳（メタデータ） (2025-03-27T13:18:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。