論文の概要: MarKey: Marginal Utility Guided Greedy Keyframe Selection for Long Video Understanding

• arxiv url: http://arxiv.org/abs/2609.15408v1
• Date: Mon, 14 Sep 2026 11:39:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.300545
• Title: MarKey: Marginal Utility Guided Greedy Keyframe Selection for Long Video Understanding
• Title（参考訳）: MarKey:Marginal Utilityガイド付きGreedy Keyframe Selection for Long Video Understanding
• Abstract要約: 長いビデオの理解は、大きな言語モデルでは依然として困難である。 最近の無訓練選択法はより効率的な推論を可能にしている。 本稿では,マルチモーダル選択をサブセット認識の欲求最適化として定式化するフレームワークであるMarKeyを提案する。
• 参考スコア（独自算出の注目度）: 17.82627304498428
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-video understanding remains challenging for multimodal large language models (MLLMs) because densely encoding long frame sequences is computationally expensive, while uniform sampling under a limited visual budget can miss sparse yet decisive evidence. Recent training-free keyframe selection methods have enabled more efficient inference and yielded promising performance gains. However, many existing methods score frames largely in isolation without explicitly considering how each candidate complements the currently selected subset, potentially resulting in redundant selections and incomplete evidence coverage. To address this limitation, we propose MarKey, a training-free framework that formulates keyframe selection as subset-aware greedy optimization. At each iteration, MarKey scores each candidate using a tractable surrogate that jointly accounts for query relevance, marginal coverage gain, and context-dependent redundancy, and selects the frame with the highest utility. To make this iterative subset-aware evaluation efficient, MarKey uses a compact set of representative anchors to approximate full-video coverage and a bounded window of previously selected frames to limit context-dependent comparisons. Experiments on six benchmarks spanning holistic video understanding, human-centric video understanding, and open-ended video understanding demonstrate that MarKey consistently outperforms existing methods. Further analyses show robust gains across different MLLM backbones, model scales, and frame budgets.
• Abstract（参考訳）: 長いフレーム列を高密度に符号化する手法は計算コストがかかるため、マルチモーダルな大規模言語モデル(MLLM)では長いビデオ理解は依然として困難である。 近年のトレーニングフリーなキーフレーム選択手法により,より効率的な推論が可能となり,有望な性能向上が得られた。 しかし、既存の多くのメソッドは、各候補が現在選択されているサブセットをどのように補完するかを明示的に考慮することなく、フレームを主に独立にスコアし、潜在的に冗長な選択と不完全なエビデンスカバレッジをもたらす可能性がある。 この制限に対処するために、キーフレームの選択をサブセット対応のgreedy最適化として定式化する、トレーニング不要のフレームワークであるMarKeyを提案する。 それぞれのイテレーションで、MarKeyは、クエリ関連性、限界カバレッジゲイン、コンテキスト依存の冗長性を共同で説明するトラクタブルサロゲートを使用して、各候補をスコアし、最高のユーティリティでフレームを選択する。 この反復的サブセット認識評価を効率的にするために、MarKeyは、コンテクストに依存した比較を制限するために、コンパクトな代表アンカーセットを使用してフルビデオカバレッジを近似し、以前選択されたフレームの有界ウィンドウを使用する。 全体的ビデオ理解、人間中心のビデオ理解、オープンなビデオ理解を含む6つのベンチマークの実験は、MarKeyが既存の手法を一貫して上回っていることを示している。 さらに分析すると、異なるMLLMバックボーン、モデルスケール、フレーム予算間で堅牢なゲインが示される。

関連論文リスト

• Coverage-Driven Adaptive Keyframe Selection for Video Understanding [12.078063042214573]
  そこで我々はCSESを提案する。CSESは学習不要なセマンティックセレクタで、スコアとセレクトのためのフレームの数を適応的に決定する。 CSESはフレームクエリの優位性を推定し、アクティブな取得を誘導し、各入力の時間的カバレッジを適応させる。 次に、意味的関連性、時間的冗長性、視覚的冗長性を共同で説明するカバレッジ問題として、選択の妥当性を定式化する。
  論文  参考訳（メタデータ） (2026-08-01T15:24:06Z)
• Efficient Frame Selection for Long Videos at Test Time with Attention-Based MLLM Selectors [69.75895255395702]
  MLLMの検証選択抽出層におけるクロスモーダルな注意は、自己回帰生成を必要とせずに、クエリ関連フレーム証拠を既に提供している。 2Bパラメータしか持たない軽量MLLMセレクタは、クエリ条件アグリゲーションにより、選択した層注目値を関連スコアに変換することにより、フレームレベルのエビデンスを抽出することができる。 32フレームの予算下では,ビデオMMEで最大6.4ポイントの均一サンプリングを改良し,フレーム予算の一致したトレーニングベースセレクタよりも優れていた。
  論文  参考訳（メタデータ） (2026-07-17T07:04:31Z)
• Gaussian Mixture Modeling for Event-Aware Visual Allocation in Long Video Understanding [55.04091863981529]
  LVLM(Large Vision-Language Models)は、一様サンプリングに伴う計算コストと情報損失により、長いビデオ理解において重大な課題に直面している。 本稿ではGMM-EVAを提案する。GMM-EVAはガウス混合モデルを用いて離散フレームからイベントレベルの構造をモデル化する。 次に、時間的文脈を維持しトークン予算を最適化するために低分解能二次観測を用いながら、高忠実度詳細のためにイベント毎の1次高分解能を1つ保持するために、分化したアロケーション戦略を適用する。
  論文  参考訳（メタデータ） (2026-07-14T09:27:25Z)
• Where to Focus: Query-Modulated Multimodal Keyframe Selection for Long Video Understanding [48.14432643308697]
  長いビデオ理解は、マルチモーダルな大規模言語モデルにとって非常に難しい課題です。 Q-Gateは、選択を動的モダリティルーティング問題として扱うプラグイン・アンド・プレイフレームワークである。
  論文  参考訳（メタデータ） (2026-04-19T13:04:18Z)
• Query-Conditioned Evidential Keyframe Sampling for MLLM-Based Long-Form Video Understanding [21.306038832082553]
  MLLM(Multimodal Large Language Models)は,ビデオ質問応答において高い性能を示した。 ロングフォームビデオへのそれらの応用は、コンテキスト長と計算コストの制限によって制限される。 本稿では,情報理論に基づくエビデンス駆動サンプリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-01T15:02:50Z)
• FOCUS: Efficient Keyframe Selection for Long Video Understanding [26.44459739499484]
  マルチモーダル大言語モデル(LMLM)は画像とビデオフレームを視覚トークンとして表現する。 FOCUS(Frame-Optimistic Confidence Upbound Selection)は、厳格なトークン予算の下でフレームを選択するモデルに依存しない選択モジュールである。 20分以上のビデオでは、LongVideoBenchingベンチマークで11.9%の精度向上を達成した。
  論文  参考訳（メタデータ） (2025-10-31T08:41:13Z)
• AdaRD-key: Adaptive Relevance-Diversity Keyframe Sampling for Long-form Video understanding [31.685368980481968]
  AdaRD-Keyは,問合せ駆動型長文ビデオ理解のためのトレーニング不要サンプリングモジュールである。 AdaRD-Keyは、ビデオのアライメントが弱いワイドクエリを処理するために、軽量な関連性認識ゲーティング機構を採用している。 私たちのパイプラインは、トレーニング不要で、計算効率が良い(単一のGPU上でリアルタイムに実行される)ため、既存のビジョン言語モデルと互換性があります。
  論文  参考訳（メタデータ） (2025-10-03T07:19:34Z)
• Threading Keyframe with Narratives: MLLMs as Strong Long Video Comprehenders [62.58375366359421]
  長いビデオ理解のためのマルチモーダル大言語モデル(MLLM)は依然として難しい問題である。 伝統的な一様サンプリングは、無関係な内容の選択につながる。 数千フレームの訓練後のMLLMは、かなりの計算負担を課す。 本研究では,物語付きスレッディング(Nar-KFC)を提案する。
  論文  参考訳（メタデータ） (2025-05-30T03:04:28Z)
• BOLT: Boost Large Vision-Language Model Without Training for Long-form Video Understanding [51.49345400300556]
  大規模ビデオ言語モデル (VLM) は様々なビデオ理解タスクにおいて有望な進歩を示した。 均一なフレームサンプリングのような伝統的なアプローチは、必然的に無関係なコンテンツにリソースを割り当てる。 本稿では,フレーム選択戦略の総合的研究を通じて,付加的なトレーニングを伴わずに大規模VLMをブーストする方法であるBOLTを紹介する。
  論文  参考訳（メタデータ） (2025-03-27T13:18:40Z)
• Adaptive Keyframe Sampling for Long Video Understanding [75.7837692594814]
  本稿では、適応鍵フレームサンプリング(AKS)という、単純だが効果的なアルゴリズムを提案する。 これはAdaptive Keyframe Sampling (AKS)と呼ばれるプラグインとプレイモジュールを挿入し、ビデオトークンの固定数で有用な情報を最大化することを目的としている。 2つの長いビデオ理解ベンチマークの実験は、AKSが情報的出会いを選択する際にビデオQA精度を改善することを検証する。
  論文  参考訳（メタデータ） (2025-02-28T17:46:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。