論文の概要: Evaluation of MLLM-Agnostic Plug-and-Play Keyframe Selection Methods for Long Video Understanding

• arxiv url: http://arxiv.org/abs/2609.13250v1
• Date: Fri, 04 Sep 2026 21:05:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 16:32:15.670743
• Title: Evaluation of MLLM-Agnostic Plug-and-Play Keyframe Selection Methods for Long Video Understanding
• Title（参考訳）: 長期ビデオ理解のためのMLLM非依存プラグアンドプレイキーフレーム選択法の評価
• Abstract要約: マルチモーダル言語モデル(LMLM)は、視覚や計算の予算に制限があるため、長期の全てのフレームを処理できない。 長ビデオ理解能力を高めるために,3つのアプローチが提案されている。 本稿では,この5つの手法を3つの長ビデオ理解ベンチマークを用いて総合評価する。
• 参考スコア（独自算出の注目度）: 2.4227338703712245
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Multimodal large language models (MLLMs) cannot process every frame of a long video because of limitations in visual-token and computational budgets. Three primary approaches have been proposed to enhance their long-video understanding capabilities: (i) Retraining an MLLM on a large video corpus and/or extending its input length; (ii) Training an adapter for a specific MLLM that takes the entire video and the query as input and selects the most relevant video frames; and (iii) Developing a training-free, plug-and-play (PaP) adapter that is MLLM-agnostic. We refer to the third approach as PaP keyframe selection. A PaP method may use only candidate video frames without considering the query, or it may use both candidate video frames and the query. The first approach is prohibitively expensive. The second approach requires substantial training time and computational resources, but it is accessible to many because an adapter contains significantly fewer trainable parameters than an entire MLLM. The third approach has the lowest computational cost and is therefore broadly accessible. To the best of our knowledge, only five PaP methods have been reported within the past year. All of these methods have been evaluated on one or more video question-answering benchmarks and have demonstrated improvements in long-video understanding. However, the methods were evaluated on different benchmarks using different MLLMs. We present a comprehensive evaluation of these five methods using three MLLMs across three long-video understanding benchmarks. Our results show that QAaF achieves the best performance in 13 of the 15 aggregate evaluation settings, while FOCUS ranks second overall. These results provide a common experimental reference for comparing training-free keyframe-selection methods for MLLMs.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)は、視覚的トーケンや計算予算に制限があるため、長いビデオの全てのフレームを処理できない。 長ビデオ理解能力を高めるために,3つの主要なアプローチが提案されている。 一 MLLMを大型ビデオコーパスでリトレーニングし、又はその入力長を延長すること。 2 ビデオ全体とクエリを入力として取り、最も関連性の高いビデオフレームを選択する特定のMLLMのアダプタを訓練すること。 三 MLLM非依存のトレーニングフリープラグアンドプレイアダプタ(PaP)の開発。 第3のアプローチをPaPキーフレーム選択と呼ぶ。 PaPメソッドは、クエリを考慮せずに、候補となるビデオフレームのみを使用するか、候補となるビデオフレームとクエリの両方を使用する。 最初のアプローチは違法に高価である。 第2のアプローチは、かなりのトレーニング時間と計算資源を必要とするが、アダプタがMLLM全体よりもトレーニング可能なパラメータをかなり少なく含んでいるため、多くの人が利用できる。 第3のアプローチは計算コストが低く、従って広くアクセス可能である。 私たちの知る限りでは、過去1年間に5つのPaPメソッドしか報告されていない。 これらの手法は1つ以上のビデオ質問応答ベンチマークで評価され、長いビデオ理解の改善が示されている。 しかし, 異なるMLLMを用いて, 異なるベンチマークで評価した。 本稿では,この5つの手法を3つの長ビデオ理解ベンチマークを用いて総合評価する。 その結果, 総合評価設定15項目中13項目でQAaFが最高の成績を示し, FOCUSが2位となった。 これらの結果は、MLLMのトレーニング不要なキーフレーム選択法を比較するための共通の実験基準を提供する。

関連論文リスト

• MSJoE: Jointly Evolving MLLM and Sampler for Efficient Long-Form Video Understanding [25.20420111814606]
  MLLM-Sampler Joint Evolution (MSJoE) を用いて, 映像理解の効率化を図る。 MSJoEは、キーフレームの小さなサブセットだけが、ビデオに各質問に答える上で真に有益である、というキー前提の上に構築されている。 トレーニングプロセスをサポートするために、7K問合せペアの2.8Kビデオを含む新しい長ビデオQAデータセットを収集する。
  論文  参考訳（メタデータ） (2026-02-26T12:24:17Z)
• An Empirical Study for Representations of Videos in Video Question Answering via MLLMs [4.726627693005334]
  マルチモーダルな大言語モデルは近年,ビデオ質問応答において顕著な進歩を遂げている。 ビデオ表現がMLLMに最も有効なのか、また、異なるモダリティがタスクの精度と計算効率のバランスをとるのかは、まだ不明である。
  論文  参考訳（メタデータ） (2025-10-14T09:02:22Z)
• A Survey on Video Temporal Grounding with Multimodal Large Language Model [107.24431595873808]
  時間的グラウンドリング(VTG)の最近の進歩は、きめ細かいビデオ理解を著しく向上させた。 より優れたマルチモーダル理解と推論能力により、MLLM(VTG-MLLM)に基づくVTGアプローチは、従来の微調整手法を徐々に超えつつある。 一般的なビデオ言語理解に関する広範な調査にもかかわらず、VTG-MLLMに関する包括的なレビューは乏しいままである。
  論文  参考訳（メタデータ） (2025-08-07T08:52:11Z)
• TSPO: Temporal Sampling Policy Optimization for Long-form Video Language Understanding [25.675553077419274]
  MLLM(Multimodal Language Models)は、視覚タスクにおいて大きな進歩を見せている。 本稿では、MLLMの長文ビデオ言語理解を強化学習により促進する時間サンプリングポリシー最適化(TSPO)を提案する。 我々のTSPOは、複数の長いビデオ理解ベンチマークにまたがって最先端のビデオMLLM間での転送能力を示す。
  論文  参考訳（メタデータ） (2025-08-06T12:03:36Z)
• BOLT: Boost Large Vision-Language Model Without Training for Long-form Video Understanding [51.49345400300556]
  大規模ビデオ言語モデル (VLM) は様々なビデオ理解タスクにおいて有望な進歩を示した。 均一なフレームサンプリングのような伝統的なアプローチは、必然的に無関係なコンテンツにリソースを割り当てる。 本稿では,フレーム選択戦略の総合的研究を通じて,付加的なトレーニングを伴わずに大規模VLMをブーストする方法であるBOLTを紹介する。
  論文  参考訳（メタデータ） (2025-03-27T13:18:40Z)
• Adaptive Keyframe Sampling for Long Video Understanding [75.7837692594814]
  本稿では、適応鍵フレームサンプリング(AKS)という、単純だが効果的なアルゴリズムを提案する。 これはAdaptive Keyframe Sampling (AKS)と呼ばれるプラグインとプレイモジュールを挿入し、ビデオトークンの固定数で有用な情報を最大化することを目的としている。 2つの長いビデオ理解ベンチマークの実験は、AKSが情報的出会いを選択する際にビデオQA精度を改善することを検証する。
  論文  参考訳（メタデータ） (2025-02-28T17:46:29Z)
• InternVideo2.5: Empowering Video MLLMs with Long and Rich Context Modeling [56.130911402831906]
  本稿では,LRC(Long and rich context)モデリングによるビデオ大言語モデル(LM)の性能向上を目的とする。 InternVideo2.5の新バージョンを開発し、ビデオの細かい詳細を知覚するオリジナルのMLLMの能力の向上に焦点をあてる。 実験により、このユニークな設計ML LRCは、主流理解ベンチマークにおけるビデオMLLMの結果を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2025-01-21T18:59:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。