論文の概要: MEDR: Query-Independent Frame Selection via Multi-Signal Event Modeling and Dynamic Rescoring

• arxiv url: http://arxiv.org/abs/2608.15058v1
• Date: Sat, 15 Aug 2026 06:10:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.176251
• Title: MEDR: Query-Independent Frame Selection via Multi-Signal Event Modeling and Dynamic Rescoring
• Title（参考訳）: MEDR:マルチシグナルイベントモデリングと動的再構成によるクエリ非依存フレーム選択
• Abstract要約: フレーム選択はマルチモーダルな大言語モデルの基本コンポーネントである。 一様サンプリングは時間的カバレッジを保持するが、短時間で現れる情報的コンテンツを見逃す可能性がある。 トレーニング不要でクエリ非依存なフレーム選択法を提案する。
• 参考スコア（独自算出の注目度）: 17.900940738333407
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Frame selection is a fundamental component of multimodal large language models, enabling long videos to be processed under limited visual-token and computational budgets. Uniform sampling preserves temporal coverage but may miss informative content that appears only briefly. To alleviate this limitation, query-dependent methods can retrieve question-relevant frames. However, because the selected frames depend on the current question, the same visual input cannot be directly shared across different questions, and frame selection must be repeated in multi-turn video dialogue. This motivates us to seek a query-independent frame selection method that preserves the reusability of a fixed visual input while improving the coverage of informative events beyond uniform sampling. We propose Multi-Signal Event Modeling and Dynamic Rescoring (MEDR), a training-free and query-independent frame selection method. Multi-Signal Event Modeling organizes complementary visual, motion, and text signals into signal-specific temporal events. Dynamic Rescoring then iteratively reevaluates each candidate relative to the current selected set, updating its score according to frame-level signal strength, additional event coverage, and temporal proximity. The resulting fixed frame set is constructed without observing the query and can be reused across different questions. On the standard benchmark evaluations, MEDR improves model accuracy by 0.63%-0.89% on Video-MME. On the long-video subset of LongVideoBench, it improves accuracy by up to 1.23% with Qwen3-VL-8B. MEDR further improves overall accuracy by 0.53%, while reusing exactly the same frame set for every question about a video.
• Abstract（参考訳）: フレーム選択はマルチモーダルな大言語モデルの基本的コンポーネントであり、長いビデオは限られた視覚的トーケンと計算予算で処理できる。 一様サンプリングは時間的カバレッジを保持するが、短時間で現れる情報的コンテンツを見逃す可能性がある。 この制限を緩和するために、クエリ依存のメソッドは質問関連フレームを検索できる。 しかし、選択したフレームは現在の質問に依存するため、同じ視覚的入力を異なる質問間で直接共有することはできず、フレーム選択をマルチターンビデオ対話で繰り返す必要がある。 これにより、一様サンプリングを超えた情報イベントのカバレッジを改善しつつ、固定された視覚入力の再利用性を保ちつつ、クエリ非依存のフレーム選択方法を模索する。 トレーニング不要でクエリ非依存なフレーム選択法であるMulti-Signal Event Modeling and Dynamic Rescoring (MEDR)を提案する。 マルチサインイベントモデリングは、補完的な視覚、動き、テキストの信号を信号固有の時間イベントにまとめる。 動的Rescoringは、現在の選択されたセットに対する各候補を反復的に再評価し、フレームレベルの信号強度、追加のイベントカバレッジ、時間的近接度に応じてスコアを更新する。 得られた固定フレームセットはクエリを観察せずに構築され、異なる質問にまたがって再利用することができる。 標準ベンチマーク評価では、MEDR は Video-MME においてモデル精度を 0.63%-0.89% 改善している。 LongVideoBenchの長ビデオサブセットでは、Qwen3-VL-8Bで最大1.23%の精度向上を実現している。 MEDRはさらに、ビデオに関するすべての質問に対して全く同じフレームを再利用しながら、全体的な精度を0.53%向上させる。

関連論文リスト

• RIDGE: Region-Informed Derivative-Guided Evidence Selection for Long Video Understanding [55.75126327155788]
  RIDGEはフレーム選択フレームワークであり、時間信号としてフレームクエリの類似性曲線を読み取る。 タイムラインを構造的なリージョンに分割し、固定予算の下でイベントコア、トランジション、ビルドアップ、アフターマス、コンテキストフレームを保存するために、リージョン固有の選択を適用する。 ほとんどの設定で最高のパフォーマンスを達成し、他の設定では競争力を維持します。
  論文  参考訳（メタデータ） (2026-08-30T18:40:51Z)
• Coverage-Driven Adaptive Keyframe Selection for Video Understanding [12.078063042214573]
  そこで我々はCSESを提案する。CSESは学習不要なセマンティックセレクタで、スコアとセレクトのためのフレームの数を適応的に決定する。 CSESはフレームクエリの優位性を推定し、アクティブな取得を誘導し、各入力の時間的カバレッジを適応させる。 次に、意味的関連性、時間的冗長性、視覚的冗長性を共同で説明するカバレッジ問題として、選択の妥当性を定式化する。
  論文  参考訳（メタデータ） (2026-08-01T15:24:06Z)
• VisualRouter: Query-Grounded Visual Sampling for Long Video Understanding [60.161767365040554]
  本稿では,クエリグラウンドビジュアルサンプリングのためのトレーニングフリーかつプラグイン・アンド・プレイフレームワークを提案する。 Visual Firstは、各クエリをグローバルまたはローカルに分類し、それに対応するサンプリング戦略を適用する。 実験の結果、Visualは均一サンプリングよりも複数のLVLMを継続的に改善し、ビデオ-MME、LongVideoBench、MLVUで5.2%、7.7%、11.6%を達成し、Qwen2.5-VL-7Bで既存のトレーニング不要のビジュアルサンプリング手法より優れていた。
  論文  参考訳（メタデータ） (2026-07-30T16:23:10Z)
• Efficient Frame Selection for Long Videos at Test Time with Attention-Based MLLM Selectors [69.75895255395702]
  MLLMの検証選択抽出層におけるクロスモーダルな注意は、自己回帰生成を必要とせずに、クエリ関連フレーム証拠を既に提供している。 2Bパラメータしか持たない軽量MLLMセレクタは、クエリ条件アグリゲーションにより、選択した層注目値を関連スコアに変換することにより、フレームレベルのエビデンスを抽出することができる。 32フレームの予算下では,ビデオMMEで最大6.4ポイントの均一サンプリングを改良し,フレーム予算の一致したトレーニングベースセレクタよりも優れていた。
  論文  参考訳（メタデータ） (2026-07-17T07:04:31Z)
• QCA: Query- and Content-Aware Keyframe Selection for Long Video Understanding [78.36929439152566]
  本稿では,長いビデオからコンパクトだが情報に富んだフレームを選択可能なクエリ・アンド・コンテント・アウェア(QCA)選択フレームワークを提案する。 QCAは最もクエリ関連性の高いフレームにアンカーし、クエリのセマンティックな関連性を維持しながら、多様性を最大化するために追加のフレームを反復的に組み込む。 我々の方法は追加のトレーニングを必要とせず、既存のVideo-LLMにシームレスに統合できる。
  論文  参考訳（メタデータ） (2026-07-01T14:19:24Z)
• Improving Video Question Answering through query-based frame selection [15.416301612152004]
  Video Question Answering (VideoQA) モデルは、視聴覚コンテンツに対する理解とインタラクションを強化する。 重い計算要求のため、ビデオQAのほとんどの大きなビジュアル言語モデル(VLM)は、動画を一様にサンプリングすることで固定数のフレームに依存している。 本稿では,サブモジュール相互情報(SMI)関数に基づいて,質問に関連のある新しい問合せベースのフレーム選択を提案する。
  論文  参考訳（メタデータ） (2026-01-12T12:10:20Z)
• M-LLM Based Video Frame Selection for Efficient Video Understanding [60.93714759178143]
  本稿では,ユーザのクエリに関連性の高いフレームを適応的に選択する,軽量なM-LLMベースのフレーム選択手法を提案する。 選択されたフレームは、視覚的推論と質問応答のための凍った下流ビデオM-LLMによって消化される。
  論文  参考訳（メタデータ） (2025-02-27T01:44:13Z)
• End-to-End Video Question Answering with Frame Scoring Mechanisms and Adaptive Sampling [43.024232182899354]
  そこで我々は,VidF4を提案する。VidF4は,ビデオQAを効果的かつ効率的に選択するためのフレーム選択戦略を備えた,新しいビデオQAフレームワークである。 本稿では,ビデオ上での質問に対する各フレームの重要性を評価するために,質問関連性とフレーム間類似性の両方を考慮した3つのフレーム照合機構を提案する。 広く採用されている3つのベンチマークによる実験結果から,我々のモデルは既存のビデオQA手法より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2024-07-21T04:09:37Z)
• Dense-Caption Matching and Frame-Selection Gating for Temporal Localization in VideoQA [96.10612095576333]
  本稿では,マルチモーダルな入力源を効果的に統合し,時間的関連情報から質問に答えるビデオ質問応答モデルを提案する。 また,2レベルアテンション(単語・オブジェクト・フレームレベル),異なるソース(ビデオ・高密度キャプション)に対するマルチヘッド自己統合,ゲートへのより関連性の高い情報伝達などで構成されている。 当社のモデルは,各モデルコンポーネントが大きな利益をもたらす,難易度の高いTVQAデータセット上で評価され,全体的なモデルでは,最先端のモデルよりも大きなマージンで優れています。
  論文  参考訳（メタデータ） (2020-05-13T16:35:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。