論文の概要: FORTE: Adaptive Scoring and Exact Keyframe Selection for Long-Video Question Answering

• arxiv url: http://arxiv.org/abs/2610.00573v1
• Date: Wed, 30 Sep 2026 18:45:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.713841
• Title: FORTE: Adaptive Scoring and Exact Keyframe Selection for Long-Video Question Answering
• Title（参考訳）: FORTE:ロングビデオ質問応答のための適応的スコアリングとエクササイズキーフレーム選択
• Abstract要約: FORTEは適応性スコアリングとグローバルな計算最適化のためのトレーニング不要のフレームワークである。 我々は、対数被覆構造を利用した正確なアルゴリズムを導出し、プールサイズに線形な時間で、得られた候補プールの最適部分集合を同定する。 4つの長ビデオ質問応答ベンチマーク実験により、FOTEが観測された平均精度が最も高いことを示す。
• 参考スコア（独自算出の注目度）: 14.633493741362443
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Query-aware keyframe selection enables multimodal large language models (MLLMs) to process long videos using only a small set of question-relevant frames. Existing score-based methods, however, typically search within a fixed, uniformly sampled candidate pool, preventing evidence outside this pool from ever being selected. Given a limited relevance-scoring budget, the key challenge is to allocate evaluations adaptively to promising frames while continuing to explore underrepresented temporal regions. We introduce FORTE, a training-free framework that addresses this challenge through two stages: adaptive relevance scoring and global keyframe optimization. Starting from sparse, uniformly distributed observations, our efficient Gaussian-process relevance predictor estimates relevance for unscored frames, exploiting temporal locality and the approximately banded kernel structure to reduce the core computation from cubic to linear time in the number of frames for fixed bandwidth. The scoring stage then selects which frames to score next by balancing predicted relevance with temporal coverage, prioritizing promising regions while also exploring less-represented parts of the video. The optimization stage selects the final keyframes by maximizing an objective that jointly captures measured relevance and temporal coverage. We derive an exact algorithm that leverages the logarithmic coverage structure to identify the optimal subset of the scored candidate pool in time linear in the pool size, for a fixed final-frame budget. Experiments on four long-video question-answering benchmarks show that FORTE achieves the highest observed mean accuracy among the compared selectors under every tested scoring budget. Further evaluations demonstrate its consistent effectiveness across different relevance scorers and downstream MLLMs.
• Abstract（参考訳）: クエリ対応キーフレームの選択により、質問関連フレームの小さなセットだけを使用して、マルチモーダルな大規模言語モデル(MLLM)が長いビデオを処理することができる。 しかし、既存のスコアベースの手法は、通常、固定された一様にサンプリングされた候補プール内を探索し、このプール外の証拠が選択されるのを防ぐ。 関連する予算が限られているため、重要課題は、未表現の時間領域を探索し続けながら、有望なフレームに適応的に評価を割り当てることである。 適応的妥当性スコアリングとグローバルキーフレーム最適化という2つの段階を通じて,この問題に対処するトレーニングフリーフレームワークであるFOTEを紹介した。 スパースで均一に分散した観測から、効率的なガウス過程レバレンス予測器は、時間的局所性とほぼバンド化されたカーネル構造を利用して、固定帯域のフレーム数において、コア計算を3乗時間から線形時間に短縮する、非符号フレームの関連性を推定する。 次に、スコアングステージは、予測された関連性と時間的カバレッジとのバランスを保ち、将来性のある領域を優先順位付けし、ビデオのより表現の少ない部分を探索することで、次に得点するフレームを選択する。 最適化段階は、測定された関連性と時間的カバレッジを共同にキャプチャする目的を最大化することにより、最終キーフレームを選択する。 最終フレーム予算の固定化のために、対数被覆構造を利用して、評価した候補プールの最適部分集合をプールサイズの線形時間で同定するアルゴリズムを導出する。 4つの長ビデオ質問答えベンチマーク実験により、FORTEは、試験された評価予算ごとに比較したセレクタのうち、最も観測された平均精度を達成していることが示された。 さらなる評価は、異なる関連スコアラーと下流MLLM間で一貫した効果を示す。

関連論文リスト

• MarKey: Marginal Utility Guided Greedy Keyframe Selection for Long Video Understanding [17.82627304498428]
  長いビデオの理解は、大きな言語モデルでは依然として困難である。 最近の無訓練選択法はより効率的な推論を可能にしている。 本稿では,マルチモーダル選択をサブセット認識の欲求最適化として定式化するフレームワークであるMarKeyを提案する。
  論文  参考訳（メタデータ） (2026-09-14T11:39:20Z)
• RIDGE: Region-Informed Derivative-Guided Evidence Selection for Long Video Understanding [55.75126327155788]
  RIDGEはフレーム選択フレームワークであり、時間信号としてフレームクエリの類似性曲線を読み取る。 タイムラインを構造的なリージョンに分割し、固定予算の下でイベントコア、トランジション、ビルドアップ、アフターマス、コンテキストフレームを保存するために、リージョン固有の選択を適用する。 ほとんどの設定で最高のパフォーマンスを達成し、他の設定では競争力を維持します。
  論文  参考訳（メタデータ） (2026-08-30T18:40:51Z)
• Evidence-Driven Dynamic Visual Selector for Efficient Long Video Understanding [54.840531495584095]
  本稿では,MLLMの内部的注意証拠をベースとした動的視覚選択フレームワークEviSelectを提案する。 本手法は,高度に圧縮された視覚入力とスパースアテンションを用いて,ターゲットMLLMのマップを効率的に近似する。 EviSelectは既存の方法に比べて優れたパフォーマンスを実現し、選択したビジュアルトークンを約50%削減し、エンドツーエンドのスピードアップを3.9倍に向上させる。
  論文  参考訳（メタデータ） (2026-08-06T09:15:43Z)
• Coverage-Driven Adaptive Keyframe Selection for Video Understanding [12.078063042214573]
  そこで我々はCSESを提案する。CSESは学習不要なセマンティックセレクタで、スコアとセレクトのためのフレームの数を適応的に決定する。 CSESはフレームクエリの優位性を推定し、アクティブな取得を誘導し、各入力の時間的カバレッジを適応させる。 次に、意味的関連性、時間的冗長性、視覚的冗長性を共同で説明するカバレッジ問題として、選択の妥当性を定式化する。
  論文  参考訳（メタデータ） (2026-08-01T15:24:06Z)
• Efficient Frame Selection for Long Videos at Test Time with Attention-Based MLLM Selectors [69.75895255395702]
  MLLMの検証選択抽出層におけるクロスモーダルな注意は、自己回帰生成を必要とせずに、クエリ関連フレーム証拠を既に提供している。 2Bパラメータしか持たない軽量MLLMセレクタは、クエリ条件アグリゲーションにより、選択した層注目値を関連スコアに変換することにより、フレームレベルのエビデンスを抽出することができる。 32フレームの予算下では,ビデオMMEで最大6.4ポイントの均一サンプリングを改良し,フレーム予算の一致したトレーニングベースセレクタよりも優れていた。
  論文  参考訳（メタデータ） (2026-07-17T07:04:31Z)
• RCoT-Seg: Reinforced Chain-of-Thought for Video Reasoning and Segmentation [48.30592530624143]
  Video Reasoningは、人間の意図と時間的ロジックを伝える暗黙の指示に基づいて、対象のオブジェクトをビデオに分割することを目的としている。 既存のMLLMベースの手法では,単純なサンプリングや補助MLLMを用いてフレームを選択した後,[SEG]トークンでマスクを予測する。 RCoT-SegはVRSを時間的ビデオ(TVR)と目標知覚(KTP)に分解するビデオ・オブ・思想のフレームワークである。
  論文  参考訳（メタデータ） (2026-05-08T06:39:53Z)
• Query-Conditioned Evidential Keyframe Sampling for MLLM-Based Long-Form Video Understanding [21.306038832082553]
  MLLM(Multimodal Large Language Models)は,ビデオ質問応答において高い性能を示した。 ロングフォームビデオへのそれらの応用は、コンテキスト長と計算コストの制限によって制限される。 本稿では,情報理論に基づくエビデンス駆動サンプリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-01T15:02:50Z)
• GIFT: Global Irreplaceability Frame Targeting for Efficient Video Understanding [63.62445065977448]
  GIFT: Global Irreplaceability Frame Targetingはトレーニング不要のフレームワークで、固有の非配置性を評価してフレームを選択する。 GIFTは,LLaVA-Video-7Bの長文ビデオベンチマークにおいて,一様サンプリングに比べて最大12.5%向上したことを示す。
  論文  参考訳（メタデータ） (2026-03-26T06:21:41Z)
• Adaptive Greedy Frame Selection for Long Video Understanding [11.923839324117674]
  大規模視覚言語モデル(VLM)は、長ビデオ質問応答にますます応用されている。 推論は入力フレームの数と結果の視覚トークンによってボトルネックとなることが多い。 固定フレーム予算下でのクエリ関連性とセマンティックな表現性を協調的に最適化する問合せ適応型グレディフレーム選択法を提案する。
  論文  参考訳（メタデータ） (2026-03-20T17:55:32Z)
• FOCUS: Efficient Keyframe Selection for Long Video Understanding [26.44459739499484]
  マルチモーダル大言語モデル(LMLM)は画像とビデオフレームを視覚トークンとして表現する。 FOCUS(Frame-Optimistic Confidence Upbound Selection)は、厳格なトークン予算の下でフレームを選択するモデルに依存しない選択モジュールである。 20分以上のビデオでは、LongVideoBenchingベンチマークで11.9%の精度向上を達成した。
  論文  参考訳（メタデータ） (2025-10-31T08:41:13Z)
• Efficient Semantic Video Segmentation with Per-frame Inference [117.97423110566963]
  本研究では,フレームごとの効率的なセマンティックビデオセグメンテーションを推論プロセス中に処理する。 そこで我々は,コンパクトモデルと大規模モデルのパフォーマンスギャップを狭めるために,新しい知識蒸留法を設計した。
  論文  参考訳（メタデータ） (2020-02-26T12:24:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。