論文の概要: FrameScout: Scouting Query-Relevant Frames for Long Video Understanding

• arxiv url: http://arxiv.org/abs/2610.23975v1
• Date: Tue, 13 Oct 2026 11:22:36 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 11:55:07.141494
• Title: FrameScout: Scouting Query-Relevant Frames for Long Video Understanding
• Title（参考訳）: FrameScout:長時間ビデオ理解のためのスカウティングクエリ関連フレーム
• Abstract要約: 長いビデオ理解では、ビデオLLMは数分から数時間間のビデオに関する質問に答える必要がある。 このようなビデオは、現在のビデオLLMが処理できるものよりもはるかに視覚的なトークンを生成する。 フレームとクエリの埋め込みの類似性を計算し、最もクエリ関連性の高いフレームを選択するためのFrameScoutを提案する。
• 参考スコア（独自算出の注目度）: 14.112199984172024
• License:
• Abstract: Long video understanding requires VideoLLMs to answer queries about videos spanning tens of minutes to hours, but such long videos produce far more visual tokens than current VideoLLMs can process. To address this issue, keyframe selectors are proposed to select the most query-relevant frames by computing the similarity between frame and query embeddings. Existing selectors either encode frames independently without temporal context or process chunks in isolation with ranking objectives that are difficult to optimize. To alleviate those limitations, we propose FrameScout with two core designs: (i) a streaming selector architecture that leverages a sliding-window KV cache and successor aggregation to produce temporally-contextualized frame embeddings; (ii) a frame-query contrastive objective that aligns frame and query embeddings in a shared space, directly training the selector to distinguish relevant frames from irrelevant ones. Extensive experiments on three long-video benchmarks and six base VideoLLMs demonstrate that FrameScout consistently achieves state-of-the-art performance. Code is available at https://github.com/Hubert-1102/FrameScout.
• Abstract（参考訳）: 長いビデオ理解では、ビデオのクェリに何分から数時間かけて答える必要があるが、そのような長いビデオは、現在のビデオLLMが処理できるよりもはるかに多くの視覚的トークンを生成する。 この問題に対処するため、キーフレームセレクタは、フレームとクエリの埋め込みの類似性を計算し、最もクエリに関連するフレームを選択する。 既存のセレクタは、時間的コンテキストやプロセスチャンクなしにフレームを独立してエンコードするか、最適化が難しいランク付け対象と分離する。 これらの制限を軽減するために、2つのコア設計を持つFrameScoutを提案する。 (i)スライディングウインドウKVキャッシュと後継アグリゲーションを利用したストリーミングセレクタアーキテクチャにより、時間的にコンテクスト化されたフレーム埋め込みを生成する。 (i) フレームとクエリの埋め込みを共有空間に整列させ、関連するフレームと無関係なフレームとを区別するようにセレクタを直接訓練するフレームクエリのコントラスト目的。 3つの長ビデオベンチマークと6つのベースビデオLLMの大規模な実験は、FrameScoutが一貫して最先端のパフォーマンスを実現していることを示している。 コードはhttps://github.com/Hubert-1102/FrameScout.comから入手できる。

関連論文リスト

• Query-aligned video frame selection for long video understanding [2.4227338703712245]
  本稿では,複数質問に特化して設計されたフレーム選択手法を提案する。 質問に応答するフレームを選択するために,回答選択を推論時キューとして使用する。 実験結果から,解答対応フレーム選択は,一様サンプリングや既存の学習不要フレーム選択法よりも優れていた。
  論文  参考訳（メタデータ） (2026-09-15T15:08:50Z)
• RIDGE: Region-Informed Derivative-Guided Evidence Selection for Long Video Understanding [55.75126327155788]
  RIDGEはフレーム選択フレームワークであり、時間信号としてフレームクエリの類似性曲線を読み取る。 タイムラインを構造的なリージョンに分割し、固定予算の下でイベントコア、トランジション、ビルドアップ、アフターマス、コンテキストフレームを保存するために、リージョン固有の選択を適用する。 ほとんどの設定で最高のパフォーマンスを達成し、他の設定では競争力を維持します。
  論文  参考訳（メタデータ） (2026-08-30T18:40:51Z)
• Efficient Frame Selection for Long Videos at Test Time with Attention-Based MLLM Selectors [69.75895255395702]
  MLLMの検証選択抽出層におけるクロスモーダルな注意は、自己回帰生成を必要とせずに、クエリ関連フレーム証拠を既に提供している。 2Bパラメータしか持たない軽量MLLMセレクタは、クエリ条件アグリゲーションにより、選択した層注目値を関連スコアに変換することにより、フレームレベルのエビデンスを抽出することができる。 32フレームの予算下では,ビデオMMEで最大6.4ポイントの均一サンプリングを改良し,フレーム予算の一致したトレーニングベースセレクタよりも優れていた。
  論文  参考訳（メタデータ） (2026-07-17T07:04:31Z)
• QCA: Query- and Content-Aware Keyframe Selection for Long Video Understanding [78.36929439152566]
  本稿では,長いビデオからコンパクトだが情報に富んだフレームを選択可能なクエリ・アンド・コンテント・アウェア(QCA)選択フレームワークを提案する。 QCAは最もクエリ関連性の高いフレームにアンカーし、クエリのセマンティックな関連性を維持しながら、多様性を最大化するために追加のフレームを反復的に組み込む。 我々の方法は追加のトレーニングを必要とせず、既存のVideo-LLMにシームレスに統合できる。
  論文  参考訳（メタデータ） (2026-07-01T14:19:24Z)
• Threading Keyframe with Narratives: MLLMs as Strong Long Video Comprehenders [62.58375366359421]
  長いビデオ理解のためのマルチモーダル大言語モデル(MLLM)は依然として難しい問題である。 伝統的な一様サンプリングは、無関係な内容の選択につながる。 数千フレームの訓練後のMLLMは、かなりの計算負担を課す。 本研究では,物語付きスレッディング(Nar-KFC)を提案する。
  論文  参考訳（メタデータ） (2025-05-30T03:04:28Z)
• Generative Inbetweening through Frame-wise Conditions-Driven Video Generation [63.43583844248389]
  生成的inbetweeningは、2つのキーフレームを入力として利用することで中間フレームシーケンスを生成することを目的としている。 補間ビデオフレームの時間的安定性を著しく向上するフレームワイド・コンディション駆動ビデオ生成法(FCVG)を提案する。 FCVGは線形曲線と非線形曲線の両方を用いて時間的に安定なビデオを生成する能力を示した。
  論文  参考訳（メタデータ） (2024-12-16T13:19:41Z)
• Frame-Voyager: Learning to Query Frames for Video Large Language Models [33.84793162102087]
  ビデオ大言語モデル (Video-LLMs) はビデオ理解タスクにおいて顕著な進歩を遂げている。 フレームの一様サンプリングやテキストフレーム検索のような既存のフレーム選択アプローチでは、ビデオ内の情報密度の変動を考慮できない。 タスクの与えられたテキストクエリに基づいて,情報フレームの組み合わせを問合せする Frame-Voyager を提案する。
  論文  参考訳（メタデータ） (2024-10-04T08:26:06Z)
• Efficient Semantic Video Segmentation with Per-frame Inference [117.97423110566963]
  本研究では,フレームごとの効率的なセマンティックビデオセグメンテーションを推論プロセス中に処理する。 そこで我々は,コンパクトモデルと大規模モデルのパフォーマンスギャップを狭めるために,新しい知識蒸留法を設計した。
  論文  参考訳（メタデータ） (2020-02-26T12:24:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。