論文の概要: CueKFS: Agentic Cue-Driven Keyframe Selection for Long Video Understanding
- arxiv url: http://arxiv.org/abs/2609.31873v1
- Date: Fri, 25 Sep 2026 18:12:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 05:04:03.194125
- Title: CueKFS: Agentic Cue-Driven Keyframe Selection for Long Video Understanding
- Title（参考訳）: CueKFS: 長時間ビデオ理解のためのエージェントキュー駆動キーフレーム選択
- Abstract要約: キーフレームセレクション(KFS)は長い間、ブラウジングと検索のためのコンパクトなビデオ要約を制作してきた。
CueKFSは,動的に生成する視覚的手がかりの集合とフレームの比較として,質問フレームマッチングを再構成する訓練不要な手法である。
- 参考スコア（独自算出の注目度）: 16.03398609101004
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Keyframe selection (KFS) has long produced compact video summaries for browsing and retrieval, and representative frames for thumbnails. More recently, when conditioned on a question, KFS provides an alternative to uniform sampling for long-video question answering by selecting frames that are more relevant to the question. Most methods rank frames by similarity to the question. Yet a relevant frame may score poorly when the question combines subjects or moments that no single frame shows, or requires implicit information absent from its wording. Other methods try to break down the question into subqueries, but suffer from inaccurate decomposition due to their static initial context. Therefore, we propose CueKFS, a training-free method that reformulates question--frame matching as comparing frames against a set of dynamically generated visual cues. From an initial set of salient frames, we decompose the question into cues. Each cue concurrently probes the video to navigate to its own evidence. A reasoning VLM then agentically revises the cue set against its evidence to re-explore the video. CueKFS then allocates the budget across the surviving cues. Across three benchmarks, CueKFS establishes state-of-the-art results in all 27 evaluated settings with available prior results, achieving budget-averaged gains of up to +4.54% over the previous baseline and a median of only two VLM calls. We further provide a detailed behavioral analysis of CueKFS, showing that agentic cue refinement drives active re-exploration of the video, yielding relative similarity gains of up to 92% over the initial context.
- Abstract（参考訳）: キーフレーム選択(KFS)は、長い間、閲覧と検索のためのコンパクトなビデオ要約とサムネイルのための代表フレームを制作してきた。
より最近では、ある質問に条件付けされた場合、KFSは、質問により関連性の高いフレームを選択することで、長ビデオ質問応答のための一様サンプリングの代替を提供する。
ほとんどのメソッドは、問題と類似性によってフレームをランク付けする。
しかし、関連するフレームは、単一のフレームが示さない主題や瞬間を組み合わせた場合や、その単語から欠落している暗黙の情報を要求した場合に、スコアが低くなる可能性がある。
他の方法は、質問をサブクエリに分解しようとするが、静的な初期コンテキストのために不正確な分解に悩まされる。
そこで本研究では,フレームと動的に生成する視覚的手がかりの集合との比較として,質問フレームマッチングを再構成する学習自由度手法であるCueKFSを提案する。
初期の有能なフレームの集合から、質問をキューに分解する。
それぞれのキューが同時にビデオを調べて、独自のエビデンスにナビゲートする。
理由づけVLMは、ビデオを再発見するために、その証拠に対するキューセットをエージェント的に修正する。
CueKFSはその後、生き残ったキューに予算を割り当てる。
3つのベンチマークで、CueKFSは、利用可能な事前結果を持つ27のすべての評価済み設定で最先端結果を確立し、予算平均利得は前回のベースラインよりも最大で4.54%、VLMコールの中央値である。
さらに、CueKFSの詳細な行動分析を行い、エージェントキューの改良がビデオの再探索を活発に進め、最初の文脈で最大92%の類似性が得られたことを示す。
関連論文リスト
- RIDGE: Region-Informed Derivative-Guided Evidence Selection for Long Video Understanding [55.75126327155788]
RIDGEはフレーム選択フレームワークであり、時間信号としてフレームクエリの類似性曲線を読み取る。
タイムラインを構造的なリージョンに分割し、固定予算の下でイベントコア、トランジション、ビルドアップ、アフターマス、コンテキストフレームを保存するために、リージョン固有の選択を適用する。
ほとんどの設定で最高のパフォーマンスを達成し、他の設定では競争力を維持します。
論文 参考訳（メタデータ） (2026-08-30T18:40:51Z) - Ground, Cover, and Refine: Evidence-Centric Frame Selection for Long-Video Question Answering [9.937860041147625]
長いビデオの質問に答えるには、制限された視覚的な予算の下でビデオからスパースで重要な証拠を特定する必要がある。
既存の方法は、単一のパスでクエリ対応フレームを選択するか、検索ガイダンスとしてタイムスタンプ付きテキストに頼るかのいずれかである。
本稿では,固定予算フレーム選択を共同エビデンスキュレーション問題として用いたトレーニングフリーフレームワークであるGCRを提案する。
論文 参考訳（メタデータ） (2026-08-03T03:50:22Z) - Efficient Frame Selection for Long Videos at Test Time with Attention-Based MLLM Selectors [69.75895255395702]
MLLMの検証選択抽出層におけるクロスモーダルな注意は、自己回帰生成を必要とせずに、クエリ関連フレーム証拠を既に提供している。
2Bパラメータしか持たない軽量MLLMセレクタは、クエリ条件アグリゲーションにより、選択した層注目値を関連スコアに変換することにより、フレームレベルのエビデンスを抽出することができる。
32フレームの予算下では,ビデオMMEで最大6.4ポイントの均一サンプリングを改良し,フレーム予算の一致したトレーニングベースセレクタよりも優れていた。
論文 参考訳（メタデータ） (2026-07-17T07:04:31Z) - QCA: Query- and Content-Aware Keyframe Selection for Long Video Understanding [78.36929439152566]
本稿では,長いビデオからコンパクトだが情報に富んだフレームを選択可能なクエリ・アンド・コンテント・アウェア(QCA)選択フレームワークを提案する。
QCAは最もクエリ関連性の高いフレームにアンカーし、クエリのセマンティックな関連性を維持しながら、多様性を最大化するために追加のフレームを反復的に組み込む。
我々の方法は追加のトレーニングを必要とせず、既存のVideo-LLMにシームレスに統合できる。
論文 参考訳（メタデータ） (2026-07-01T14:19:24Z) - Learning Question-Aware Keyframe Selection with Synthetic Supervision for Video Question Answering [11.557860792712171]
キーフレームの選択は効率性とよりシャープな推論を提供するが、画像とテキストの類似性に依存する場合、監督や冗長なフレーム選択に悩まされる。
情報的監視を提供するLMMから派生した擬似ラベルと,多種多様な補完的証拠を促進するカバーレギュラー化の2つのコンポーネントからなる質問認識選択フレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-16T08:07:14Z) - Improving Video Question Answering through query-based frame selection [15.416301612152004]
Video Question Answering (VideoQA) モデルは、視聴覚コンテンツに対する理解とインタラクションを強化する。
重い計算要求のため、ビデオQAのほとんどの大きなビジュアル言語モデル(VLM)は、動画を一様にサンプリングすることで固定数のフレームに依存している。
本稿では,サブモジュール相互情報(SMI)関数に基づいて,質問に関連のある新しい問合せベースのフレーム選択を提案する。
論文 参考訳（メタデータ） (2026-01-12T12:10:20Z) - KFS-Bench: Comprehensive Evaluation of Key Frame Sampling in Long Video Understanding [6.320777997334055]
我々は、長いビデオ質問応答(QA)における鍵フレームサンプリングのための最初のベンチマークであるKFS-Benchを提案する。
KFS-Benchはサンプリング戦略の直接的かつ堅牢な評価を可能にするマルチシーンアノテーションを備えている。
適応的にバランスの取れたサンプリング手法は,キーフレームサンプリングとQA性能の両方において優れた性能を実現する。
論文 参考訳（メタデータ） (2025-12-16T02:27:05Z) - K-frames: Scene-Driven Any-k Keyframe Selection for long video understanding [38.06179287702453]
Kフレームは、時間的連続性を保存するシーン駆動の選択のための新しいパラダイムである。
個々のフレームを選択する代わりに、Kフレームは意味的に一貫性のあるクエリ関連クリップを予測する。
Kフレームは、様々なスケールで選択するための効果的な、解釈可能な、プラグアンドプレイソリューションを提供する。
論文 参考訳（メタデータ） (2025-10-14T06:23:22Z) - Learning Temporally Consistent Video Depth from Video Diffusion Priors [62.36887303063542]
本研究は,ストリーム映像深度推定の課題に対処する。
フレームやクリップ間でコンテキスト情報を共有することは、時間的一貫性を育む上で重要である、と我々は主張する。
本稿では,任意の長さの動画に対して一貫したコンテキスト認識学習と推論戦略を提案し,クロスクリップなコンテキストを提供する。
論文 参考訳（メタデータ） (2024-06-03T16:20:24Z) - Towards Frame Rate Agnostic Multi-Object Tracking [76.82407173177138]
本稿では,FraMOT 問題に初めて取り組むために,FAPS を用いたフレームレート非依存MOT フレームワークを提案する。
具体的には,フレームレート情報を推論し,符号化するフレームレートアグノスティックアソシエーションモジュール(FAAM)を提案する。
FAPSは、パターンマッチングと融合を追跡することによって、トレーニングにおけるすべての後処理ステップを反映する。
論文 参考訳（メタデータ） (2022-09-23T04:25:19Z) - OCSampler: Compressing Videos to One Clip with Single-step Sampling [82.0417131211353]
本稿では,OCSampler というフレームワークを提案する。
我々の基本的な動機は、効率的なビデオ認識タスクは、フレームをシーケンシャルに拾うのではなく、シーケンス全体を一度に処理することにある。
論文 参考訳（メタデータ） (2022-01-12T09:50:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。