QCA: Query- and Content-Aware Keyframe Selection for Long Video Understanding
Abstractの概要
本論文は、限られたフレーム予算内での長尺動画理解を目的とした、学習不要のキーフレーム選択フレームワークであるQCAを提案している。この手法はまず動画を時間的なセグメントに分割し、クエリとの関連性とコンテンツの偏差を組み合わせて各セグメントをスコアリングし、セグメント間で適応的にフレーム予算を割り当てる。各セグメント内では、クエリに最も関連するフレームから開始し、意味的な関連性を保ちつつ多様性を高めるフレームを貪欲的に追加していく。本フレームワークは、アーキテクチャの変更なしに既存のVideo-LLMに組み込めるよう設計されており、下流の推論に必要な情報を保持しながら時間的な冗長性を削減することを目指している。
新規性
QCAの特長は、クエリの関連性、セグメントレベルのコンテンツ偏差、適応的なセグメント間の予算割り当て、および多様性を考慮したセグメント内のフレーム選択を、単一の学習不要なフレームワーク内で統合的に扱う点にある。均一サンプリングや上位の関連性スコアのみに依存するアプローチとは異なり、意味的なアライメントと視覚的な多様性、および時間的な網羅性のバランスを明示的にとっている。
成果
LongVideoBench、Video-MME、MLVU、およびLVBench全体において、QCAはLLaVA-Video-7B、InternVL-3.5-8B、Qwen3-VL-8Bを含む複数のバックボーン上で、均一サンプリングや以前のいくつかのキーフレーム選択ベースラインを継続的に上回る改善を示している。Qwen3-VL-8Bと64フレームを使用した構成では、LongVideoBenchで66.9、Video-MMEで69.5、MLVUで75.7、LVBenchで51.8を記録し、さらに128フレームを使用した場合はLongVideoBenchで67.8を記録したと報告されている。また、アブレーション実験から、意味的マッチング、コンテンツ偏差、アンカーベースの選択、候補のフィルタリング、および多様性モデリングがそれぞれ性能に寄与していることが示されている。
論文の注目点
- QCAは、クエリとフレームの意味的マッチングとセグメントレベルのコンテンツ偏差の両方を使用し、限られたキーフレーム予算を時間的セグメント間で適応的に割り当てる。
- 各セグメント内では、クエリに最も関連するフレームをアンカーとし、関連性でフィルタリングされた候補セットから多様性を最大化する追加フレームを選択する。
- このアプローチは学習不要であり、既存のVideo-LLMに統合可能で、複数の長尺動画ベンチマークにおいて均一サンプリングやその他のキーフレーム選択ベースラインを一貫して上回る結果を示している。