論文の概要: PEEK: Picking Essential frames via Efficient Knowledge distillation
- arxiv url: http://arxiv.org/abs/2605.31029v1
- Date: Fri, 29 May 2026 09:01:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.491204
- Title: PEEK: Picking Essential frames via Efficient Knowledge distillation
- Title（参考訳）: PEEK: 効率的な知識蒸留による本質的なフレームの選択
- Abstract要約: 適応的フレームサンプリングは、ビデオから最も情報性の高いフレームを選択するための有望なアプローチとして登場した。
我々は,より強力な教師モデルからキャプション条件付きフレーム関連ランキングを蒸留する,効率的な動的フレームサンプリング手法であるPEEKを紹介する。
全体として、ActivityNet CaptionsとMSR-VTTでは、我々の手法は最先端の手法よりも優れています。
- 参考スコア（独自算出の注目度）: 2.0117085784914623
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Video-language models can process only a limited number of frames, making frame selection a key bottleneck for efficient video captioning. Most captioning pipelines still rely on uniform sampling, which is computationally cheap but agnostic to visual content. Adaptive frame sampling has recently emerged as a promising approach for selecting the most informative frames from a video; however, existing methods remain computationally expensive. We introduce PEEK, an efficient dynamic frame sampling method that distills caption-conditioned frame relevance rankings from a stronger teacher model into a lightweight temporal model that operates only on visual content. We find that, overall, on ActivityNet Captions and MSR-VTT, our method outperforms state-of-the-art methods across all evaluated downstream vision language models, especially when only one or two frames are selected for captioning, obtaining the best CIDEr for most frame budgets. On ActivityNet Captions, PEEK is particularly strong, winning 14 out of 16 configurations. Zero-shot evaluation on MSR-VTT shows that our model transfers best at low frame budgets, while results at four and eight frames are more mixed as temporal coverage and visual diversity become increasingly competitive. Compared with recent adaptive baselines, PEEK is both more accurate in the low-budget regime and more efficient: it adds only $5.2\%$ to the captioning time, compared with $65.4\%$ for CSTA and $211.9\%$ for MaxInfo. We release our code and pre-trained checkpoint at https://github.com/momentslab/peek.
- Abstract（参考訳）: ビデオ言語モデルは限られたフレームしか処理できないため、フレーム選択は効率的なビデオキャプションのボトルネックとなる。
ほとんどのキャプションパイプラインはいまだ一様サンプリングに依存している。
適応的フレームサンプリングはビデオから最も情報性の高いフレームを選択するための有望なアプローチとして最近登場したが、既存の手法は依然として計算コストが高いままである。
PEEKは、より強力な教師モデルから視覚コンテンツのみを操作する軽量な時間モデルにキャプション条件付きフレーム関連ランキングを蒸留する、効率的な動的フレームサンプリング手法である。
全体として、ActivityNet Captions と MSR-VTT では、評価された下流視覚言語モデルすべてにおいて最先端の手法よりも優れており、特にキャプション用に1つか2つのフレームのみが選択され、ほとんどのフレーム予算において最高のCIDErが得られている。
ActivityNet Captionsでは、PEEKが特に強く、16構成中14で勝利している。
MSR-VTTのゼロショット評価は、我々のモデルが低フレームの予算で最良であるのに対して、4フレームと8フレームの結果は、時間的カバレッジと視覚的多様性がますます競争力を持つようになるにつれて、より混在していることを示している。
最近の適応型ベースラインと比較して、PEEKは低予算でより正確であり、より効率的である。CSTAでは65.4.%、MaxInfoでは2.11.9.%であるのに対し、キャプション時間にわずか5.2.%である。
コードと事前トレーニングされたチェックポイントはhttps://github.com/momentslab/peek.comで公開しています。
関連論文リスト
- Coverage-Driven Adaptive Keyframe Selection for Video Understanding [12.078063042214573]
そこで我々はCSESを提案する。CSESは学習不要なセマンティックセレクタで、スコアとセレクトのためのフレームの数を適応的に決定する。
CSESはフレームクエリの優位性を推定し、アクティブな取得を誘導し、各入力の時間的カバレッジを適応させる。
次に、意味的関連性、時間的冗長性、視覚的冗長性を共同で説明するカバレッジ問題として、選択の妥当性を定式化する。
論文 参考訳（メタデータ） (2026-08-01T15:24:06Z) - GIFT: Global Irreplaceability Frame Targeting for Efficient Video Understanding [63.62445065977448]
GIFT: Global Irreplaceability Frame Targetingはトレーニング不要のフレームワークで、固有の非配置性を評価してフレームを選択する。
GIFTは,LLaVA-Video-7Bの長文ビデオベンチマークにおいて,一様サンプリングに比べて最大12.5%向上したことを示す。
論文 参考訳（メタデータ） (2026-03-26T06:21:41Z) - FOCUS: Efficient Keyframe Selection for Long Video Understanding [26.44459739499484]
マルチモーダル大言語モデル(LMLM)は画像とビデオフレームを視覚トークンとして表現する。
FOCUS(Frame-Optimistic Confidence Upbound Selection)は、厳格なトークン予算の下でフレームを選択するモデルに依存しない選択モジュールである。
20分以上のビデオでは、LongVideoBenchingベンチマークで11.9%の精度向上を達成した。
論文 参考訳（メタデータ） (2025-10-31T08:41:13Z) - Less is More: Token-Efficient Video-QA via Adaptive Frame-Pruning and Semantic Graph Integration [24.337139909108117]
過剰なフレームが文脈の希釈によってパラドックス的に性能を低下させる「レスはそれ以上」現象である。
視覚エコー」は「視覚エコー」という時間的冗長性を有する
AFP"は、ResNet-50とCLIPの機能空間に適応的な階層的クラスタリングアルゴリズムを用いて、これらのエコーを単一の代表に識別し、マージする。
我々の完全なアプローチは、必要なフレームを86.9%まで、合計入力トークンを83.2%まで劇的に削減することを示しています。
論文 参考訳（メタデータ） (2025-08-05T11:31:55Z) - BOLT: Boost Large Vision-Language Model Without Training for Long-form Video Understanding [51.49345400300556]
大規模ビデオ言語モデル (VLM) は様々なビデオ理解タスクにおいて有望な進歩を示した。
均一なフレームサンプリングのような伝統的なアプローチは、必然的に無関係なコンテンツにリソースを割り当てる。
本稿では,フレーム選択戦略の総合的研究を通じて,付加的なトレーニングを伴わずに大規模VLMをブーストする方法であるBOLTを紹介する。
論文 参考訳（メタデータ） (2025-03-27T13:18:40Z) - An Empirical Study of Frame Selection for Text-to-Video Retrieval [62.28080029331507]
テキスト・ツー・ビデオ検索(TVR)は、クエリーテキストが与えられた大きなビデオギャラリーで最も関連性の高いビデオを見つけることを目的としている。
既存の方法は通常、TVRのビデオコンテンツを表すためにビデオ内のフレームのサブセットを選択する。
本稿では,TVRにおけるフレーム選択の実証的研究を行う。
論文 参考訳（メタデータ） (2023-11-01T05:03:48Z) - Efficient Cross-Modal Video Retrieval with Meta-Optimized Frames [39.03408879727955]
クロスモーダルなビデオ検索は、テキストを問合せとして与えられた意味のあるビデオを取得することを目的としている。
一般的な単純な解決策は、ビデオからViTへの入力として少数のフレームを均一にサンプリングすることである。
本稿では,このトレードオフを解消するために,バイレベル最適化プログラムに基づく自動ビデオ圧縮手法を提案する。
論文 参考訳（メタデータ） (2022-10-16T05:35:00Z) - Contrastive Video-Language Learning with Fine-grained Frame Sampling [54.542962813921214]
FineCoは、ビデオフレーム上で操作する微妙なコントラスト対象で、ビデオと言語表現をよりよく学習するアプローチである。
テキストと意味的に等価なフレームを選択することで、ビデオの削除を支援し、クロスモーダル対応を改善する。
論文 参考訳（メタデータ） (2022-10-10T22:48:08Z) - Revealing Single Frame Bias for Video-and-Language Learning [115.01000652123882]
単一フレームのトレーニングモデルでは,トレーニングに複数のフレームを使用する既存手法よりも優れたパフォーマンスが得られることを示す。
この結果は、人気のあるビデオおよび言語データセットに強い「静的な外観バイアス」が存在することを明らかにする。
本稿では、時間的モデリングを促進するために、既存のきめ細かい行動認識データセットに基づく2つの新しい検索タスクを提案する。
論文 参考訳（メタデータ） (2022-06-07T16:28:30Z) - OCSampler: Compressing Videos to One Clip with Single-step Sampling [82.0417131211353]
本稿では,OCSampler というフレームワークを提案する。
我々の基本的な動機は、効率的なビデオ認識タスクは、フレームをシーケンシャルに拾うのではなく、シーケンス全体を一度に処理することにある。
論文 参考訳（メタデータ） (2022-01-12T09:50:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。