論文の概要: LENS: Adaptive Spatio-Temporal Zooming for Keyframe Sampling in Long-Form Videos

• arxiv url: http://arxiv.org/abs/2607.25125v1
• Date: Mon, 27 Jul 2026 22:36:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.646079
• Title: LENS: Adaptive Spatio-Temporal Zooming for Keyframe Sampling in Long-Form Videos
• Title（参考訳）: LENS: 長期ビデオにおける鍵フレームサンプリングのための適応的時空間ズーム
• Abstract要約: LENSは、詳細な詳細をいつズームインするか、テキストクエリに基づいてより広いコンテキストにズームアウトするかを決定する、トレーニングサンプリング不要のフレームワークである。 LENSは最先端のサンプリング手法を一貫して上回り、Qwen2.5-VL.CodeでビデオMMEの精度を53.3%から60.7%に改善した。
• 参考スコア（独自算出の注目度）: 9.036321382628756
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite rapid progress in Multi-modal Large Language Models (MLLMs), understanding long-form videos is still bottlenecked by limited context windows. While recent keyframe sampling methods attempt to mitigate this by distilling video inputs into a compact set of query-relevant frames, navigating the vast spatio-temporal search space remains challenging, as spatial detail and temporal coverage often conflict. To address this, we introduce LENS, a training-free keyframe sampling framework that dynamically decides when to zoom in for fine-grained details and when to zoom out for broader context based on the text query. Concretely, LENS adaptively allocates a limited frame budget between spatial zoom-ins, which highlight query-relevant regions within individual frames, and temporal zoom-outs, which expand the temporal scope through multi-frame aggregation, enabling the model to reason across multiple granularities while capturing both high-fidelity details and long-range context. Across diverse long-form video benchmarks, LENS consistently outperforms prior state-of-the-art keyframe sampling methods and delivers substantial gains over uniform sampling, improving Video-MME accuracy from 53.3% to 60.7% with Qwen2.5-VL.Code is available at https://github.com/zhangce01/LENS.
• Abstract（参考訳）: MLLM(Multi-modal Large Language Models)の急速な進歩にもかかわらず、長いビデオの理解は、限られたコンテキストウィンドウによっていまだにボトルネックになっている。 最近のキーフレームサンプリング手法では、ビデオ入力をクエリ関連フレームのコンパクトなセットに蒸留することでこれを緩和しようとするが、空間的詳細と時間的カバレッジが相反することが多いため、時空間の広い空間を探索することは困難である。 この問題に対処するために、LENSはトレーニング不要なキーフレームサンプリングフレームワークで、細かな詳細のためにズームインするタイミングと、テキストクエリに基づいてより広いコンテキストに対してズームアウトするタイミングを動的に決定する。 具体的には、LENSは、個々のフレーム内のクエリ関連領域をハイライトする空間ズームインと、時間的ズームアウトの間に限られたフレーム予算を適応的に割り当てる。 様々なロングフォームビデオベンチマークを通じて、LENSは最先端のキーフレームサンプリング手法を一貫して上回り、均一サンプリングよりも大幅に向上し、Qwen2.5-VL.Codeがhttps://github.com/zhangce01/LENSで利用可能となり、ビデオMMEの精度は53.3%から60.7%に向上した。

関連論文リスト

• Wavelet-based Frame Selection by Detecting Semantic Boundary for Long Video Understanding [43.587729230845525]
  現在のメソッドは、通常、与えられたクエリに高い関連性を持つフレームを選択する。 トレーニング不要なフレームワークであるセマンティック境界(WFS-SB)の検出によるウェーブレットベースのフレーム選択を提案する。 WFS-SBはLVLMの性能を大幅に向上させ、ビデオMMEでは5.5%、MLVUでは9.5%、LongVideoBenchでは6.2%の精度向上を実現した。
  論文  参考訳（メタデータ） (2026-02-28T07:18:07Z)
• K-frames: Scene-Driven Any-k Keyframe Selection for long video understanding [38.06179287702453]
  Kフレームは、時間的連続性を保存するシーン駆動の選択のための新しいパラダイムである。 個々のフレームを選択する代わりに、Kフレームは意味的に一貫性のあるクエリ関連クリップを予測する。 Kフレームは、様々なスケールで選択するための効果的な、解釈可能な、プラグアンドプレイソリューションを提供する。
  論文  参考訳（メタデータ） (2025-10-14T06:23:22Z)
• AdaRD-key: Adaptive Relevance-Diversity Keyframe Sampling for Long-form Video understanding [31.685368980481968]
  AdaRD-Keyは,問合せ駆動型長文ビデオ理解のためのトレーニング不要サンプリングモジュールである。 AdaRD-Keyは、ビデオのアライメントが弱いワイドクエリを処理するために、軽量な関連性認識ゲーティング機構を採用している。 私たちのパイプラインは、トレーニング不要で、計算効率が良い(単一のGPU上でリアルタイムに実行される)ため、既存のビジョン言語モデルと互換性があります。
  論文  参考訳（メタデータ） (2025-10-03T07:19:34Z)
• LOVE-R1: Advancing Long Video Understanding with an Adaptive Zoom-in Mechanism via Multi-Step Reasoning [73.90466023069125]
  ビデオクリップに適応的にズームイン可能なモデルであるLOVE-R1を提案する。 モデルはまず、密度の高いサンプルフレームが提供されるが、小さな解像度で提供される。 空間的詳細が必要な場合、大きなフレーム解像度で興味のあるクリップを拡大することができる。
  論文  参考訳（メタデータ） (2025-09-29T13:43:55Z)
• KFFocus: Highlighting Keyframes for Enhanced Video Understanding [33.69757683688046]
  KFFocusは,ビデオトークンを効率よく圧縮し,映像フレーム内に存在する情報的コンテキストを強調する手法である。 KFFocusは、コンテキスト関連性に基づいてフレームに様々な凝縮率を割り当てることで、情報コンテンツの詳細を保存しつつ、トークンの冗長性を効率的に低減する。 また,ビデオフレーム間の時間的関係と各フレーム内の空間構造をエンコードするマルチモーダルモデリングモジュールを導入する。
  論文  参考訳（メタデータ） (2025-08-12T14:57:03Z)
• STORM: Token-Efficient Long Video Understanding for Multimodal LLMs [116.4479155699528]
  STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。 我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
  論文  参考訳（メタデータ） (2025-03-06T06:17:38Z)
• Temporal Preference Optimization for Long-Form Video Understanding [63.196246578583136]
  TPO(Temporal Preference Optimization)は、ビデオLMMの時間的グラウンド機能を高めるために設計された、新しいポストトレーニングフレームワークである。 TPOは、手動の注釈付きデータへの依存を減らしながら、時間的理解を著しく向上させる。 LLaVA-Video-TPOは、Video-MMEベンチマークでトップ7Bモデルとしての地位を確立している。
  論文  参考訳（メタデータ） (2025-01-23T18:58:03Z)
• LongVU: Spatiotemporal Adaptive Compression for Long Video-Language Understanding [65.46303012350207]
  LongVUは、長いビデオの視覚的詳細を保存しながら、ビデオトークンの数を減らす適応圧縮機構である。 DINOv2の機能を利用して、高い類似性を示す冗長なフレームを削除します。 時間的依存関係に基づいて,フレーム間の空間トークン削減を行う。
  論文  参考訳（メタデータ） (2024-10-22T21:21:37Z)
• SlowFast-LLaVA: A Strong Training-Free Baseline for Video Large Language Models [51.712700398020075]
  本研究では,空間的セマンティクスと長時間の時間的コンテキストを協調的にキャプチャできる学習自由ビデオ大言語モデル(LLM)を提案する。 これは、ビデオLLMの入力の2ストリームSlowFast設計を用いて、サンプルフレームの特徴を効果的に集約することで実現される。 実験の結果, SF-LLaVAは, 既存のトレーニング不要の手法よりも広い範囲の映像タスクにおいて優れていた。
  論文  参考訳（メタデータ） (2024-07-22T17:58:04Z)
• Continuous Space-Time Video Super-Resolution Utilizing Long-Range Temporal Information [48.20843501171717]
  本稿では,任意のフレームレートと空間解像度に変換可能な連続ST-VSR(CSTVSR)手法を提案する。 本稿では,提案アルゴリズムの柔軟性が向上し,各種データセットの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-02-26T08:02:39Z)
• Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution [95.26202278535543]
  単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。 時間合成と空間超解像はこの課題に関係している。 LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。