論文の概要: Linear Scaling Video VLMs for Long Video Understanding

• arxiv url: http://arxiv.org/abs/2605.31598v1
• Date: Fri, 29 May 2026 17:59:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.789361
• Title: Linear Scaling Video VLMs for Long Video Understanding
• Title（参考訳）: 長いビデオ理解のためのリニアスケーリングビデオVLM
• Abstract要約: ビデオエンコーダは依然として自己アテンションに依存しており、計算とレイテンシはフレーム数で2倍に増加する。 本稿では,事前学習した長ビデオMを線形時間ビデオプリフィルに適応させる推論時手法であるStateKVを紹介する。
• 参考スコア（独自算出の注目度）: 26.67642601439313
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video vision-language models (VLMs) are increasingly used in long-horizon and streaming settings, yet most video encoders still rely on spatiotemporal self-attention, causing compute and latency to grow quadratically with the number of frames. Existing efficiency methods improve scalability but often lose accuracy relative to full self-attention, for example through aggressive frame/token dropping or coarse attention approximations. We introduce StateKV, an inference-time method that adapts pretrained long-video VLMs to linear-time video prefill by carrying cross-frame context in a fixed-capacity, importance-based recurrent state, paired with a second full per-frame cache used for decoding. Across three long-video benchmarks and seven models spanning three families and multiple scales, StateKV remains close to full self-attention and consistently outperforms dominant sliding-window / recency-based streaming approximations, without fine-tuning or architectural changes. StateKV also reduces video-prefill cost measured FLOPs, enabling stronger accuracy at a fixed compute budget by running larger models. These results suggest a practical step toward scalable long-video understanding.
• Abstract（参考訳）: ビデオビジョン言語モデル(VLM)は、長い水平とストリーミングの設定でますます使われているが、ほとんどのビデオエンコーダは時空間の自己アテンションに依存しており、計算とレイテンシはフレーム数で2次的に増加する。 既存の効率性はスケーラビリティを向上させるが、例えばアグレッシブ・フレーム/トーケン・ドロップ(英語版)や粗いアテンション近似(英語版)によって、完全な自己注意に対して精度が低下することが多い。 我々は、固定容量、重要度に基づくリカレント状態のクロスフレームコンテキストをデコードに使用する第2のフルフレームキャッシュと組み合わせることで、事前訓練された長ビデオVLMを線形時間ビデオプリフィルに適応する推論時手法であるStateKVを紹介した。 3つの長ビデオベンチマークと3つのファミリーと複数のスケールにまたがる7つのモデルの中で、StateKVは完全な自己注意に近づき、微調整やアーキテクチャの変更なしに、スライディングウインドウ/リレーシベースのストリーミング近似よりも一貫して優れています。 StateKVはまた、ビデオプリフィルコストの測定値であるFLOPを削減し、より大きなモデルを実行することで、固定された計算予算においてより正確な精度を実現する。 これらの結果は、スケーラブルな長ビデオ理解への実践的な一歩を示唆している。

関連論文リスト

• LongE2V: Long-Horizon Event-based Video Reconstruction, Prediction, and Frame Interpolation with Video Diffusion Models [14.33633321388011]
  LongE2Vは、事前訓練されたビデオ拡散を利用してイベントベースのビデオ再構成を処理する新しいアプローチである。 攻撃的ビデオモデルを微調整することにより、高いデータ効率と優れた知覚品質を軽減できる。 実世界のベンチマークの実験では、LongE2Vは3つのタスクすべてで最先端のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2026-07-09T17:59:52Z)
• Attend Locally, Remember Linearly: Linear Attention as Cross-Frame Memory for Autoregressive Video Diffusion [61.57938553036056]
  ARL2は、二次的なクロスフレームアテンションを固定サイズのリカレント状態に置き換えるハイブリッドアテンションモジュールである。 本研究では,フレーム内ソフトマックスブランチとフレーム間リカレント線形ブランチの2つに分割し,ストリームコンテキストの固定サイズ状態を維持する。 75%の層がハイブリッドリニアアテンションに置き換えられ、最大2.26ウォールクロックのスピードアップと54%のメモリ削減を実現した。
  論文  参考訳（メタデータ） (2026-05-15T19:33:45Z)
• Towards Holistic Modeling for Video Frame Interpolation with Auto-regressive Diffusion Transformers [95.68243351895107]
  我々はtextbfVideo textbfFrame textbfInterpolation (LDF-VFI) のための textbfLocal textbfDiffusion textbfForcing for textbfVideo textbfFrame textbfInterpolation (LDF-VFI) という包括的でビデオ中心のパラダイムを提案する。 我々のフレームワークは、ビデオシーケンス全体をモデル化し、長距離時間的コヒーレンスを確保する自動回帰拡散変換器上に構築されている。 LDF-VFIは、挑戦的なロングシーケンスベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-01-21T12:58:52Z)
• Efficient Video Sampling: Pruning Temporally Redundant Tokens for Faster VLM Inference [5.146388234814547]
  長いビデオはしばしば現代の言語モデルのトークン予算を超え、厳しいコンテキスト制限とレイテンシの問題に繋がる。 本稿では,時間的に静的なパッチを識別・プルーニングすることで,ビデオ中のトークンの冗長性を低減できる簡易なプラグイン・アンド・プレイ方式であるEfficient Video Sampling (EVS)を紹介する。 EVSは意味的忠実性を維持しながらトークン数を大幅に削減し、より高速な推論とより長い入力シーケンスを可能にする。
  論文  参考訳（メタデータ） (2025-10-16T12:34:38Z)
• Exploiting Temporal State Space Sharing for Video Semantic Segmentation [53.8810901249897]
  ビデオセマンティックセグメンテーション(VSS)はシーンの時間的進化を理解する上で重要な役割を担っている。 従来の手法では、ビデオはフレーム単位で、あるいは短い時間ウィンドウで分割されることが多く、時間的コンテキストや冗長な計算、重いメモリ要求に繋がる。 本研究では,時間的特徴共有にマンバ状態空間モデルを活用するための時間的ビデオ状態空間共有アーキテクチャを提案する。 本モデルでは,映像フレーム間の関連情報を効率的に伝播する選択的ゲーティング機構を特徴とし,メモリ量の多い機能プールの必要性を解消する。
  論文  参考訳（メタデータ） (2025-03-26T01:47:42Z)
• STORM: Token-Efficient Long Video Understanding for Multimodal LLMs [116.4479155699528]
  STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。 我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
  論文  参考訳（メタデータ） (2025-03-06T06:17:38Z)
• Making Every Frame Matter: Continuous Activity Recognition in Streaming Video via Adaptive Video Context Modeling [19.205142489726875]
  ビデオのアクティビティ認識は、ロボットやAIの具体化においてますます重要になっている。 適応型ビデオコンテキストモデリングにより,これらの問題を克服するための新しいシステムCARSを導入する。 当社のCARSは、一般的なエッジデバイス上で30FPS以上の速度で動作し、すべてのベースラインを1.2%から79.7%の精度で上回っている。
  論文  参考訳（メタデータ） (2024-10-19T05:50:00Z)
• A Simple Recipe for Contrastively Pre-training Video-First Encoders Beyond 16 Frames [57.758863967770594]
  我々は,大規模な画像テキストモデルを浅部時間融合によりビデオに転送する共通パラダイムを構築した。 1)標準ビデオデータセットにおけるビデオ言語アライメントの低下による空間能力の低下と,(2)処理可能なフレーム数のボトルネックとなるメモリ消費の増大である。
  論文  参考訳（メタデータ） (2023-12-12T16:10:19Z)
• Learning Trajectory-Aware Transformer for Video Super-Resolution [50.49396123016185]
  ビデオ超解像は、高解像度(HR)フレームを低解像度(LR)フレームから復元することを目的としている。 既存のアプローチは通常、隣接する限られたフレームからビデオフレームを並べて集約する。 ビデオ超解像用トランスフォーマー(TTVSR)を提案する。
  論文  参考訳（メタデータ） (2022-04-08T03:37:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。