論文の概要: Cache Locally, Recompute Selectively for Streaming Video Understanding

• arxiv url: http://arxiv.org/abs/2610.29229v1
• Date: Wed, 21 Oct 2026 05:39:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.248457
• Title: Cache Locally, Recompute Selectively for Streaming Video Understanding
• Title（参考訳）: ローカルにキャッシュし、ビデオ理解のストリーミングのために選択的に再計算する
• Abstract要約: ビデオ理解のストリーミングには、低レイテンシでユーザのクエリに応答しながら、ビデオLLMを継続的に処理する必要がある。 最近の手法では、アイドル時間中にフレームをKVキャッシュにプリフィルし、クエリ時にキャッシュされたKVを再利用することで、クエリ時間コストを削減する。 選択的なKV再計算により,このミスマッチに対処するプラグイン・アンド・プレイ方式であるFrameBlendを提案する。
• 参考スコア（独自算出の注目度）: 11.940063145497339
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Streaming video understanding (SVU) requires video-LLMs to process incoming video continuously while answering user queries with low latency. Recent methods reduce query-time cost by prefilling frames into KV caches during idle time and reusing the cached KVs at query time. To bound per-frame computation over unbounded video streams, these methods restrict the context available during prefill. This creates a fundamental context mismatch: the restricted context may omit information needed to properly contextualize video tokens, yet, still contain information irrelevant to the eventual query, which is unknown during prefill. We propose FrameBlend, a simple yet effective plug-and-play method to address this mismatch through selective KV recomputation, without requiring any additional training. At query time, FrameBlend re-prefills selected video tokens using query-relevant context and replaces their cached KVs with recomputed ones. Crucially, this recomputation enables shorter attention windows during idle-time prefill, substantially reducing prefill cost while improving accuracy. Experiments across three SVU frameworks and five streaming and offline benchmarks demonstrate accuracy gains of up to 3.9 pp. On RVS-Ego, FrameBlend reduces per-frame prefill FLOPs by over 20% and total processing time by 14-59% for retrieval-based frameworks, including the cost of query-time recomputation. These results demonstrate that a simple change in how contextualization is distributed between idle time and query time can improve the accuracy-efficiency trade-off for SVU.
• Abstract（参考訳）: ストリーミングビデオ理解(SVU)では、低レイテンシでユーザのクエリに応答しながら、ビデオLLMを継続的に処理する必要がある。 最近の手法では、アイドル時間中にフレームをKVキャッシュにプリフィルし、クエリ時にキャッシュされたKVを再利用することで、クエリ時間コストを削減する。 フレーム単位の計算を無制限のビデオストリームにバウンドするために、これらの手法はプリフィル時に利用可能なコンテキストを制限する。 制限されたコンテキストは、ビデオトークンを適切にコンテキスト化するのに必要な情報を省略するが、それでも、プレフィル中に未知の、最終的なクエリに関係のない情報を含んでいる。 我々は、選択的なKV再計算により、追加の訓練を必要とせず、このミスマッチに対処する、シンプルで効果的なプラグイン・アンド・プレイ法であるFrameBlendを提案する。 クエリ時に、FrameBlendはクエリ関連コンテキストを使用して選択されたビデオトークンを再用意し、キャッシュされたKVを再計算したトークンに置き換える。 重要なことに、この再計算により、アイドル時のプリフィル中の注意窓が短くなり、プリフィルコストが大幅に低減され、精度が向上する。 3つのSVUフレームワークと5つのストリーミングおよびオフラインベンチマークの実験は、最大3.9ppの精度向上を示している。 RVS-Egoでは、クエリ時間再計算のコストを含む検索ベースのフレームワークでは、フレーム単位のFLOPを20%以上削減し、全体の処理時間を14～59%削減する。 これらの結果から,アイドル時間とクエリ時間の間でコンテキスト化が分散される場合の簡単な変更により,SVUの精度と効率のトレードオフが向上することが示唆された。

関連論文リスト

• StreamAhead: Real-Time Streaming Video Question Answering via Adaptive Precomputation [4.273730624882391]
  ビジョン言語モデルで回答するリアルタイムのストリーミングビデオ質問は、低レイテンシでいつでも到着するクエリに答えなければならない。 本稿では,適応型事前計算によってこのトレードオフを利用するアルゴリズムシステムの共同設計であるStreamAheadを紹介する。 StreamAheadはビデオセグメントを独立してエンコードし、それぞれが異なる表現レベルに留まることができる。
  論文  参考訳（メタデータ） (2026-10-18T21:48:59Z)
• Enhancing Long-Video VLM Embeddings with Query-Aware Streaming Latent Reasoning [48.92009312610144]
  長いビデオの埋め込みには、限られた視覚的な予算の下で、スパースクエリ関連エビデンスをキャプチャする必要がある。 textbfQuery-Aware Streaming Latent Reasoning (QASLR)を紹介する。 QASLRはフレームの有界集合を選択し、時間順を復元し、ヴィジュアル言語によるバックボーンでクリップで処理する。
  論文  参考訳（メタデータ） (2026-10-04T02:05:48Z)
• RelaxKV: Recomputation Guided by the Query with Sparse Context Attention for Efficient KV Cache Reuse [11.49301528421843]
  クロスリクエストKVキャッシングはレトリーバル拡張ジェネレーション(RAG)のプリフィルコストを低減させる RelaxKVは、修復目標と再計算コンテキストに対する共同割り当て問題として選択的なキャッシュ修復を定式化する。
  論文  参考訳（メタデータ） (2026-09-27T12:12:00Z)
• ProtoKV: Streaming Video Understanding under Delayed Query with Summary-State Memory [3.4115268101762983]
  ProtoKV は一定フットプリント SVU メモリであり、固定容量の要約状態として長い歴史を表す。 長遅延状態におけるSVUベンチマークのトークン保持ベースラインよりも最大12.5ポイント精度が向上する。
  論文  参考訳（メタデータ） (2026-06-25T08:47:15Z)
• MuKV: Multi-Grained KV Cache Compression for Long Streaming Video Question-Answering [75.0394545769057]
  KVキャッシュは、LLMプリフィルを介して歴史的なトークンのキーバリューを格納する。 MuKV は KV キャッシュ圧縮モジュールと半階層的検索手法を特徴とする手法である。 長時間ストリーミングのVideoQAベンチマークの実験では、MKVはメモリとオンラインQA効率を犠牲にすることなく、回答の正確性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2026-05-21T10:13:03Z)
• Going Down Memory Lane: Scaling Tokens for Video Stream Understanding with Dynamic KV-Cache Memory [50.30283773196725]
  既存のアプローチは、時間とともにフレームレベルの詳細を蓄積するためにキーバリューキャッシングに依存していますが、フレーム毎に限られた数のトークンを使用します。 より詳細な時間的理解と推論を可能にするためにトークン予算のスケーリングを提案する。
  論文  参考訳（メタデータ） (2026-02-20T18:59:50Z)
• HERMES: KV Cache as Hierarchical Memory for Efficient Streaming Video Understanding [92.59317281526239]
  HERMESは、ビデオストリームのリアルタイムかつ正確な理解のためのトレーニング不要アーキテクチャである。 HermesはコンパクトなKVキャッシュを再利用し、リソース制約下で効率的なストリーミング理解を可能にする。 Hermesはすべてのベンチマークで優れた精度または同等の精度を実現しており、ストリーミングデータセットでは最大11.4%向上している。
  論文  参考訳（メタデータ） (2026-01-21T07:26:15Z)
• StreamKV: Streaming Video Question-Answering with Segment-based KV Cache Retrieval and Compression [95.59657871147846]
  我々は,ビデオLLMと高度なKVキャッシュの検索と圧縮をシームレスに行うフレームワークである textbfStreamKV を提案する。 公開StreamingVQAベンチマークの実験では、StreamKVが既存のオンラインビデオ-LLMを著しく上回っていることが示されている。
  論文  参考訳（メタデータ） (2025-11-10T16:25:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。