論文の概要: DeltaS: Reading the Gated Linear Attention State for KV Cache Eviction in Streaming Video

• arxiv url: http://arxiv.org/abs/2609.27470v1
• Date: Wed, 23 Sep 2026 07:35:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.934355
• Title: DeltaS: Reading the Gated Linear Attention State for KV Cache Eviction in Streaming Video
• Title（参考訳）: DeltaS: ストリーミングビデオにおけるKVキャッシュバリデーションのためのGated Linear Attention Stateを読む
• Abstract要約: 本稿では,問合せに依存せず,ビデオチャンクを保ち,より大きな正規化状態変化を引き起こすDeltaSを提案する。 フォワードパスのわずか1.9%のコストで、DeltaSは最強のクエリ非依存のバインドメモリベースラインを超えた。 これらの結果から,ハイブリッドアーキテクチャの2つの記憶は協調的に機能することが示唆された。
• 参考スコア（独自算出の注目度）: 0.9877411999273223
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent video-language models increasingly adopt hybrid architectures that interleave linear and full attention layers for efficient long-context processing. While the recurrent state of linear attention remains fixed in size, the KV cache of full attention continues to grow with the video stream, making eviction necessary under a bounded memory budget. The key challenge in streaming is that eviction must occur before the question arrives, so what to retain has to be decided without the question. Existing eviction methods derive token scores from the KV cache itself, using position, attention, or key-value representations, and attention-based scores further require proxy queries or extra computation. Hybrid backbones offer another source of signal. In gated-delta linear attention, the recurrent state is updated by the residual between each input and what can already be retrieved from the state, so its change over a chunk of frames reflects how much new information the chunk brings. We propose DeltaS, a query-agnostic, training-free method that retains video chunks inducing larger normalized state change, or state drift. In a controlled comparison with the budget and retention policy held fixed, state drift outperforms position-, attention-, and key-value-based signals. With a signal costing only 1.9% of the forward pass, DeltaS surpasses the strongest query-agnostic bounded-memory baseline by 2.1 points on average across six long-video benchmarks and by 5.6 points on the longest benchmark. These results suggest that the two memories of hybrid architectures can work cooperatively. Code is available at https://github.com/MaumAI-Company/DeltaS.
• Abstract（参考訳）: 最近のビデオ言語モデルは、より効率的な長文処理のために線形層とフルアテンション層をインターリーブするハイブリッドアーキテクチャを採用する傾向にある。 リニアアテンションの繰り返し状態はサイズが固定されているが、フルアテンションのKVキャッシュはビデオストリームによって増加し続けており、バウンダリメモリの予算の下では除去が必要である。 ストリーミングにおける鍵となる課題は、イシューが到着する前に、イリュージョンが発生する必要があることである。 既存の消去法はKVキャッシュ自体からトークンスコアを導き、位置、注意、またはキー値の表現を使い、注意ベースのスコアはさらにプロキシクエリや余分な計算を必要とする。 ハイブリッドバックボーンは別の信号源を提供する。 ゲート-デルタ線形アテンションでは、各入力と状態から既に取得できるものの間の残差によってリカレント状態が更新されるので、その一握りのフレームがどれだけ新しい情報をもたらすかが反映される。 そこで本稿では,ビデオチャンクに正規化状態の変更,あるいは状態のドリフトを誘導する,クエリ非依存でトレーニング不要なDeltaSを提案する。 固定された予算と保持ポリシーとの制御された比較では、状態ドリフトは位置、注意、キー値に基づく信号よりも優れる。 フォワードパスのわずか1.9%の信号で、DeltaSは6つの長ベンチマークで平均2.1ポイント、最長ベンチマークで5.6ポイントという、クエリに依存しない最強のメモリベースラインを上回っている。 これらの結果から,ハイブリッドアーキテクチャの2つの記憶は協調的に機能することが示唆された。 コードはhttps://github.com/MaumAI-Company/DeltaS.comで入手できる。

関連論文リスト

• DASC: Decay-Aware State Compression for Hybrid Linear-Attention Serving [21.021503976060355]
  我々はGated DeltaNet(GDN)とKim Delta Attention(KDA)の崩壊構造を分析する。 異なる頭とチャネルが、明らかに異なる時間スケールでプレフィックス情報を保持していることがわかり、それは、エンプレメンテーション水平線(enmphretention horizons)と呼ばれる。 本研究では, モデル重みから保持地平線を導出し, 長期状態単位を選択し, タグ付き状態チェックポイントレイアウトにまとめるEmphDecay-Aware State Compression (DASC)を提案する。
  論文  参考訳（メタデータ） (2026-08-31T07:42:43Z)
• Surprise Forcing: What to Remember, When to Skip in Long Video Generation [65.0022589149937]
  自己回帰拡散をストリーミングすることで、ミニスケールのビデオ合成が実用的になるが、そのコンテキスト境界と固定化スケジュールはリソースを均一に割り当てる。 我々は、両方の制限をオンラインリソース割り当て問題として扱う、トレーニング不要のフレームワークであるSurprise Forcingを紹介した。 VBench、VBench-Long、VBench-2.0の実験では、提案されたアロケーション戦略は、リアルタイムストリーミングスループットを維持しながら、長時間の一貫性と視覚的品質を改善する。
  論文  参考訳（メタデータ） (2026-07-20T18:37:58Z)
• DepthWeave-KV: Token-Adaptive Cross-Layer Residual Factorization for Long-Context KV Cache Compression [0.0]
  DepthWeave-KVはトークン適応型キャッシュ圧縮手法で、近隣のトランスフォーマー層にまたがるキーと値の状態を分解する。 DepthWeave-KVは、メモリ使用量を大幅に削減した、ほぼ完全なタスク品質を実現する。
  論文  参考訳（メタデータ） (2026-07-07T17:29:01Z)
• Attend Locally, Remember Linearly: Linear Attention as Cross-Frame Memory for Autoregressive Video Diffusion [61.57938553036056]
  ARL2は、二次的なクロスフレームアテンションを固定サイズのリカレント状態に置き換えるハイブリッドアテンションモジュールである。 本研究では,フレーム内ソフトマックスブランチとフレーム間リカレント線形ブランチの2つに分割し,ストリームコンテキストの固定サイズ状態を維持する。 75%の層がハイブリッドリニアアテンションに置き換えられ、最大2.26ウォールクロックのスピードアップと54%のメモリ削減を実現した。
  論文  参考訳（メタデータ） (2026-05-15T19:33:45Z)
• Stateful Token Reduction for Long-Video Hybrid VLMs [69.6930118088911]
  ハイブリッドビデオビジョン言語モデル(VLM)のクエリ条件付きトークン削減について検討する。 本稿では,低段階から高段階の減算スケジュールと,注意とマンバブロックの両ブロックを対象とした言語認識スコアリング機構を提案する。 積極的圧縮条件下では,本手法はテスト時にほぼベースライン精度で精度の高いプリフィルング・スピードアップを実現する。
  論文  参考訳（メタデータ） (2026-02-27T08:11:06Z)
• Going Down Memory Lane: Scaling Tokens for Video Stream Understanding with Dynamic KV-Cache Memory [50.30283773196725]
  既存のアプローチは、時間とともにフレームレベルの詳細を蓄積するためにキーバリューキャッシングに依存していますが、フレーム毎に限られた数のトークンを使用します。 より詳細な時間的理解と推論を可能にするためにトークン予算のスケーリングを提案する。
  論文  参考訳（メタデータ） (2026-02-20T18:59:50Z)
• On-the-Fly Adaptive Distillation of Transformer to Dual-State Linear Attention [53.22963042513293]
  大規模言語モデル(LLM)は、自己アテンションを通じてグローバルトークンの依存関係をキャプチャするが、長い入力に対する計算とメモリコストに直面する。 まず,二状態線形注意(Dual-state linear attention, A)を提案する。これは2つの隠れ状態を保持する設計であり,その1つは,リニアアテンションアーキテクチャの典型的な短距離バイアスを緩和し,リニアアテンションを追尾するものである。 本稿では,DSLA層を段階的に置き換えるオンライン適応蒸留フレームワークであるDSLA-Serveを紹介する。
  論文  参考訳（メタデータ） (2025-06-11T01:25:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。