論文の概要: dKV Forcing: Separating Generation and Memory Representations through a Differentiable KV Cache

• arxiv url: http://arxiv.org/abs/2611.01648v1
• Date: Sun, 01 Nov 2026 06:53:33 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:24:41.879822
• Title: dKV Forcing: Separating Generation and Memory Representations through a Differentiable KV Cache
• Title（参考訳）: dKV強制: 微分可能なKVキャッシュによる生成とメモリ表現の分離
• Abstract要約: 我々は,dKV Forcingを提案し,その将来的な使用法から専用メモリ表現を学習する。 共有バックボーン上のライター固有の低ランク残差は、メモリ書き込みを生成から分離し、その書き込みの将来の読み取りを通じてトレーニングされる。
• 参考スコア（独自算出の注目度）: 10.305612650249804
• License:
• Abstract: A causal video generator produces two key--value (KV) states for every segment: the KV it uses while denoising that segment, and the KV it writes into the cache for later segments to read. In a pretrained generator the two already differ substantially, later segments attend to them differently, and replacing the written KV with the generation KV degrades the continuation. We propose dKV Forcing (dKV denotes differentiable KV) to learn a dedicated memory representation from its future use: a writer-specific low-rank residual on the shared backbone separates memory writing from generation and is trained through the future reads of what it writes. Learning a write from its future use needs gradients through the cache, which the mutable cache in common use cannot provide. dKV Forcing replaces the training-time cache by persistent differentiable pages with local rematerialization and, in one temporal traversal, computes exactly the gradient that a two-pass reconstruction of the same objective computes. One traversal computes the full memory gradient at $7\%$ generator-update overhead over detached-write training, with $28\%$ less resident memory and $20.8\%$ shorter training cycles than the two-pass reconstruction. Over Self Gradient Forcing (SGF), the same objective trained with the same traversal, writer adaptation raises VBench-Long aesthetic quality by $6.6$ points at 60\,s and $8.5$ points at 240\,s with the highest subject and background consistency, and rollout dropout of the residual keeps most of this gain while restoring the motion of training without write gradients.
• Abstract（参考訳）: 因果ビデオ生成装置は、各セグメントに対して2つのキー値(KV)状態を生成する。 事前訓練されたジェネレータでは、2つのセグメントは大幅に異なり、後続のセグメントはそれらを異なる形で参加し、書き込まれたKVを生成KVに置き換えると継続が劣化する。 共有バックボーン上のライター固有の低ランク残差は、メモリ書き込みを生成から切り離し、その書き込みの将来の読み出しを通じて訓練される。 将来の利用から書き込みを学ぶには、キャッシュを通じてグラデーションを必要とする。 dKV Forcingは、永続的な微分可能なページによるトレーニング時間キャッシュを局所的な再物質化に置き換え、一方の時間的トラバーサルでは、同じ目的の2パス再構成が計算する勾配を正確に計算する。 1つのトラバーサルは、分離された書き込みトレーニングよりも7\%$ジェネレータ更新オーバーヘッドで完全なメモリ勾配を計算し、28\%$常駐メモリを減らし、2つのパス再構成よりも20.8\%$短いトレーニングサイクルで処理する。 SGF(Over Self Gradient Forcing)では、同じトラバーサルで訓練されたのと同じ目的で、ライター適応はVBench-Longの美的品質を60\,sで6.6ドル、240\,sで8.5ドル、最高主題と背景整合性を持つ。

関連論文リスト

• SemPIC: Learning Semantic Position-Independent KV Caches [26.14495003304512]
  emphSemPICはLoRA対応のWriterをトレーニングし、ネイティブなレイヤごとのドキュメントKVを振る舞いの蒸留を通じてコンパイルする。 KV Gradient Checkpointing – キャッシュされたKVをスレッディングすることなく、ピークトレーニングメモリを削減する。
  論文  参考訳（メタデータ） (2026-07-30T11:45:24Z)
• STaR-KV: Spatio-Temporal Adaptive Re-weighting for KV Cache Compression in GUI Vision-Language Models [21.506039893153332]
  ビジョンモデルベースのグラフィカルユーザインタフェース(GUI)エージェントは、幅広い自動化機能を示している。 デプロイメントは、インタラクションステップと線形に成長するキーバリュー(KV)キャッシュによってボトルネックされる。 トレーニング不要なKVキャッシュ圧縮フレームワークSTaR-KVを提案する。
  論文  参考訳（メタデータ） (2026-06-01T07:10:00Z)
• KV-RM: Regularizing KV-Cache Movement for Static-Graph LLM Serving [6.997204534634303]
  静的グラフLLMデコーダの下でKV-cache動作を規則化するランタイム設計であるKV-RMを提案する。 KV-RMは、静的グラフベースラインに対する混合長復号スループットとテール遅延を改善する。
  論文  参考訳（メタデータ） (2026-05-10T20:10:26Z)
• DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
  そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。 DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。 実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
  論文  参考訳（メタデータ） (2026-02-08T15:14:36Z)
• KV-CAR: KV Cache Compression using Autoencoders and KV Reuse in Large Language Models [3.5171501100868876]
  KVキャッシュはシーケンス長と埋め込み次元で成長し、しばしばモデル自体のメモリフットプリントを超える。 KV CARは,モデル忠実性を維持しつつ,KVキャッシュストレージを大幅に削減する,統一的で非依存なアーキテクチャフレームワークである。 Wikitext、C4、PIQA、WinograndeデータセットにわたるGPT 2とTinyLLaMAモデルの評価は、KV CARが最大47.85パーセントのKVキャッシュメモリ削減を達成したことを示している。
  論文  参考訳（メタデータ） (2025-12-07T08:40:52Z)
• FlowKV: Enhancing Multi-Turn Conversational Coherence in LLMs via Isolated Key-Value Cache Management [48.904743679691414]
  FlowKVはKVキャッシュ管理のための新しいマルチターン分離機構である。 蓄積された圧縮KVキャッシュを過去のターンから保存する。 古い文脈の再圧縮を防ぎ、破滅的な忘れを和らげる。
  論文  参考訳（メタデータ） (2025-05-21T10:20:46Z)
• KVSharer: Efficient Inference via Layer-Wise Dissimilar KV Cache Sharing [58.29726147780976]
  我々は,層間をKVキャッシュで共有し,層間圧縮を実現する,textit KVSharerと呼ばれるプラグアンドプレイ方式を提案する。 実験の結果、textit KVSharerはKVキャッシュの計算を30%削減し、メモリ消費を削減できることがわかった。 我々は,textit KVSharerが既存の層内KVキャッシュ圧縮手法と互換性があることを検証する。
  論文  参考訳（メタデータ） (2024-10-24T08:06:41Z)
• Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs [82.08922896531618]
  大規模言語モデル(LLM)における生成推論のメモリフットプリントを削減するプラグイン・アンド・プレイ方式である適応KVキャッシュ圧縮を導入する。 我々は,アテンションモジュールの本質的な構造を明らかにするために,ターゲットプロファイリングを行う。 認識された構造に基づいて、我々はKVキャッシュを適応的に構築する: 注意頭上の長距離コンテキストを排除し、局所的なコンテキストを強調し、特別なトークンを中心とした注意頭上の特別なトークンを排除し、すべてのトークンに広く参加する注目頭に対して標準のKVキャッシュのみを使用する。
  論文  参考訳（メタデータ） (2023-10-03T05:17:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。