論文の概要: BeNice! Closing Looping's Inference-Memory Gap via KV-Sharing

• arxiv url: http://arxiv.org/abs/2610.31633v1
• Date: Thu, 22 Oct 2026 17:49:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.50503
• Title: BeNice! Closing Looping's Inference-Memory Gap via KV-Sharing
• Title（参考訳）: BeNice! KV-SharingによるLoopingの推論メモリギャップのクローズ
• Abstract要約: ループモデルでKV共有を有効にする方法を示す。 KV共有はキャッシュヒット率を最大31.4%改善し、スループットを最大23.6%向上し、p90のタイム・ツー・ファースト・トークンを最大83.6%削減する。
• 参考スコア（独自算出の注目度）: 30.87385668501741
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Looped architectures scale quality while keeping parameter count fixed by repeatedly passing activations through the same block of layers. During inference, each recurrence generates independent KV-caches, causing memory to grow linearly. To address this challenge, prior work has proposed KV-sharing (i.e., sharing KV-caches across depth), finding that, in some cases, the KV-cache of the final recurrence can be shared with the earlier recurrences without quality loss, a property we denote as KV-shareability. However, the mechanisms underlying KV-shareability remain poorly understood, with even identically trained looped architectures not consistently exhibiting it. In this paper, we study how KV-shareability can be enabled in looped models. We propose a two-stage method: in the first stage, we use stochastic depth during pretraining, which induces contractive residual dynamics that drive representations toward a common limit across recurrences. In the second stage, we propose BeNice!, a post-training method that broadcasts the final recurrence's KV-cache into the first recurrence, training it to produce compatible residuals while preserving the original model's quality. As a result, BeNice! enables KV-shareability while matching standard finetuning's unshared validation perplexity. Using BeNice!, we show that KV-sharing is complementary to alternative KV-compression methods, composing with memory-efficient sequence mixers (e.g., multi-latent attention, Kimi delta attention) and low-precision KV-cache quantization (e.g., fp8, mxfp8, nvfp4). Finally, in simulated low-memory, long-context inference, KV-sharing improves cache hit rates by up to 31.4%, increases throughput by up to 23.6%, and reduces p90 time-to-first-token by up to 83.6%.
• Abstract（参考訳）: ループアーキテクチャは、同じレイヤのブロックで繰り返しアクティベーションを渡すことでパラメータカウントを固定しながら、品質をスケールする。 推論中、各再発は独立したKV-cachesを生成し、メモリが線形に成長する。 この課題に対処するために、先行研究は KV-共有(すなわち、深さにわたって KV-キャッシュを共有する)を提案し、場合によっては、最終再発の KV-cache が品質損失のない初期の再発と共有可能であること、KV-shareability(KV-shareability)と表現する性質を見出した。 しかし、KV-Shareabilityの基礎となるメカニズムはいまだよく理解されておらず、同一に訓練されたループアーキテクチャでさえ一貫してそれを表現していない。 本稿では,ループモデルでKV共有性を実現する方法について検討する。 本稿では,2段階の手法を提案する。第1段階では,事前訓練中に確率的深度を用いて,繰り返しにまたがる共通極限に向けて表現を駆動する収縮的残留力学を誘導する。 第2段階では,最終再発のKV-cacheを第1繰り返しにブロードキャストするポストトレーニング手法BeNice!を提案し,元のモデルの品質を維持しつつ,互換性のある残留物を生成するように訓練する。 その結果、BeNice!は標準微調整の非共有バリデーションの難易度にマッチしながら、KV共有を可能にする。 BeNice!を用いて、KV-共有は、メモリ効率の良いシーケンスミキサー(例えば、マルチラテントアテンション、キミデルタアテンション)と低精度KV-cache量子化(例えば、fp8、mxfp8、nvfp4)を組み合わせた代替KV圧縮法と相補的であることを示す。 最後に、シミュレーションされた低メモリ、長期コンテキスト推論では、KV共有はキャッシュヒット率を最大31.4%改善し、スループットを最大23.6%向上し、p90のタイム・ツー・ファーストトークンを最大83.6%削減する。

関連論文リスト

• SlimKV: Joint Token-Feature KV Cache Compression with Reconstruction-Free Beacon Attention [5.878850231726241]
  SlimKV はトークン機能を持つ KV-cache 圧縮方式である。 遅延KV表現を用いて、長いコンテキストをビーコンメモリ状態に圧縮できることを示す。 LongBenchでは、SlimKVは16x/32x圧縮でベースラインを上回り、4x/8xでリードしている。
  論文  参考訳（メタデータ） (2026-10-02T07:45:42Z)
• One Size Does Not Fit All: Token-Wise Adaptive Compression for KV Cache [38.49582847975703]
  低ランクKVキャッシュ圧縮のための新しいポストトレーニングフレームワークDynaKVを提案する。 我々の手法は既存の最先端圧縮技術より一貫して優れています。 SnapKVと統合した場合、DynaKVはKVキャッシュの6%しか保持せず、LongBenchベンチマークのベースラインパフォーマンスの94%を維持している。
  論文  参考訳（メタデータ） (2026-02-03T13:20:36Z)
• CommonKV: Compressing KV Cache with Cross-layer Parameter Sharing [54.34080239841088]
  CommonKVは、隣接パラメータ共有による層間KVキャッシュ圧縮のトレーニング不要な方法である。 提案手法は,様々な圧縮比で既存の低ランクおよびクロスレイヤーの手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2025-08-22T06:55:45Z)
• Krul: Efficient State Restoration for Multi-turn Conversations with Dynamic Cross-layer KV Sharing [41.792908098945766]
  我々は,KVキャッシュの正確かつ効率的な復元を可能にするマルチターンLDM推論システムであるKrulを提案する。 Krulは、レイヤペア間の注目類似性に基づいて圧縮戦略を選択し、再計算ローディングパイプラインを使用してKVキャッシュを復元する。 タイム・ツー・ファースト・トケン(TTFT)の1.5x-2.68倍の削減、KVキャッシュストレージの1.33x-2.35倍の削減を実現している。
  論文  参考訳（メタデータ） (2025-07-10T01:51:17Z)
• R-KV: Redundancy-aware KV Cache Compression for Reasoning Models [77.84539432982307]
  共振モデル(R-KV)のための冗長性を考慮したKVキャッシュ圧縮を提案する。 R-KVはKVキャッシュの10%しか使用せず、完全なKVキャッシュ性能のほぼ100%を保っている。 驚くべきことに、R-KVは完全なKVキャッシュ性能の105%を達成し、KVキャッシュの16%を達成している。
  論文  参考訳（メタデータ） (2025-05-30T02:03:24Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)
• BaKlaVa -- Budgeted Allocation of KV cache for Long-context Inference [6.222836318380985]
  BaKlaVaは、モデル全体で個々のKVキャッシュに対して最適なメモリを割り当てる手法である。 LLaMA-3-8BモデルとQwen2.5-7Bモデルについて検討した。
  論文  参考訳（メタデータ） (2025-02-18T04:08:29Z)
• KVSharer: Efficient Inference via Layer-Wise Dissimilar KV Cache Sharing [58.29726147780976]
  我々は,層間をKVキャッシュで共有し,層間圧縮を実現する,textit KVSharerと呼ばれるプラグアンドプレイ方式を提案する。 実験の結果、textit KVSharerはKVキャッシュの計算を30%削減し、メモリ消費を削減できることがわかった。 我々は,textit KVSharerが既存の層内KVキャッシュ圧縮手法と互換性があることを検証する。
  論文  参考訳（メタデータ） (2024-10-24T08:06:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。