論文の概要: Shared-Prefix KV Reuse Across Standard LoRA Adapters: Quality and Serving Tradeoffs

• arxiv url: http://arxiv.org/abs/2609.17109v1
• Date: Tue, 15 Sep 2026 12:39:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.524997
• Title: Shared-Prefix KV Reuse Across Standard LoRA Adapters: Quality and Serving Tradeoffs
• Title（参考訳）: 標準 LoRA アダプタにおける共有プレフィックス KV の再利用 - 品質と実効性
• Abstract要約: 一般的なデプロイメントは、1つのバックボーンを実行し、複数のLoRAスペシャリストが同じコンテキストで答える。 専門家1人当たりのコンテキストを共有する、鼻で再用意する。 バックボーンのプリフィルKVキャッシュが一度計算され、専門家間で再利用された場合、どの程度のタスク品質が維持されるかを検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A common small-model deployment runs one shared backbone with several LoRA specialists that answer over the same context. Serving them naively re-prefills that shared context once per specialist. We study a narrow, practical question: for already-trained standard LoRA adapters -- not adapters retrained for cache compatibility -- how much task quality is preserved if the backbone's prefill KV cache is computed once and reused across specialists, and what does that buy in serving cost? On a Qwen3-1.7B backbone with two adapters (extractive QA on HotpotQA, arithmetic reasoning on GSM8K), we sweep the boundary at which the specialist takes over from the reused base cache and measure paired quality differences and serving cost. Full-prefix reuse had the lowest prefill cost and a small quality difference on held-out GSM8K (Delta = -4.6 EM at a 160-token budget; -3.0 at 320 tokens; -0.8 under a second training seed -- all favoring native, only the first excluding zero, and the magnitude not consistent). Partial recomputation provided no demonstrated advantage. Neither quality equivalence nor a general boundary-selection rule is established. We also report a closed-form ridge KV translator that did not beat direct reuse, and specialist-dependence contrasts whose intervals all include zero. The measured serving benefit is warm-cache time-to-first-token, which grows with context (~16x at 8K); two-branch peak memory was only 12% lower and, on inspection, the prefix was never physically shared across branches -- this implementation reuses KV values but copies their storage, so shared-cache memory savings are not achieved.
• Abstract（参考訳）: 一般的な小さなモデルデプロイメントでは、1つの共有バックボーンが動作し、複数のLoRAスペシャリストが同じコンテキストで回答する。 専門家1人1人当たりのコンテキストを共有する、鼻で再用意すること。 既にトレーニング済みの標準のLoRAアダプタ -- キャッシュ互換性のために再トレーニングされたアダプタではなく -- に対して、バックボーンのプリフィルKVキャッシュが一度計算され、専門家間で再利用された場合、どの程度のタスク品質が維持されるのか、そして、それがサービスコストにどのような価値をもたらすのか。 2つのアダプタを持つQwen3-1.7Bバックボーン(HotpotQAの抽出QA、GSM8Kの算術的推論)では、再利用ベースキャッシュからスペシャリストが引き継いだ境界線を網羅し、ペア品質差とサービスコストを計測する。 フルプレフィックスの再利用は、GSM8K(デルタ = -4.6 EM、トークン320枚で3.0枚、第2の訓練シードで0.8枚)で最低限のプリフィルコストと小さな品質差を持っていた。 部分再計算では、明らかな利点は得られなかった。 品質等価性も一般境界選択則も確立されていない。 また, 直接再利用に勝らない閉形リッジKVトランスレータを報告する。 2ブランチのピークメモリはわずか12%低く、検査ではプレフィックスはブランチ間で物理的に共有されることはなかった -- この実装はKV値を再利用するが、ストレージをコピーするので、共有キャッシュメモリの節約は達成されない。

関連論文リスト

• Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
  我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。 本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
  論文  参考訳（メタデータ） (2026-08-10T07:49:10Z)
• C$^2$KV: Compressed and Composable KV Cache Reuse for Efficient LLM Inference [31.428047145437773]
  長文推論は、検索拡張生成やマルチドキュメント推論といった現代の大規模言語モデル(LLM)アプリケーションの中心である。 推論コストの増大を軽減するため、最近の研究では、余分なプリフィル計算を減らすためにキー値(KV)キャッシュの再利用を検討した。 既存の再利用手法は主に保存に重点を置いており、KVキャッシュの保存とアクセスのコストという長期的サービスにおける重要なボトルネックを見落としている。
  論文  参考訳（メタデータ） (2026-07-20T09:09:23Z)
• VarRate: Training-Free Variable-Rate KV Cache Compression for Long-Context LLMs [7.825137277264239]
  キーバリューキャッシュは、Long-context Large Language Model(LLM)推論における主要なメモリボトルネックである。 VarRateはトレーニング不要のKVで、クエリサリエンスによって各トークンに可変低ランクの予算を割り当て、すべてのトークンを非ゼロランクに保つ。 VarRateは4つの設定のうち3つで精度が同等で、全体の1ポイント以内で、プリフィルオーバーヘッドの約8分の1である。
  論文  参考訳（メタデータ） (2026-07-16T23:03:14Z)
• Kamera: Unified Position-Invariant Multimodal KV Cache for Training-Free Reuse [1.081571058570587]
  マルチモーダルエージェントは、同じビデオフレーム、UIスクリーンショット、アーティファクトをコンテキストウィンドウスライドとして再検査する。 この再計算は回避可能であることを示すとともに,KV再利用が損なうものを特定する。 したがって、ブラインドはシングルホップのリコールをそのまま残し、マルチホップの精度を半減させる。 トレーニング不要な低ランク条件パッチを各位置のないチャンクに格納して修復する。
  論文  参考訳（メタデータ） (2026-06-22T16:47:00Z)
• GRKV: Global Regression for Training-Free KV Cache Compression in Long-Context LLMs [97.36238579001544]
  コンテキスト長が拡張された大規模言語モデル(LLM)は、キー値(KV)キャッシュに依存して、以前のトークンに対する注意をサポートする。 KVキャッシュを維持することは、KVキャッシュ圧縮メソッドを動機付け、かなりのメモリオーバーヘッドを引き起こす。 GRKVは,圧縮キャッシュとフルキャッシュのアテンション出力の差を直接最小化する,トレーニング不要なKV-cacheマージ手法である。
  論文  参考訳（メタデータ） (2026-05-29T10:16:30Z)
• SelKV: Selective KV Cache Merging with Per-Token Merge-or-Drop and Attention Compensation [0.0]
  大規模言語モデルは、メモリフットプリントがコンテキスト長とともに線形に増加するキー値(KV)キャッシュに依存して、テキストを自動回帰的に生成する。 最近の圧縮法はトークンマージによるコストを軽減している。 これらの制約に対処するKVキャッシュ圧縮のためのトレーニングフリーでデュアルコンポーネントのフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-19T17:44:56Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• Kwai Summary Attention Technical Report [69.40814939510126]
  長文の能力は、次世代の大規模言語モデルの最も重要な方向性の1つになっている。 標準ソフトマックスアテンションは、シーケンスの長さに関して2次時間複雑性を示す。 歴史的文脈を圧縮することでシーケンスモデリングコストを削減する新しいアテンションメカニズムであるKwai Summary Attention (KSA)を提案する。
  論文  参考訳（メタデータ） (2026-04-27T12:59:53Z)
• KV Packet: Recomputation-Free Context-Independent KV Caching for LLMs [11.980880525012056]
  大規模言語モデルは、推論遅延を最小限に抑えるためにキーバリュー(KV)キャッシングに大きく依存する。 CacheBlend、EPIC、SAM-KVといった既存のソリューションは、トークンのサブセットを選択的に再計算することでこの問題を軽減する。 我々は,KV Packetを提案する。KV Packetは,キャッシュされた文書を,軽量なトレーニング可能なソフトトーケンアダプタでラップした不変パケットとして扱う,再計算不要なキャッシュ再利用フレームワークである。
  論文  参考訳（メタデータ） (2026-04-14T18:50:47Z)
• R-KV: Redundancy-aware KV Cache Compression for Reasoning Models [77.84539432982307]
  共振モデル(R-KV)のための冗長性を考慮したKVキャッシュ圧縮を提案する。 R-KVはKVキャッシュの10%しか使用せず、完全なKVキャッシュ性能のほぼ100%を保っている。 驚くべきことに、R-KVは完全なKVキャッシュ性能の105%を達成し、KVキャッシュの16%を達成している。
  論文  参考訳（メタデータ） (2025-05-30T02:03:24Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。