論文の概要: KV4-RL: Unlocking Faster Asynchronous Rollouts for RLVR with INT4 KV Cache Quantization

• arxiv url: http://arxiv.org/abs/2610.14448v1
• Date: Sat, 10 Oct 2026 01:24:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.050436
• Title: KV4-RL: Unlocking Faster Asynchronous Rollouts for RLVR with INT4 KV Cache Quantization
• Title（参考訳）: KV4-RL:INT4 KVキャッシュ量子化によるRLVR用高速非同期ロールアウトの解錠
• Abstract要約: 非同期ロールアウトは、長期発生時の低利用率を低減し、検証可能な報酬(RLVR)による強化学習の効率を向上させる。 我々はこの速度KV濃度を特徴付け、KVキャッシュの量子化は重量のみの量子化や重量活性化の量子化よりも大幅に加速することを示した。 我々は、キャリブレーションのないINT4 KV量子化と、注目シンクの選択的INT8保護と最近の文脈を組み合わせたemph KV4-RLを提案する。
• 参考スコア（独自算出の注目度）: 39.39959651694352
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Asynchronous rollout improves the efficiency of reinforcement learning with verifiable rewards (RLVR) by reducing under-utilization during long-tail generation. Sustained concurrency also concentrates context processing into fewer decode steps, increasing the KV workload per step. We characterize this \emph{KV concentration} and find that KV cache quantization delivers substantially greater acceleration than weight-only and weight-activation quantization in our matched-workload comparisons. However, INT4 KV rollout can degrade learning even with token-level truncated importance sampling (TIS). We propose \emph{KV4-RL}, which combines calibration-free INT4 KV quantization with selective INT8 protection of attention sinks and recent context. Protecting a bounded number of positions reduces sampler mismatch while retaining most of the speedup from INT4. Across 400 iterations of Qwen3-8B-Base GRPO training, KV4-RL achieves $1.80\times$ cumulative rollout speedup and $1.27\times$ cumulative full-iteration speedup over BF16 rollout, reaching $1.97\times$ rollout speedup over the final 50 iterations. Under a common BF16 evaluator, its final six-benchmark mean accuracy is within 0.5 percentage points of BF16-rollout training for both Qwen3-4B-Base and Qwen3-8B-Base.
• Abstract（参考訳）: 非同期ロールアウトは、長期発生時の低利用率を低減し、検証可能な報酬(RLVR)による強化学習の効率を向上させる。 持続並行処理はまた、コンテキスト処理を最小のデコードステップに集中させ、ステップ毎のKVワークロードを増加させる。 我々はこの「emph{KV concentration}」を特徴づけ、KVキャッシュの量子化は、一致したワークロードの比較において、重量のみの量子化と重量活性化の量子化よりもはるかに大きな加速をもたらすことを発見した。 しかし、INT4 KVのロールアウトはトークンレベルのトランケートされた重要度サンプリング(TIS)であっても学習を劣化させることができる。 キャリブレーションのないINT4 KV量子化と、注目シンクの選択的INT8保護と、最近のコンテキストを組み合わせた「emph{KV4-RL}」を提案する。 境界数を保護することでサンプルミスマッチが減少し、INT4のスピードアップの大半を維持できる。 Qwen3-8B-Base GRPOトレーニングの400回にわたって、KV4-RLは累積ロールアウトスピードアップで1.80\times$累積ロールアウトスピードアップと1.27\times$BF16ロールアウトで1.97\times$最終50回で1.97\times$ロールアウトスピードアップを達成した。 一般的なBF16評価器では、最終6ベンチマーク平均精度はQwen3-4BベースとQwen3-8Bベースの両方のBF16ロールアウトトレーニングの0.5パーセント以内である。

関連論文リスト

• CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
  ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。 Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
  論文  参考訳（メタデータ） (2026-08-31T06:02:37Z)
• Scheduling Mixed RL Rollouts Beyond Prefix Locality [36.380117619423416]
  MISA-T(MISA-T)について述べる。 MISA-Tはキャッシュ対応のvLLMルータのロールアウトスループットを,それぞれ53.3%,43.6%向上した。 また、消費されるワークロードをトレーナーの目標に近づけ、同等のタスクスコアを達成しながら、平均時間を22.8%短縮する。
  論文  参考訳（メタデータ） (2026-08-11T17:10:50Z)
• BudgetDraft: Acceptance-Aware Multi-View Training for Sparse-KV Speculative Decoding [7.193143482416172]
  BudgetDraftは、中間から長期の推論においてスパースドラフトのトレーニング方法である。 BudgetDraftは、最大6.55倍、4.46倍、2.10倍のエンドツーエンドのスピードアップを、4K、8K、16Kのコンテキスト長で達成している。
  論文  参考訳（メタデータ） (2026-05-29T02:31:18Z)
• SAW-INT4: System-Aware 4-Bit KV-Cache Quantization for Real-World LLM Serving [42.268254679163725]
  KV-cacheは、現実世界のLLMサービスにおける主要なボトルネックである。 多くのKV-cache圧縮法は実用的なサービス制約に違反している。 我々は、ページ化されたKV-cacheレイアウトに直接統合する融合回転量子化カーネルを実装した。
  論文  参考訳（メタデータ） (2026-04-21T07:12:23Z)
• PatternKV: Flattening KV Representation Expands Quantization Headroom [37.83913102876393]
  自己回帰 LLM における KV キャッシュは冗長な再計算を排除しているが、推論時に支配的なメモリと帯域幅のボトルネックとして出現している。 KV量子化はキャッシュコストを削減するキーレバーであるが、ネイティブなKV分布が平坦性に欠けるため、精度は急激に低下する。 Kキャッシュは、コンテキストとともに徐々に進化する安定した構造を維持し、Vキャッシュは潜在意味規則性を持つことを示す。
  論文  参考訳（メタデータ） (2025-10-05T12:09:14Z)
• R-KV: Redundancy-aware KV Cache Compression for Reasoning Models [77.84539432982307]
  共振モデル(R-KV)のための冗長性を考慮したKVキャッシュ圧縮を提案する。 R-KVはKVキャッシュの10%しか使用せず、完全なKVキャッシュ性能のほぼ100%を保っている。 驚くべきことに、R-KVは完全なKVキャッシュ性能の105%を達成し、KVキャッシュの16%を達成している。
  論文  参考訳（メタデータ） (2025-05-30T02:03:24Z)
• KVShare: An LLM Service System with Efficient and Effective Multi-Tenant KV Cache Reuse [17.301289617498448]
  マルチテナントシナリオ下で要求間でKVキャッシュを共有するKVキャッシュ管理モジュールを提案する。 KVShareはTTFTを最大9.39倍に削減し、完全なKV再計算に比べてスループットを1.2倍に向上させる。 KVShareはSOTA法に比べて精度が20.38%向上している。
  論文  参考訳（メタデータ） (2025-03-17T16:43:35Z)
• KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization [67.74400574357472]
  LLMは、大きなコンテキストウィンドウを必要とするアプリケーションでの利用が増えており、この大きなコンテキストウィンドウでは、KVキャッシュのアクティベーションが推論時のメモリ消費の主要な要因として表面化している。 量子化はKVキャッシュのアクティベーションを圧縮する上で有望な手法であるが、既存のソリューションは4ビット以下の精度でアクティベーションを正確に表現できない。 我々の研究であるKVQuantは、いくつかの新しい手法を取り入れることで、低精度のKVキャッシュ量子化を容易にする。
  論文  参考訳（メタデータ） (2024-01-31T18:58:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。