論文の概要: KV-streams for Efficient Compaction in Agentic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.35750v2
• Date: Tue, 29 Sep 2026 17:52:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.842342
• Title: KV-streams for Efficient Compaction in Agentic Reinforcement Learning
• Title（参考訳）: エージェント強化学習における効率的な圧縮のためのKVストリーム
• Abstract要約: 我々は,任意のコンパクト化戦略に適合するプラグアンドプレイ戦略であるKVストリームを提案する。 KVストリームは、各圧縮後にKVキャッシュをフラッシュするのではなく、KVキャッシュを前方にストリーミングすることで、スケーラブルな圧縮を可能にする。 KVストリームは,トレーニングにおいて2.6～5倍のウォールクロックスピードアップを達成し,3つの異なる圧縮戦略を実現する。
• 参考スコア（独自算出の注目度）: 66.24807970005592
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scaling the horizon of agentic LLMs is bottlenecked by the need to fit ever longer context traces in GPU memory. Context compaction has been the most popular mechanism to alleviate this issue, keeping GPU memory constant for a given trace. Unfortunately, most compaction strategies rely on prefilling the LLM context many times over, hindering training throughput. To alleviate this bottleneck and enable efficient trainable compaction, we propose KV-streams, a plug-and-play strategy compatible with any compaction strategy that substantially increases throughput while showing no evidence of hindering performance. KV-streams enable scalable compaction by streaming the KV cache forward rather than flushing it after each compaction. We show that KV-streams enable three different compaction strategies, achieving a 2.6 to 5x wall-clock speedup in training. Beyond efficiency, we find that the streamed KV cache can act as a recurrent state, carrying forward information that has long since disappeared from the context. Specifically, in a controlled setting we show that, contrary to prior work, RL alone is all that is needed for this behavior to emerge. Overall, we show KV-streams to be an efficient and lightweight plug-and-play addition to any post-training pipeline.
• Abstract（参考訳）: エージェントLLMの水平方向のスケーリングは、より長いコンテキストトレースをGPUメモリに適合させる必要性によってボトルネックとなる。 コンテキスト圧縮はこの問題を軽減する最も一般的なメカニズムであり、与えられたトレースに対してGPUメモリを一定に保つ。 残念ながら、ほとんどのコンパクト化戦略はLLMコンテキストを何度も準備することに依存しており、トレーニングのスループットを妨げている。 このボトルネックを緩和し、効率的なトレーニング可能なコンパクト化を実現するため、我々はKVストリーム(KV-streams)を提案する。 KVストリームは、各圧縮後にKVキャッシュをフラッシュするのではなく、KVキャッシュを前方にストリーミングすることで、スケーラブルな圧縮を可能にする。 KVストリームは,トレーニングにおいて2.6～5倍のウォールクロックスピードアップを達成し,3つの異なる圧縮戦略を実現する。 効率性以外にも、ストリームされたKVキャッシュがリカレントな状態として機能し、コンテキストから姿を消した長い情報を運ぶことができる。 具体的には、制御された環境では、以前の作業とは対照的に、RLだけは、この振る舞いが現れるのに必要なものなのです。 全体として、KVストリームは、トレーニング後のパイプラインに対して、効率的で軽量なプラグイン・アンド・プレイの追加であることを示す。

関連論文リスト

• Efficient Remote Prefix Fetching with GPU-native Media ASICs [15.991394335072547]
  リモートKVキャッシュの再利用は、リモートストレージから同じコンテキストのKVキャッシュを取得する。 近年の研究では、KVキャッシュを圧縮形式で送信することでこの問題に対処している。 我々は,GPUネイティブなビデオコーデックを活用する,効率的で広くデプロイ可能なリモートKVキャッシュ再利用ソリューションを提案する。
  論文  参考訳（メタデータ） (2026-02-10T12:29:02Z)
• DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
  そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。 DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。 実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
  論文  参考訳（メタデータ） (2026-02-08T15:14:36Z)
• Fast KVzip: Efficient and Accurate LLM Inference with Gated KV Eviction [50.99402504483692]
  凍結重み付き言語モデルのための新しいゲーティングベースのKVキャッシュ消去手法を提案する。 私たちのアプローチは、プリフィルとデコードの両方の段階にシームレスに統合されます。 実験の結果,KVキャッシュの最大70%を除去しながら,ほぼ無作為な性能を維持していることがわかった。
  論文  参考訳（メタデータ） (2026-01-25T03:07:54Z)
• StreamKV: Streaming Video Question-Answering with Segment-based KV Cache Retrieval and Compression [95.59657871147846]
  我々は,ビデオLLMと高度なKVキャッシュの検索と圧縮をシームレスに行うフレームワークである textbfStreamKV を提案する。 公開StreamingVQAベンチマークの実験では、StreamKVが既存のオンラインビデオ-LLMを著しく上回っていることが示されている。
  論文  参考訳（メタデータ） (2025-11-10T16:25:03Z)
• SparK: Query-Aware Unstructured Sparsity with Recoverable KV Cache Channel Pruning [33.149133156465474]
  大規模言語モデルにおける長文推論は、KVキャッシュのボトルネックによってますます制限される。 チャネルレベルでKVをプルーニングすることで、非構造化空間を適用できる訓練不要なプラグアンドプレイ手法であるSPARKを提案する。 SPARKはチャネルレベルの冗長性を低減し、同じメモリ予算内で長いシーケンスの処理を可能にする。
  論文  参考訳（メタデータ） (2025-08-21T03:48:28Z)
• TailorKV: A Hybrid Framework for Long-Context Inference via Tailored KV Cache Optimization [21.229296254354878]
  生成型大規模言語モデル(LLM)におけるキーバリューキャッシュは、かなりのメモリオーバーヘッドをもたらす。 既存の作業は、KVキャッシュをオフロードまたは圧縮することで、この負担を軽減する。 本稿では,量子化とオフロードをシームレスに統合するハイブリッド圧縮手法であるTailorKVを提案する。
  論文  参考訳（メタデータ） (2025-05-26T07:00:04Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。