論文の概要: MILO: Efficient Many-shot In-Context Learning with Block-wise Low-rank Compression

• arxiv url: http://arxiv.org/abs/2609.29913v1
• Date: Thu, 24 Sep 2026 14:52:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:10.030377
• Title: MILO: Efficient Many-shot In-Context Learning with Block-wise Low-rank Compression
• Title（参考訳）: MILO:ブロックワイド低ランク圧縮を用いたマルチショットインコンテキスト学習
• Abstract要約: many-shot in-context learning (ICL)は、大規模な言語モデルで、何千もの実演例を条件にすることで、複雑なタスクに適応することができる。 KVキャッシュの線形スケーリング挙動のため、これらの中間テンソルを格納することは、オンラインサービスとオンデバイスデプロイメントの両方において、最重要課題となっている。 マルチショット・コンテキストに固有の低ランク冗長性を利用する新しい圧縮フレームワークMILOを提案する。
• 参考スコア（独自算出の注目度）: 7.278937528266236
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many-shot in-context learning (ICL) enables large language models (LLMs) to adapt to complex tasks by conditioning on thousands of demonstration examples, but this paradigm shifts the inference efficiency bottleneck to the key-value (KV) cache memory. Due to the linear scaling behavior of the KV cache, storing these intermediate tensors has become a paramount challenge for both online serving and on-device deployment. To address this issue, we propose a novel compression framework, termed MILO, that exploits the low-rank redundancy inherent in many-shot contexts. Specifically, MILO features a block-wise low-rank compression strategy that compresses the KV cache at the block granularity, where each block contains multiple many-shot examples. Furthermore, to handle the heterogeneous context density across different blocks, MILO dynamically allocates rank budgets based on the information entropy, preserving the fidelity of critical blocks while aggressively compressing redundant ones. Experimental results on Qwen2.5 models demonstrate that our method achieves up to 50% reduction in KV cache memory and 1.8x throughput improvement, with negligible performance degradation on classification and reasoning benchmarks, significantly outperforming prior baselines.
• Abstract（参考訳）: many-shot in-context learning (ICL)は、数千の実例を条件に、大規模な言語モデル(LLM)が複雑なタスクに適応することを可能にするが、このパラダイムは、推論効率のボトルネックをキー値(KV)キャッシュメモリにシフトさせる。 KVキャッシュの線形スケーリング挙動のため、これらの中間テンソルを格納することは、オンラインサービスとオンデバイスデプロイメントの両方において、最重要課題となっている。 この問題に対処するために,マルチショット・コンテキストに固有の低ランク冗長性を利用する,MILOと呼ばれる新しい圧縮フレームワークを提案する。 特に、MILOはブロック単位の低ランク圧縮戦略を特徴とし、ブロック粒度でKVキャッシュを圧縮する。 さらに、異なるブロック間での不均一なコンテキスト密度を処理するために、MILOは情報エントロピーに基づいてランク予算を動的に割り当て、重要なブロックの忠実さを保ちながら、冗長なブロックを積極的に圧縮する。 Qwen2.5モデルに対する実験結果から,KVキャッシュメモリの最大50%削減と1.8倍スループット向上を実現し,分類および推論ベンチマークの性能劣化を無視し,従来よりも大幅に向上したことが示された。

関連論文リスト

• XQuant: Achieving Ultra-Low Bit KV Cache Quantization with Cross-Layer Compression [54.28208936996186]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにまたがる顕著な機能を示している。 量子化は、歴史的情報を保持しながらメモリ消費を減らすための有望な解決策として現れてきた。 超低等価ビット幅KVキャッシュ量子化を実現するトレーニングフリーでプラグアンドプレイのフレームワークであるXQuantを提案する。
  論文  参考訳（メタデータ） (2025-10-13T10:17:21Z)
• ZSMerge: Zero-Shot KV Cache Compression for Memory-Efficient Long-Context LLMs [15.76582272387931]
  本稿では,効率的なキャッシュ管理のための動的KVキャッシュ圧縮フレームワークZSMergeを提案する。 ZSMergeはメモリ効率と推論速度を無視可能な性能劣化で著しく向上させる。
  論文  参考訳（メタデータ） (2025-03-13T03:36:03Z)
• ChunkKV: Semantic-Preserving KV Cache Compression for Efficient Long-Context LLM Inference [61.412894960600205]
  大きな言語モデル(LLM)は、長いテキストを処理する際に大きなGPUメモリを必要とする。 ChunkKVは、セマンティックチャンクを基本的な圧縮単位として扱うことで、KVキャッシュ圧縮を再定義する。 結果: ChunkKVは最先端の手法を最大8.7%精度で上回る。
  論文  参考訳（メタデータ） (2025-02-01T03:49:47Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。