論文の概要: CalibQuant: 1-Bit KV Cache Quantization for Multimodal LLMs

• arxiv url: http://arxiv.org/abs/2502.14882v2
• Date: Mon, 24 Mar 2025 23:47:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 20:13:56.687155
• Title: CalibQuant: 1-Bit KV Cache Quantization for Multimodal LLMs
• Title（参考訳）: CalibQuant:マルチモーダルLCMのための1ビットKVキャッシュ量子化
• Authors: Insu Han, Zeliang Zhang, Zhiyuan Wang, Yifan Zhu, Susan Liang, Jiani Liu, Haiting Lin, Mingjie Zhao, Chenliang Xu, Kun Wan, Wentian Zhao,
• Abstract要約: CalibQuantは、メモリと計算オーバーヘッドの両方を大幅に削減する、視覚的な量子化戦略である。 InternVLモデルのスループットは10倍に向上する。
• 参考スコア（独自算出の注目度）: 45.77132019859689
• License:
• Abstract: Multimodal Large Language Models (MLLMs) have demonstrated remarkable performance across diverse applications. However, their computational overhead during deployment remains a critical bottleneck. While Key-Value (KV) caching effectively trades memory for computation to enhance inference efficiency, the growing memory footprint from extensive KV caches significantly reduces throughput and restricts prolonged deployment on memory-constrained GPU devices. To address this challenge, we propose CalibQuant, a simple yet highly effective visual quantization strategy that drastically reduces both memory and computational overhead. Specifically, CalibQuant introduces an extreme 1-bit quantization scheme, complemented by novel post-scaling and calibration techniques tailored to the intrinsic patterns of KV caches, thereby ensuring high efficiency without compromising model performance. Leveraging Triton for runtime optimization, we achieve a 10x throughput increase on InternVL models. Our method is designed to be plug-and-play, seamlessly integrating with various existing MLLMs without requiring architectural changes. Extensive experiments confirm that our approach significantly reduces memory usage while maintaining computational efficiency and preserving multimodal capabilities. Codes are available at https://github.com/insuhan/calibquant.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、様々なアプリケーションで顕著な性能を示す。 しかしながら、デプロイメント中の計算オーバーヘッドは依然として重大なボトルネックである。 Key-Value(KV)キャッシュは、推論効率を向上させるために、計算のためにメモリを効果的に交換するが、広範なKVキャッシュからのメモリフットプリントの増加は、スループットを著しく低下させ、メモリ制限されたGPUデバイスへの長時間のデプロイメントを制限する。 この課題に対処するため、我々は、メモリと計算オーバーヘッドの両方を大幅に削減するシンプルで高効率なビジュアル量子化戦略であるCalibQuantを提案する。 特にCalibQuantは、KVキャッシュの固有のパターンに合わせて、新しいポストスケーリングとキャリブレーション技術によって補完される極端な1ビット量子化方式を導入し、モデル性能を損なうことなく高い効率を確保する。 ランタイム最適化にTritonを活用することで,InternVLモデルのスループットを10倍に向上する。 本手法は,アーキテクチャ変更を必要とせず,既存のMLLMとシームレスに統合されたプラグイン・アンド・プレイが可能なように設計されている。 大規模な実験により,計算効率を保ち,マルチモーダル能力を保ちながら,メモリ使用量を大幅に削減できることが確認された。 コードはhttps://github.com/insuhan/calibquant.comで入手できる。

関連論文リスト

• CSR:Achieving 1 Bit Key-Value Cache via Sparse Representation [63.65323577445951]
  キャッシュスパース表現(CSR)と呼ばれる新しい手法を提案する。 CSRは、密度の高いKey-Valueキャッシュテンソルをスパースインデックスとウェイトに変換し、LLM推論中によりメモリ効率のよい表現を提供する。 我々の実験は、CSRが最先端KVキャッシュ量子化アルゴリズムに匹敵する性能を達成することを示した。
  論文  参考訳（メタデータ） (2024-12-16T13:01:53Z)
• XKV: Personalized KV Cache Memory Reduction for Long-Context LLM Inference [9.65524177141491]
  大規模言語モデル(LLM)推論は出力トークンを1つずつ生成し、多くの冗長な計算に繋がる。 KV-Cacheフレームワークは時間と空間の複雑さを妥協する。 既存の研究では、推論精度に重要でないキャッシュデータの一部を削除することで、メモリ消費を減らすことができる。 各レイヤのキャッシュサイズをパーソナライズしてカスタマイズすることで,メモリの大幅な削減が期待できることを示す。
  論文  参考訳（メタデータ） (2024-12-08T11:32:08Z)
• A Method for Building Large Language Models with Predefined KV Cache Capacity [11.710667043543545]
  境界キャッシュ変換器(BCT)は、従来のKVキャッシュの過剰なメモリ消費問題に対処する。 キー値ベクトル列を動的に更新することにより、BCTは限られたキャッシュ容量内で効率的な推論を実現する。 実験の結果,BCTは推論品質を維持しながらメモリ使用量を大幅に削減することがわかった。
  論文  参考訳（メタデータ） (2024-11-24T11:30:00Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• CORM: Cache Optimization with Recent Message for Large Language Model Inference [57.109354287786154]
  メモリフットプリントを大幅に最小化するKVキャッシュを最適化する革新的な手法を提案する。 KVキャッシュ消去ポリシーであるCORMは、モデル微調整を必要とせずに、推論に必要なキーと値のペアを動的に保持する。 検証の結果,CORMはKVキャッシュの推論メモリ使用量を最大70%削減し,LongBenchの6つのタスクで性能劣化を無視できることがわかった。
  論文  参考訳（メタデータ） (2024-04-24T16:11:54Z)
• WKVQuant: Quantizing Weight and Key/Value Cache for Large Language Models Gains More [55.0856305773081]
  大規模言語モデル (LLM) は、そのメモリ要求と自動回帰テキスト生成プロセスの計算要求のために、重要なデプロイメント課題に直面している。 本稿では、モデルパラメータとアクティベーションを低ビット整数に変換することでメモリ消費を低減する手法であるLCMの量子化に着目し、これらの課題に対処する。
  論文  参考訳（メタデータ） (2024-02-19T11:33:21Z)
• Get More with LESS: Synthesizing Recurrence with KV Cache Compression for Efficient LLM Inference [78.65321721142624]
  我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。 既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。 本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
  論文  参考訳（メタデータ） (2024-02-14T18:54:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。