論文の概要: LoMA: Lossless Compressed Memory Attention
- arxiv url: http://arxiv.org/abs/2401.09486v1
- Date: Tue, 16 Jan 2024 09:18:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-19 19:10:36.705416
- Title: LoMA: Lossless Compressed Memory Attention
- Title（参考訳）: LoMA: ロスレス圧縮メモリ注意
- Authors: Yumeng Wang, Zhenyang Xiao
- Abstract要約: Lossless Compressed Memory Attention (LoMA)
我々の実験は、LoMAを効率的に訓練し、非常に効果的な性能を持つことを実証し、目覚ましい結果を得た。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The ability to handle long texts is one of the most important capabilities of
Large Language Models (LLMs), but as the text length increases, the consumption
of resources also increases dramatically. At present, reducing resource
consumption by compressing the KV cache is a common approach. Although there
are many existing compression methods, they share a common drawback: the
compression is not lossless. That is, information is inevitably lost during the
compression process. If the compression rate is high, the probability of losing
important information increases dramatically. We propose a new method, Lossless
Compressed Memory Attention (LoMA), which allows for lossless compression of
information into special memory token KV pairs according to a set compression
ratio. Our experiments have achieved remarkable results, demonstrating that
LoMA can be efficiently trained and has very effective performance.
- Abstract（参考訳）: 長いテキストを扱う能力は、Large Language Models (LLMs) の最も重要な機能のひとつだが、テキストの長さが大きくなるにつれて、リソースの消費も劇的に増加する。
現在、KVキャッシュの圧縮によるリソース消費の削減が一般的である。
既存の圧縮方法は数多く存在するが、共通の欠点を共有している: 圧縮はロスレスではない。
すなわち、圧縮処理中に必然的に情報が失われる。
圧縮率が高ければ、重要な情報を失う確率は劇的に増加する。
本研究では,設定した圧縮比に応じて,特殊メモリトークンkv対への情報のロスレス圧縮を可能にする新しい手法であるロスレス圧縮メモリアテンション(loma)を提案する。
我々の実験は、LoMAを効率的に訓練し、非常に効果的な性能を持つことを実証し、目覚ましい結果を得た。
関連論文リスト
- KVSharer: Efficient Inference via Layer-Wise Dissimilar KV Cache Sharing [58.29726147780976]
我々は,層間をKVキャッシュで共有し,層間圧縮を実現する,textit KVSharerと呼ばれるプラグアンドプレイ方式を提案する。
実験の結果、textit KVSharerはKVキャッシュの計算を30%削減し、メモリ消費を削減できることがわかった。
我々は,textit KVSharerが既存の層内KVキャッシュ圧縮手法と互換性があることを検証する。
論文 参考訳（メタデータ） (2024-10-24T08:06:41Z) - LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。
この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。
そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。
本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
論文 参考訳（メタデータ） (2024-10-04T03:10:53Z) - ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。
本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。
我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
論文 参考訳（メタデータ） (2024-07-30T17:59:08Z) - Effectively Compress KV Heads for LLM [28.0801697946958]
キーバリュー(KV)キャッシュを圧縮する新しい手法を提案する。
提案手法は,従来のLLMに匹敵する性能を維持しつつ,KVヘッドの4分の1以上を圧縮することができる。
論文 参考訳（メタデータ） (2024-06-11T08:37:33Z) - ZipCache: Accurate and Efficient KV Cache Quantization with Salient Token Identification [19.985314022860432]
KVキャッシュは、再計算を避けるために、以前のトークンからキーと値の状態を格納する。
KVキャッシュ圧縮はトークンの正当性を識別し、重要でないトークンを積極的に圧縮しながら重要な情報を保存する。
LLMの高精度かつ効率的なKVキャッシュ量子化手法ZipCacheを提案する。
論文 参考訳（メタデータ） (2024-05-23T07:37:16Z) - Unlocking Data-free Low-bit Quantization with Matrix Decomposition for KV Cache Compression [87.5604418100301]
キー値(KV)キャッシングは,大規模言語モデルの推論を高速化する重要な手法である。
既存の手法はしばしば精度を損なうか、キャリブレーションのために余分なデータを必要とする。
テンソル分解法に基づく新しいデータフリー低ビット量子化手法である textbfDecoQuant を導入する。
論文 参考訳（メタデータ） (2024-05-21T08:35:10Z) - PyramidInfer: Pyramid KV Cache Compression for High-throughput LLM Inference [57.53291046180288]
大規模言語モデル(LLM)は、目覚ましい理解能力を示しているが、推論中のGPUメモリ使用の課題に直面している。
本稿では,KVキャッシュを重要なコンテキストを階層的に保持することで圧縮するPraamidInferを提案する。
PyramidInferは、KVキャッシュで54%以上のGPUメモリを削減したAccelerateと比較して、2.2倍のスループットを改善している。
論文 参考訳（メタデータ） (2024-05-21T06:46:37Z) - Dynamic Memory Compression: Retrofitting LLMs for Accelerated Inference [1.9639467358416092]
トランスフォーマーは、大きな言語モデル(LLM)のバックボーンとして登場した。
本稿では,動的メモリ圧縮(DMC)を提案する。
Llama 2 (7B, 13B, 70B) などの事前学習 LLM を DMC トランスフォーマーに適合させ,NVIDIA H100 GPU 上での自己回帰推論で最大 7 倍のスループット向上を実現した。
論文 参考訳（メタデータ） (2024-03-14T17:59:26Z) - Neural Network Compression for Noisy Storage Devices [71.4102472611862]
従来、モデル圧縮と物理ストレージは分離される。
このアプローチでは、ストレージは圧縮されたモデルの各ビットを等しく扱い、各ビットに同じ量のリソースを割り当てるように強制される。
i) 各メモリセルの容量を最大化するためにアナログメモリを使用し, (ii) モデル圧縮と物理ストレージを共同で最適化し, メモリの有用性を最大化する。
論文 参考訳（メタデータ） (2021-02-15T18:19:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。