論文の概要: RetrievalAttention: Accelerating Long-Context LLM Inference via Vector Retrieval
- arxiv url: http://arxiv.org/abs/2409.10516v1
- Date: Mon, 16 Sep 2024 17:59:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-17 14:38:40.435959
- Title: RetrievalAttention: Accelerating Long-Context LLM Inference via Vector Retrieval
- Title（参考訳）: RetrievalAttention: Vector Retrievalによる長期LLM推論の高速化
- Authors: Di Liu, Meng Chen, Baotong Lu, Huiqiang Jiang, Zhenhua Han, Qianxi Zhang, Qi Chen, Chengruidong Zhang, Bailu Ding, Kai Zhang, Chen Chen, Fan Yang, Yuqing Yang, Lili Qiu,
- Abstract要約: 本稿では,注意計算を高速化するトレーニング不要な手法であるRetrievalAttentionを提案する。
RetrievalAttentionは、注意の動的スパース特性を活用するために、CPUメモリ内のKVベクトルに近接する近接探索(ANNS)インデックスを構築する。
RetrievalAttentionはまず、ANNSに基づく注意のOODチャレンジを特定し、注意を意識したベクトルサーチアルゴリズムによって対処する。
- 参考スコア（独自算出の注目度）: 24.472784635757016
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer-based large Language Models (LLMs) become increasingly important in various domains. However, the quadratic time complexity of attention operation poses a significant challenge for scaling to longer contexts due to the extremely high inference latency and GPU memory consumption for caching key-value (KV) vectors. This paper proposes RetrievalAttention, a training-free approach to accelerate attention computation. To leverage the dynamic sparse property of attention, RetrievalAttention builds approximate nearest neighbor search (ANNS) indexes upon KV vectors in CPU memory and retrieves the most relevant ones via vector search during generation. Due to the out-of-distribution (OOD) between query vectors and key vectors, off-the-shelf ANNS indexes still need to scan O(N) (usually 30% of all keys) data for accurate retrieval, which fails to exploit the high sparsity. RetrievalAttention first identifies the OOD challenge of ANNS-based attention, and addresses it via an attention-aware vector search algorithm that can adapt to queries and only access 1--3% of data, thus achieving a sub-linear time complexity. RetrievalAttention greatly reduces the inference cost of long-context LLM with much lower GPU memory requirements while maintaining the model accuracy. Especially, RetrievalAttention only needs 16GB GPU memory for serving 128K tokens in LLMs with 8B parameters, which is capable of generating one token in 0.188 seconds on a single NVIDIA RTX4090 (24GB).
- Abstract（参考訳）: トランスフォーマーベースの大規模言語モデル(LLM)は、様々な領域においてますます重要になっている。
しかしながら、注意操作の二次的時間複雑性は、キー値(KV)ベクトルをキャッシュするための非常に高い推論遅延とGPUメモリ消費のために、より長いコンテキストにスケールする上で大きな課題となる。
本稿では,注意計算を高速化するトレーニング不要な手法であるRetrievalAttentionを提案する。
RetrievalAttentionは、注意の動的スパース特性を活用するために、CPUメモリ内のKVベクトルに近接する近接探索(ANNS)インデックスを構築し、生成時にベクトル探索を介して最も関連性の高いものを検索する。
クエリベクトルとキーベクトル間のアウト・オブ・ディストリビューション(OOD)のため、オフ・ザ・シェルフANNSインデックスは正確な検索のためにO(N)データをスキャンする必要がある。
RetrievalAttentionはまず、ANNSベースの注意のOODチャレンジを特定し、クエリに適応し、データの1～3%しかアクセスできないアテンション対応ベクターサーチアルゴリズムを介して対処する。
RetrievalAttentionは、モデル精度を維持しながらGPUメモリの要求よりもはるかに少ない長文LLMの推論コストを大幅に削減する。
特にRetrievalAttentionは、8Bパラメータを持つLLMで128Kトークンを提供するのに16GBのGPUメモリしか必要とせず、単一のNVIDIA RTX4090 (24GB)上で0.188秒で1トークンを生成することができる。
関連論文リスト
- Squeezed Attention: Accelerating Long Context Length LLM Inference [64.11145320159126]
本稿では,入力プロンプトの大部分を固定したLLMアプリケーションを高速化する機構として,Squeezed Attentionを提案する。
K-meansクラスタリングをオフラインで使用して、セマンティックな類似性に基づいて、固定されたコンテキストのキーをグループ化し、各クラスタを単一のセントロイド値で表現します。
そして、固定された文脈から重要なキーのみを用いて正確な注意を計算し、帯域幅と計算コストを削減する。
論文 参考訳（メタデータ） (2024-11-14T18:54:19Z) - MagicPIG: LSH Sampling for Efficient LLM Generation [41.75038064509643]
以上の結果から,TopKの注意力自体が特定の下流タスクの品質低下に悩まされていることが分かる。
局所感性ハッシュ(LSH)に基づく異種システムMagicPIGを提案する。
MagicPIGは、さまざまなタスクに対して高い精度を維持しながら、注意の負荷を大幅に削減する。
論文 参考訳（メタデータ） (2024-10-21T16:44:51Z) - vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
論文 参考訳（メタデータ） (2024-07-22T14:37:58Z) - Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。
本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
論文 参考訳（メタデータ） (2024-06-24T03:59:17Z) - A Training-free Sub-quadratic Cost Transformer Model Serving Framework With Hierarchically Pruned Attention [43.211427581302715]
大規模言語モデルにおける文脈長を増大させるため,HiP(Hierarchically Pruned Attention)を提案する。
HiPは注意機構の時間的複雑さを$O(T log T)$に減らし、空間的複雑さを$O(T)$に減らし、$T$はシーケンス長である。
HiPは, 劣化を最小限に抑えつつ, プリフィルとデコードの両方のレイテンシとメモリ使用率を著しく低減することを示す。
論文 参考訳（メタデータ） (2024-06-14T08:32:45Z) - CORM: Cache Optimization with Recent Message for Large Language Model Inference [57.109354287786154]
メモリフットプリントを大幅に最小化するKVキャッシュを最適化する革新的な手法を提案する。
KVキャッシュ消去ポリシーであるCORMは、モデル微調整を必要とせずに、推論に必要なキーと値のペアを動的に保持する。
検証の結果,CORMはKVキャッシュの推論メモリ使用量を最大70%削減し,LongBenchの6つのタスクで性能劣化を無視できることがわかった。
論文 参考訳（メタデータ） (2024-04-24T16:11:54Z) - Towards Model-Size Agnostic, Compute-Free, Memorization-based Inference
of Deep Learning [5.41530201129053]
本稿では,新しい暗記ベース推論(MBI)を提案する。
具体的には、リカレント・アテンション・モデル(RAM)の推論機構に着目します。
低次元のスリープ性を活用することで、我々の推論手順は、スリープ位置、パッチベクトルなどからなるキー値対をテーブルに格納する。
計算は、テーブルを利用してキーと値のペアを読み出し、暗記による計算自由推論を実行することにより、推論中に妨げられる。
論文 参考訳（メタデータ） (2023-07-14T21:01:59Z) - Similarity search in the blink of an eye with compressed indices [3.39271933237479]
グラフベースのインデックスは現在、数十億の類似性検索において、最高のパフォーマンス技術である。
より高速でより小さなグラフベースのインデックスを作成するための新しい手法とシステムを提案する。
論文 参考訳（メタデータ） (2023-04-07T23:10:39Z) - ETAD: A Unified Framework for Efficient Temporal Action Detection [70.21104995731085]
時間的行動検出(TAD)のようなトリミングされていないビデオ理解は、しばしば計算資源に対する膨大な需要の苦痛に悩まされる。
我々は、効率的なエンド・ツー・エンドの時間的行動検出(ETAD)のための統合されたフレームワークを構築している。
ETADはTHUMOS-14とActivityNet-1.3の両方で最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2022-05-14T21:16:21Z) - IRLI: Iterative Re-partitioning for Learning to Index [104.72641345738425]
分散環境でのロードバランスとスケーラビリティを維持しながら、高い精度を得る方法とのトレードオフが必要だ。
クエリ項目関連データから直接バケットを学習することで、アイテムを反復的に分割するIRLIと呼ばれる新しいアプローチを提案する。
我々は,irliが極めて自然な仮定の下で高い確率で正しい項目を検索し,優れた負荷分散を実現することを数学的に示す。
論文 参考訳（メタデータ） (2021-03-17T23:13:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。