論文の概要: DeFT: Flash Tree-attention with IO-Awareness for Efficient Tree-search-based LLM Inference
- arxiv url: http://arxiv.org/abs/2404.00242v1
- Date: Sat, 30 Mar 2024 04:34:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 06:36:22.057448
- Title: DeFT: Flash Tree-attention with IO-Awareness for Efficient Tree-search-based LLM Inference
- Title(参考訳): DeFT:効率的な木探索型LPM推論のためのIO認識付きフラッシュツリーアテンション
- Authors: Jinwei Yao, Kaiqi Chen, Kexun Zhang, Jiaxuan You, Binhang Yuan, Zeke Wang, Tao Lin,
- Abstract要約: 現在のツリーデコード戦略と推論システムは、計算の冗長性、メモリフットプリント、メモリアクセスのために互いに適していない。
メモリフットプリントの少ないメモリ効率なアテンション計算を2段階に維持するIO対応ツリーアテンションアルゴリズムであるDeFTを提案する。
DeFTは、SOTAアテンションアルゴリズムによる2つの実用的な推論タスクに対して、エンドツーエンドのレイテンシで1.7-2.4$times$のスピードアップを達成できる。
- 参考スコア(独自算出の注目度): 22.684773338989007
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Decoding using tree search can greatly enhance the inference quality for transformer-based Large Language Models (LLMs). Depending on the guidance signal, it searches for the best path from root to leaf in the tree by forming LLM outputs to improve controllability, reasoning ability, alignment, et cetera. However, current tree decoding strategies and their inference systems do not suit each other well due to redundancy in computation, memory footprints, and memory access, resulting in inefficient inference. To address this issue, we propose DeFT, an IO-aware tree attention algorithm that maintains memory-efficient attention calculation with low memory footprints in two stages: (1) QKV Preparation: we propose a KV-Guided Tree Split strategy to group QKV wisely for high utilization of GPUs and reduction of memory reads/writes for the KV cache between GPU global memory and on-chip shared memory as much as possible; (2) Attention Calculation: we calculate partial attention of each QKV groups in a fused kernel then apply a Tree-topology-aware Global Reduction strategy to get final attention. Thanks to a reduction in KV cache IO by 3.6-4.5$\times$, along with an additional reduction in IO for $\mathbf{Q} \mathbf{K}^\top$ and Softmax equivalent to 25% of the total KV cache IO, DeFT can achieve a speedup of 1.7-2.4$\times$ in end-to-end latency across two practical reasoning tasks over the SOTA attention algorithms.
- Abstract(参考訳): 木探索を用いたデコーディングは、トランスフォーマーベース大規模言語モデル(LLM)の推論品質を大幅に向上させることができる。
誘導信号によっては、制御性、推論能力、アライメント等を改善するためにLLM出力を形成することで、木の根から葉までの最良の経路を探索する。
しかし、現在のツリーデコード戦略と推論システムは、計算の冗長性、メモリフットプリント、メモリアクセスのために互いに適していないため、非効率な推論をもたらす。
1)QKV作成:GPUの高利用とGPUグローバルメモリとオンチップ共有メモリ間のKVキャッシュのメモリ読み込み/書き込みの削減を適宜行うため、KVをグループ化するためのKV誘導木分割戦略を提案する。
KVキャッシュIOの3.6-4.5$\times$の削減と、合計KVキャッシュIOの25%に相当する$\mathbf{Q} \mathbf{K}^\top$とSoftmaxに対するIOのさらなる削減により、DeFTはSOTAアテンションアルゴリズム上の2つの実用的な推論タスクのエンドツーエンドのレイテンシで1.7-2.4$\times$のスピードアップを達成することができる。
関連論文リスト
- Sequence can Secretly Tell You What to Discard [57.109354287786154]
メモリフットプリントを大幅に削減するKVキャッシュを最適化するための新しい手法を提案する。
我々は,KVキャッシュの消去ポリシーであるCORMを提案し,モデルに微調整を加えることなく,推論のためのキーと値のペアを動的に保持する。
CORMは、LongBenchの6つのタスクで顕著なパフォーマンス劣化を伴わずに、KVキャッシュの推論メモリ使用量を最大70%削減する。
論文 参考訳(メタデータ) (2024-04-24T16:11:54Z) - ChunkAttention: Efficient Self-Attention with Prefix-Aware KV Cache and Two-Phase Partition [3.659659889927316]
ChunkAttentionは、大きな言語モデルのためのプレフィックス対応のセルフアテンションモジュールである。
複数のリクエストにまたがる一致したプロンプトプレフィックスを検出し、実行時にそのキー/値テンソルをメモリで共有する。
実験によると、ChunkAttentionは、最先端の実装と比較して、自己保持カーネルを3.2-4.8$times$で高速化できる。
論文 参考訳(メタデータ) (2024-02-23T09:29:19Z) - Get More with LESS: Synthesizing Recurrence with KV Cache Compression
for Efficient LLM Inference [83.34219335496073]
我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。
既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。
本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
論文 参考訳(メタデータ) (2024-02-14T18:54:56Z) - KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [70.90551156819498]
大規模言語モデル(LLM)は、要求毎のコストを削減するために、多くのリクエストを一緒に要求する。
キー値(KV)キャッシュはメモリ要求を大幅に増加させ、スピードとメモリ使用における新たなボトルネックとなる。
KVキャッシュサイズを減らすための単純で効果的な解決策は量子化であり、KVキャッシュが取る全バイトを削減する。
KIVIは、Llama (Llama-2)、Falcon、Mistralモデルとほぼ同じ品質を維持しながら、$mathbf2.6times$のピークメモリ使用量を減らすことができる。
論文 参考訳(メタデータ) (2024-02-05T06:06:47Z) - Wasserstein Auto-Encoders of Merge Trees (and Persistence Diagrams) [5.384630221560809]
本稿では、マージツリーの自動符号化(MT-WAE)のための計算フレームワークを提案する。
ベクトル化されたデータを扱う従来のオートエンコーダとは対照的に,ネットワークの各層における関連計量空間上のマージ木を明示的に操作する。
公開アンサンブルの実験では,MT-WAE計算を平均数分のオーダーで行うことで,アルゴリズムの効率を実証した。
論文 参考訳(メタデータ) (2023-07-05T09:46:52Z) - Improving Dual-Encoder Training through Dynamic Indexes for Negative
Mining [61.09807522366773]
本稿では,ソフトマックスを証明可能な境界で近似し,木を動的に維持するアルゴリズムを提案する。
我々は,2000万以上のターゲットを持つデータセットについて検討し,オラクル・ブルート力負の鉱業に関して,誤差を半分に削減した。
論文 参考訳(メタデータ) (2023-03-27T15:18:32Z) - A Theory of I/O-Efficient Sparse Neural Network Inference [17.862408781750126]
機械学習モデルは、その精度を速い速度で向上させるため、エネルギーと計算資源の需要は増大する。
低レベルでは、これらのリソースの大部分は異なるメモリユニット間でのデータ移動によって消費されます。
我々は、スパースフィードフォワードニューラルネットワーク(FFNN)推論に必要なI/Oを厳密に理論的に分析する。
論文 参考訳(メタデータ) (2023-01-03T11:23:46Z) - NumS: Scalable Array Programming for the Cloud [82.827921577004]
タスクベース分散システム上でNumPyのような表現を最適化する配列プログラミングライブラリであるNumSを提案する。
これはLoad Simulated Hierarchical Scheduling (LSHS)と呼ばれる新しいスケジューラによって実現される。
LSHSは、ネットワーク負荷を2倍減らし、メモリを4倍減らし、ロジスティック回帰問題において実行時間を10倍減らし、Rayの性能を向上させる。
論文 参考訳(メタデータ) (2022-06-28T20:13:40Z) - OctSqueeze: Octree-Structured Entropy Model for LiDAR Compression [77.8842824702423]
本稿では,LiDAR点雲のメモリフットプリントを削減するための新しいディープ圧縮アルゴリズムを提案する。
本手法は,メモリフットプリントを低減するために,点間の間隔と構造的冗長性を利用する。
我々のアルゴリズムは、自動運転車などのアプリケーションにおいて、LiDARポイントのオンボードおよびオフボードストレージを減らすために使用できる。
論文 参考訳(メタデータ) (2020-05-14T17:48:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。