論文の概要: Glinthawk: A Two-Tiered Architecture for High-Throughput LLM Inference
- arxiv url: http://arxiv.org/abs/2501.11779v1
- Date: Mon, 20 Jan 2025 23:10:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-22 14:19:32.923678
- Title: Glinthawk: A Two-Tiered Architecture for High-Throughput LLM Inference
- Title（参考訳）: Glinthawk: 高速LLM推論のための2階層アーキテクチャ
- Authors: Pouya Hamadanian, Sadjad Fouladi,
- Abstract要約: 大規模言語モデル(LLM)は自然言語処理に革命をもたらしたが、推論にはかなりのリソースが必要である。
大きなキーバリューキャッシュを格納する必要がある注意機構から、大きなボトルネックが発生する。
本稿では,トランスフォーマーモデルの他の部分から注意機構を分離する2層アーキテクチャであるGlinthawkを提案する。
- 参考スコア（独自算出の注目度）: 2.6498598849144472
- License:
- Abstract: Large Language Models (LLM) have revolutionized natural language processing, but their inference demands substantial resources, while under-utilizing high-end accelerators like GPUs. A major bottleneck arises from the attention mechanism, which requires storing large key-value caches, limiting the maximum achievable throughput way below the available computing resources. Current approaches attempt to mitigate this issue through memory-efficient attention and paging mechanisms, but remained constrained by the assumption that all operations must be performed on high-end accelerators. In this work, we propose Glinthawk, a two-tiered architecture that decouples the attention mechanism from the rest of the Transformer model. This approach allows the memory requirements for attention to scale independently, enabling larger batch sizes and more efficient use of the high-end accelerators. We prototype Glinthawk with NVIDIA T4 GPUs as one tier and standard CPU VMs as the other. Compared to a traditional single-tier setup, it improves throughput by $5.9\times$ and reduces cost of generation by $2.8\times$. For longer sequence lengths, it achieves $16.3\times$ throughput improvement at $2.4\times$ less cost. Our evaluation shows that this architecture can tolerate moderate network latency with minimal performance degradation, making it highly effective for latency-tolerant, throughput-oriented applications such as batch processing. We shared our prototype publicly at \url{https://github.com/microsoft/glinthawk}.
- Abstract（参考訳）: 大規模言語モデル(LLM)は自然言語処理に革命をもたらしたが、その推論には相当なリソースが必要であり、GPUのようなハイエンドアクセラレータを過小評価している。
大きなキーバリューキャッシュを格納する必要があり、利用可能なコンピューティングリソースの最大スループットを制限している。
現在のアプローチでは、メモリ効率の注意とページング機構を通じてこの問題を緩和しようと試みているが、すべての操作をハイエンドアクセラレーターで実行しなければならないという仮定に制約されていた。
本稿では,トランスフォーマーモデルの他の部分から注意機構を分離する2層アーキテクチャであるGlinthawkを提案する。
このアプローチにより、注意すべきメモリ要件を独立してスケールすることが可能になり、より大きなバッチサイズとハイエンドアクセラレータのより効率的な使用が可能になる。
NVIDIA T4 GPUを1層として、標準のCPU VMをもう1層として、Glinthawkをプロトタイプしました。
従来のシングルティアのセットアップと比較して、スループットを5.9\times$で改善し、生成コストを2.8\times$で削減する。
長いシーケンスの長さでは、$16.3\times$スループットの改善を$2.4\times$コストで達成する。
このアーキテクチャは、性能劣化を最小限に抑えつつ、適度なネットワーク遅延を許容し、バッチ処理のようなレイテンシ耐性のあるスループット指向のアプリケーションに非常に効果的であることを示す。
当社のプロトタイプは,先日の \url{https://github.com/microsoft/glinthawk} で公開しました。
関連論文リスト
- SparAMX: Accelerating Compressed LLMs Token Generation on AMX-powered CPUs [5.760049762453579]
大規模な言語モデルをCPUで加速することにより、より広いAIアクセスを低コストで、消費電力で実現する。
オープンソースでカスタマイズされたスパースカーネルのセットを提供し、任意のPyTorchモデルを高速化します。
我々は、現在のシステム上での1.14倍のスピードアップを達成するために、非構造化空間の使用を初めて実演する。
論文 参考訳（メタデータ） (2025-02-18T02:26:34Z) - MARLIN: Mixed-Precision Auto-Regressive Parallel Inference on Large Language Models [58.3342517278868]
本稿では,Mixed-precision AutoRegressive LINearカーネルの設計について述べる。
バッチサイズは16-32までサポートでき、量子化のスピードアップが最大 (4times$) になる。
MarLINは非同期メモリアクセス、複雑なタスクスケジューリング、パイプライン化といったテクニックを組み合わせてこれを実現している。
論文 参考訳（メタデータ） (2024-08-21T16:10:41Z) - An Image is Worth 1/2 Tokens After Layer 2: Plug-and-Play Inference Acceleration for Large Vision-Language Models [65.37846460916042]
視覚的トークンに対する注意計算は,LVLMの深い層において極めて非効率であることがわかった。
本稿では,計算効率の最適化を目的とした多用途プラグアンドプレイ方式であるFastVを紹介する。
論文 参考訳（メタデータ） (2024-03-11T14:35:32Z) - HiRE: High Recall Approximate Top-$k$ Estimation for Efficient LLM
Inference [68.59839755875252]
HiREは2つの新しいコンポーネントから構成される: (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (ii) DA-TOP-$k$: 効率的なマルチデバイス近似トップ-k$演算子) (i) (i) (i) (i) (i) (i) (i) DA-TOP-$k$演算子) 。
我々は、10億のパラメータモデルにおいて、HiREがソフトマックスとフィードフォワード層の両方に適用され、ほぼ一致した事前学習と下流の精度を実現し、1台のTPUv5eデバイスで1.47Times$の推論遅延を高速化することを示した。
論文 参考訳（メタデータ） (2024-02-14T18:04:36Z) - SHViT: Single-Head Vision Transformer with Memory Efficient Macro Design [5.962184741057505]
本稿では,メモリ効率のよい設計レベルでの計算冗長性に対処することを目的とする。
より大きなストライドのパッチフィクスを使用するとメモリアクセスコストが削減されるだけでなく、競争性能も向上することがわかった。
SHViTは、最先端の速度精度トレードオフを得る単一ヘッドビジョン変換器である。
論文 参考訳（メタデータ） (2024-01-29T09:12:23Z) - Edge-MoE: Memory-Efficient Multi-Task Vision Transformer Architecture
with Task-level Sparsity via Mixture-of-Experts [60.1586169973792]
M$3$ViTは、Mix-of-experts (MoE)を導入した最新のマルチタスクViTモデルである。
MoEは精度の向上と80%以上の削減計算を実現しているが、FPGAに効率的なデプロイを行う上での課題は残されている。
Edge-MoEと呼ばれる私たちの研究は、アーキテクチャの革新の集合を伴って、マルチタスクのViTのための最初のエンドツーエンドFPGAアクセラレータを導入するという課題を解決します。
論文 参考訳（メタデータ） (2023-05-30T02:24:03Z) - Faster Attention Is What You Need: A Fast Self-Attention Neural Network
Backbone Architecture for the Edge via Double-Condensing Attention Condensers [71.40595908386477]
本稿では,2重対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向
結果のバックボーン(AttendNeXtと呼ぶ)は、組み込みARMプロセッサ上で大幅に高い推論スループットを実現する。
これらの有望な結果は、さまざまな効率的なアーキテクチャ設計と自己アテンション機構の探索が、TinyMLアプリケーションのための興味深い新しいビルディングブロックにつながることを実証している。
論文 参考訳（メタデータ） (2022-08-15T02:47:33Z) - FlashAttention: Fast and Memory-Efficient Exact Attention with
IO-Awareness [80.3586155104237]
FlashAttentionは、トランスフォーマーのためのIO対応の正確な注意アルゴリズムである。
これにより、GPU高帯域メモリ(HBM)とGPUオンチップ間のメモリ読み込み/書き込み数を削減できる。
FlashAttentionとブロックスパース FlashAttentionは、トランスフォーマーのコンテキストを長くすることを可能にする。
論文 参考訳（メタデータ） (2022-05-27T17:53:09Z) - Fast Vision Transformers with HiLo Attention [40.8842135978138]
ビジョントランスフォーマー(ViT)はコンピュータビジョンにおける最新の重要なブレークスルーを引き起こしている。
LITv2は、既存の最先端手法に対して良好に機能する、シンプルで効果的なViTである。
HiLoによってパワーアップされたLITv2は、画像分類、高密度検出、セグメンテーションを含むメインストリームの視覚タスクの強力なバックボーンとして機能する。
論文 参考訳（メタデータ） (2022-05-26T08:16:14Z) - Learned Queries for Efficient Local Attention [11.123272845092611]
視覚変換器の自己保持機構は、高レイテンシと非効率なメモリ利用に悩まされる。
本稿では,クエリ・アンド・アテンション(QnA)と呼ばれる,新たなシフト不変なローカルアテンション層を提案する。
我々は、最先端モデルと同等の精度を達成しつつ、スピードとメモリの複雑さの改善を示す。
論文 参考訳（メタデータ） (2021-12-21T18:52:33Z) - EL-Attention: Memory Efficient Lossless Attention for Generation [27.59275177303199]
この問題に対処するために,メモリ効率の低い注意(ELアテンション)を提案する。
キャッシュを使用する必要がなく、マルチヘッドキーと値を構築するための重い操作を避ける。
要約タスクと質問生成タスクのためのTransformer, BART, GPT-2について広範な実験を行った。
論文 参考訳（メタデータ） (2021-05-11T04:37:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。