論文の概要: Glinthawk: A Two-Tiered Architecture for High-Throughput LLM Inference

• arxiv url: http://arxiv.org/abs/2501.11779v1
• Date: Mon, 20 Jan 2025 23:10:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:19:32.923678
• Title: Glinthawk: A Two-Tiered Architecture for High-Throughput LLM Inference
• Title（参考訳）: Glinthawk: 高速LLM推論のための2階層アーキテクチャ
• Authors: Pouya Hamadanian, Sadjad Fouladi,
• Abstract要約: 大規模言語モデル(LLM)は自然言語処理に革命をもたらしたが、推論にはかなりのリソースが必要である。 大きなキーバリューキャッシュを格納する必要がある注意機構から、大きなボトルネックが発生する。 本稿では,トランスフォーマーモデルの他の部分から注意機構を分離する2層アーキテクチャであるGlinthawkを提案する。
• 参考スコア（独自算出の注目度）: 2.6498598849144472
• License:
• Abstract: Large Language Models (LLM) have revolutionized natural language processing, but their inference demands substantial resources, while under-utilizing high-end accelerators like GPUs. A major bottleneck arises from the attention mechanism, which requires storing large key-value caches, limiting the maximum achievable throughput way below the available computing resources. Current approaches attempt to mitigate this issue through memory-efficient attention and paging mechanisms, but remained constrained by the assumption that all operations must be performed on high-end accelerators. In this work, we propose Glinthawk, a two-tiered architecture that decouples the attention mechanism from the rest of the Transformer model. This approach allows the memory requirements for attention to scale independently, enabling larger batch sizes and more efficient use of the high-end accelerators. We prototype Glinthawk with NVIDIA T4 GPUs as one tier and standard CPU VMs as the other. Compared to a traditional single-tier setup, it improves throughput by $5.9\times$ and reduces cost of generation by $2.8\times$. For longer sequence lengths, it achieves $16.3\times$ throughput improvement at $2.4\times$ less cost. Our evaluation shows that this architecture can tolerate moderate network latency with minimal performance degradation, making it highly effective for latency-tolerant, throughput-oriented applications such as batch processing. We shared our prototype publicly at \url{https://github.com/microsoft/glinthawk}.
• Abstract（参考訳）: 大規模言語モデル(LLM)は自然言語処理に革命をもたらしたが、その推論には相当なリソースが必要であり、GPUのようなハイエンドアクセラレータを過小評価している。 大きなキーバリューキャッシュを格納する必要があり、利用可能なコンピューティングリソースの最大スループットを制限している。 現在のアプローチでは、メモリ効率の注意とページング機構を通じてこの問題を緩和しようと試みているが、すべての操作をハイエンドアクセラレーターで実行しなければならないという仮定に制約されていた。 本稿では,トランスフォーマーモデルの他の部分から注意機構を分離する2層アーキテクチャであるGlinthawkを提案する。 このアプローチにより、注意すべきメモリ要件を独立してスケールすることが可能になり、より大きなバッチサイズとハイエンドアクセラレータのより効率的な使用が可能になる。 NVIDIA T4 GPUを1層として、標準のCPU VMをもう1層として、Glinthawkをプロトタイプしました。 従来のシングルティアのセットアップと比較して、スループットを5.9\times$で改善し、生成コストを2.8\times$で削減する。 長いシーケンスの長さでは、$16.3\times$スループットの改善を$2.4\times$コストで達成する。 このアーキテクチャは、性能劣化を最小限に抑えつつ、適度なネットワーク遅延を許容し、バッチ処理のようなレイテンシ耐性のあるスループット指向のアプリケーションに非常に効果的であることを示す。 当社のプロトタイプは,先日の \url{https://github.com/microsoft/glinthawk} で公開しました。

関連論文リスト

• SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [58.5019443418822]
  拡散モデルは高品質な画像を生成するのに非常に効果的であることが証明されている。 これらのモデルが大きくなるにつれて、メモリが大幅に増加し、レイテンシの低下に悩まされる。 本研究では,その重みとアクティベーションを4ビットに定量化し,拡散モデルの高速化を目指す。
  論文  参考訳（メタデータ） (2024-11-07T18:59:58Z)
• MARLIN: Mixed-Precision Auto-Regressive Parallel Inference on Large Language Models [58.3342517278868]
  本稿では,Mixed-precision AutoRegressive LINearカーネルの設計について述べる。 バッチサイズは16-32までサポートでき、量子化のスピードアップが最大 (4times$) になる。 MarLINは非同期メモリアクセス、複雑なタスクスケジューリング、パイプライン化といったテクニックを組み合わせてこれを実現している。
  論文  参考訳（メタデータ） (2024-08-21T16:10:41Z)
• Lean Attention: Hardware-Aware Scalable Attention Mechanism for the Decode-Phase of Transformers [4.674454841332859]
  トランスフォーマーベースのモデルは、自然言語処理の最も広く使われているアーキテクチャの1つとして登場した。 これらの巨大なモデルはメモリが空腹で、最先端のAIアクセラレータでも大きな推論レイテンシが生じる。 本稿ではトークン生成フェーズの自己認識をスケーラブルに計算する手法であるLeanAttentionを提案する。
  論文  参考訳（メタデータ） (2024-05-17T00:52:39Z)
• AI and Memory Wall [81.06494558184049]
  メモリ帯域幅がデコーダモデルの主要なボトルネックとなることを示す。 私たちは、このメモリ制限を克服するためのモデルアーキテクチャ、トレーニング、デプロイメント戦略の再設計を主張します。
  論文  参考訳（メタデータ） (2024-03-21T04:31:59Z)
• An Image is Worth 1/2 Tokens After Layer 2: Plug-and-Play Inference Acceleration for Large Vision-Language Models [65.37846460916042]
  視覚的トークンに対する注意計算は,LVLMの深い層において極めて非効率であることがわかった。 本稿では,計算効率の最適化を目的とした多用途プラグアンドプレイ方式であるFastVを紹介する。
  論文  参考訳（メタデータ） (2024-03-11T14:35:32Z)
• HiRE: High Recall Approximate Top-$k$ Estimation for Efficient LLM Inference [68.59839755875252]
  HiREは2つの新しいコンポーネントから構成される: (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (ii) DA-TOP-$k$: 効率的なマルチデバイス近似トップ-k$演算子) (i) (i) (i) (i) (i) (i) (i) DA-TOP-$k$演算子) 。 我々は、10億のパラメータモデルにおいて、HiREがソフトマックスとフィードフォワード層の両方に適用され、ほぼ一致した事前学習と下流の精度を実現し、1台のTPUv5eデバイスで1.47Times$の推論遅延を高速化することを示した。
  論文  参考訳（メタデータ） (2024-02-14T18:04:36Z)
• Efficient LLM Inference on CPUs [8.802223672775844]
  大規模言語モデル(LLM)は、幅広いタスクにおいて、顕著なパフォーマンスと大きなポテンシャルを示してきた。 これらのモデルのデプロイは、天文学的なモデルパラメータの量のために困難でした。 LLMのデプロイをより効率的にするための効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-11-01T13:08:50Z)
• Edge-MoE: Memory-Efficient Multi-Task Vision Transformer Architecture with Task-level Sparsity via Mixture-of-Experts [60.1586169973792]
  M$3$ViTは、Mix-of-experts (MoE)を導入した最新のマルチタスクViTモデルである。 MoEは精度の向上と80%以上の削減計算を実現しているが、FPGAに効率的なデプロイを行う上での課題は残されている。 Edge-MoEと呼ばれる私たちの研究は、アーキテクチャの革新の集合を伴って、マルチタスクのViTのための最初のエンドツーエンドFPGAアクセラレータを導入するという課題を解決します。
  論文  参考訳（メタデータ） (2023-05-30T02:24:03Z)
• LiteTransformerSearch: Training-free On-device Search for Efficient Autoregressive Language Models [34.673688610935876]
  モデルトレーニングを必要とせずに、レイテンシとパープレクシリティが最前線に現れることを示す。 我々は,多種多様なデバイス上での軽量トランスフォーマーサーチ (LTS) の評価を行った。 最大2倍のレイテンシでTransformer-XLのパープレキシティを実現することができることを示す。
  論文  参考訳（メタデータ） (2022-03-04T02:10:43Z)
• Learned Queries for Efficient Local Attention [11.123272845092611]
  視覚変換器の自己保持機構は、高レイテンシと非効率なメモリ利用に悩まされる。 本稿では,クエリ・アンド・アテンション(QnA)と呼ばれる,新たなシフト不変なローカルアテンション層を提案する。 我々は、最先端モデルと同等の精度を達成しつつ、スピードとメモリの複雑さの改善を示す。
  論文  参考訳（メタデータ） (2021-12-21T18:52:33Z)
• EL-Attention: Memory Efficient Lossless Attention for Generation [27.59275177303199]
  この問題に対処するために,メモリ効率の低い注意(ELアテンション)を提案する。 キャッシュを使用する必要がなく、マルチヘッドキーと値を構築するための重い操作を避ける。 要約タスクと質問生成タスクのためのTransformer, BART, GPT-2について広範な実験を行った。
  論文  参考訳（メタデータ） (2021-05-11T04:37:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。