論文の概要: PAPI: Exploiting Dynamic Parallelism in Large Language Model Decoding with a Processing-In-Memory-Enabled Computing System

• arxiv url: http://arxiv.org/abs/2502.15470v1
• Date: Fri, 21 Feb 2025 13:52:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:10:10.767423
• Title: PAPI: Exploiting Dynamic Parallelism in Large Language Model Decoding with a Processing-In-Memory-Enabled Computing System
• Title（参考訳）: PAPI:処理インメモリ型計算システムを用いた大規模言語モデルデコーディングにおける動的並列処理
• Authors: Yintao He, Haiyu Mao, Christina Giannoula, Mohammad Sadrosadati, Juan Gómez-Luna, Huawei Li, Xiaowei Li, Ying Wang, Onur Mutlu,
• Abstract要約: PAPI は PIM 対応のヘテロジニアスアーキテクチャで,計算バウンドカーネルやメモリバウンドカーネルを適切なハードウェアユニットに動的にスケジューリングする。 PAPIは最先端の異種加速器と最先端のPIM専用加速器で1.8$times$と11.1$times$を達成している。
• 参考スコア（独自算出の注目度）: 13.678531084541666
• License:
• Abstract: Large language models (LLMs) are widely used for natural language understanding and text generation. An LLM model relies on a time-consuming step called LLM decoding to generate output tokens. Several prior works focus on improving the performance of LLM decoding using parallelism techniques, such as batching and speculative decoding. State-of-the-art LLM decoding has both compute-bound and memory-bound kernels. Some prior works statically identify and map these different kernels to a heterogeneous architecture consisting of both processing-in-memory (PIM) units and computation-centric accelerators. We observe that characteristics of LLM decoding kernels (e.g., whether or not a kernel is memory-bound) can change dynamically due to parameter changes to meet user and/or system demands, making (1) static kernel mapping to PIM units and computation-centric accelerators suboptimal, and (2) one-size-fits-all approach of designing PIM units inefficient due to a large degree of heterogeneity even in memory-bound kernels. In this paper, we aim to accelerate LLM decoding while considering the dynamically changing characteristics of the kernels involved. We propose PAPI (PArallel Decoding with PIM), a PIM-enabled heterogeneous architecture that exploits dynamic scheduling of compute-bound or memory-bound kernels to suitable hardware units. PAPI has two key mechanisms: (1) online kernel characterization to dynamically schedule kernels to the most suitable hardware units at runtime and (2) a PIM-enabled heterogeneous computing system that harmoniously orchestrates both computation-centric processing units and hybrid PIM units with different computing capabilities. Our experimental results on three broadly-used LLMs show that PAPI achieves 1.8$\times$ and 11.1$\times$ speedups over a state-of-the-art heterogeneous LLM accelerator and a state-of-the-art PIM-only LLM accelerator, respectively.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語の理解とテキスト生成に広く使われている。 LLMモデルは、出力トークンを生成するためにLLMデコードと呼ばれる時間を要するステップに依存している。 いくつかの先行研究は、バッチ処理や投機的復号化といった並列化技術を用いて、LLM復号化の性能向上に重点を置いている。 最先端のLLMデコードには、計算バウンドカーネルとメモリバウンドカーネルの両方がある。 以前の研究では、これらの異なるカーネルをPIMユニットと計算中心のアクセラレータの両方からなる異種アーキテクチャに静的に識別し、マッピングしていた。 LLMデコードカーネルの特性(例えば、カーネルがメモリバウンドであるかどうか)は、ユーザおよび/またはシステム要求を満たすパラメータ変化によって動的に変化し、(1)PIMユニットと計算中心のアクセラレータへの静的カーネルマッピングを最適以下にし、(2)メモリバウンドカーネルにおいても大きな不均一性のため、PIMユニットを設計する一大適合なアプローチをとる。 本稿では,カーネルの特性を動的に変化させながら,LLMデコーディングを高速化することを目的とする。 PIMを用いたPAPI(Parallel Decoding with PIM)を提案する。PIMは、計算バウンドカーネルやメモリバウンドカーネルの動的スケジューリングを適切なハードウェアユニットに活用する異種アーキテクチャである。 PAPIには、2つの主要なメカニズムがある: 1) 実行時に最も適切なハードウェアユニットにカーネルを動的にスケジュールするオンラインカーネルの特徴付け、2) 計算中心の処理ユニットと異なる計算能力を持つハイブリッドPIMユニットの両方を調和的にオーケストレーションするPIM対応の異種コンピューティングシステム。 広範に使用した3つのLCM実験の結果,PAPI は 1.8$\times$ と 11.1$\times$ を,最先端のヘテロジニアス LLM アクセラレータと最先端のPIM のみ LLM アクセラレータでそれぞれ達成していることがわかった。

関連論文リスト

• Joint Transmit and Pinching Beamforming for PASS: Optimization-Based or Learning-Based? [89.05848771674773]
  MISO (Multiple-input Single-output) フレームワークを提案する。 それは複数の導波路で構成されており、多数の低コストアンテナ(PA)を備えている。 PAの位置は、大規模パスと空間の両方にまたがるように再構成することができる。
  論文  参考訳（メタデータ） (2025-02-12T18:54:10Z)
• LoL-PIM: Long-Context LLM Decoding with Scalable DRAM-PIM System [6.21613161960432]
  大規模言語モデル(LLM)は数万のトークンのシーケンスを処理する。 Processing-in-Memory (PIM) は、計算をデータに移動させることでメモリ帯域幅を最大化する。 LoL-PIM はマルチノード PIM アーキテクチャであり、ハードウェアとソフトウェアの共同設計により長期のコンテキスト LLM を高速化する。
  論文  参考訳（メタデータ） (2024-12-28T14:38:16Z)
• Highly Optimized Kernels and Fine-Grained Codebooks for LLM Inference on Arm CPUs [0.8217552831952]
  大きな言語モデル(LLM)は、言語理解と生成に関する考え方を変えました。 LLM量子化によく使われるグループ量子化形式は、計算上のオーバーヘッドとリソース集約型量子化プロセスを持つ。 本稿では,LLMの超低精度量子化のためのグループワイド非一様符号ブックに基づく量子化手法を提案する。
  論文  参考訳（メタデータ） (2024-12-23T03:44:29Z)
• Anda: Unlocking Efficient LLM Inference with a Variable-Length Grouped Activation Data Format [5.527166214435735]
  量子化大言語モデル(LLM)は低ビット整数(INT)重みを利用し、浮動小数点(FP)アクティベーションを保持する。 これにより、コストのかかるメモリアクセスと計算に関連するFPアクティベーションに、エネルギとレイテンシのボトルネックがシフトする。 既存のLCMアクセラレータは、FP計算とデータ移動を協調的に最適化する可能性を見越して、計算最適化に重点を置いている。
  論文  参考訳（メタデータ） (2024-11-24T20:59:39Z)
• DeeR-VLA: Dynamic Inference of Multimodal Large Language Models for Efficient Robot Execution [114.61347672265076]
  実世界のロボットのためのMLLMの開発は、ロボットプラットフォームで利用可能な計算能力とメモリ容量が典型的に限られているため、難しい。 活性化MLLMのサイズを自動的に調整するロボットビジョンランゲージ・アクション・モデル(DeeR)の動的早期実行フレームワークを提案する。 DeeR は LLM の計算コストを 5.2-6.5x に削減し、GPU のメモリを 2-6x に削減した。
  論文  参考訳（メタデータ） (2024-11-04T18:26:08Z)
• Progressive Mixed-Precision Decoding for Efficient LLM Inference [49.05448842542558]
  我々は,デコーディングのメモリバウンドネスに対処するために,プログレッシブ・ミックス・プレシジョン・デコーディング(PMPD)を導入する。 PMPDはfp16モデルの行列ベクトル乗算において1.4$-$12.2$times$ Speedupを達成する。 我々の手法は、fp16モデルよりも3.8$-$8.0$times$、均一量子化アプローチよりも1.54$times$のスループット向上をもたらす。
  論文  参考訳（メタデータ） (2024-10-17T11:46:33Z)
• PIM-Opt: Demystifying Distributed Optimization Algorithms on a Real-World Processing-In-Memory System [21.09681871279162]
  大規模データセットに対するモダン機械学習(ML)トレーニングは、時間を要する作業量である。 最適化アルゴリズムであるGradient Descent (SGD) は、その効率性、単純さ、一般化性能に頼っている。 プロセッサ中心のアーキテクチャは、MLトレーニングワークロードの実行中に低パフォーマンスと高エネルギー消費に悩まされる。 Processing-In-Memory(PIM)は、データ移動のボトルネックを軽減するための有望なソリューションである。
  論文  参考訳（メタデータ） (2024-04-10T17:00:04Z)
• Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
  我々のアルゴリズムは、AQLMと呼ばれ、情報検索のための古典的な加算量子化(AQ)アプローチを一般化する。 トークン生成のためのAQLMの高速GPUおよびCPU実装を提供しており、最適化されたFP16実装を高速にマッチングまたは性能良くすることができる。
  論文  参考訳（メタデータ） (2024-01-11T18:54:44Z)
• L2MAC: Large Language Model Automatic Computer for Extensive Code Generation [52.81694565226513]
  トランスフォーマーベースの大規模言語モデル(LLM)は、基盤となるトランスフォーマーアーキテクチャの固定コンテキストウィンドウによって制約される。 本稿では,L2MACを提案する。L2MACは,LLMをベースとした汎用型自動計算機(von Neumann Architecture)フレームワークで,長期的かつ一貫した出力生成を実現する。
  論文  参考訳（メタデータ） (2023-10-02T16:55:19Z)
• Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
  この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。 1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。 我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-25T05:04:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。