Fugu-MT 論文翻訳(概要): Prefill/Decode-Aware Evaluation of LLM Inference on Emerging AI Accelerators

論文の概要: Prefill/Decode-Aware Evaluation of LLM Inference on Emerging AI Accelerators

arxiv url: http://arxiv.org/abs/2606.17104v1
Date: Sun, 14 Jun 2026 12:23:29 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-17 17:15:32.058686
Title: Prefill/Decode-Aware Evaluation of LLM Inference on Emerging AI Accelerators
Title（参考訳）: 新興AI加速器におけるLCM推論のプリフィル/デコード・アウェア評価
Abstract要約: 大規模言語モデル(LLM)は、レイテンシとコストに敏感な設定にますますデプロイされている。最近の推論システムは、実行をプリフィルとデコードフェーズに分解し、異なる計算特性を示す。本稿では、一般的なモデルであるLlama2-7Bを用いて、GPUおよび新興AIアクセラレータ間でのLLM推論性能の位相認識評価を行う。
参考スコア（独自算出の注目度）: 1.9955035892352748
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: As large language models (LLMs) are increasingly deployed in latency- and cost-sensitive settings, inference efficiency has become a central systems challenge. While GPUs dominate current deployments, a growing number of AI accelerators claim advantages for LLM inference, yet it remains unclear under which conditions such accelerators outperform GPUs in practice. Recent inference systems decompose execution into Prefill and Decode phases, which exhibit distinct computational characteristics and latency metrics, commonly captured by time to first token (TTFT) and time per output token (TPOT). This paper presents a phase-aware evaluation of LLM inference performance across GPUs and emerging AI accelerators using a common model, Llama2-7B. By separately measuring Prefill and Decode performance, we reveal that accelerator advantages differ by phase and metric. Our results show that GPUs consistently excel in the compute-intensive Prefill phase, while GroqRack achieves significantly lower TPOT during Decode (batching not currently supported). However, GPUs regain an advantage in Decode throughput as batch size increases. These findings demonstrate that each platform exhibits distinct phase-dependent strengths. We further analyze heterogeneous Prefill/Decode disaggregation across different accelerator platforms, identifying performance gains and the workload and network conditions under which such gains are realized.
Abstract（参考訳）: 大規模言語モデル(LLM)は、レイテンシとコストに敏感な設定でますますデプロイされているため、推論効率はシステムの中心的な課題となっている。 GPUが現在のデプロイメントを支配している一方で、LLM推論のアドバンテージを主張するAIアクセラレータが増えているが、そのようなアクセラレータが実際にGPUを上回っている条件は未定だ。最近の推論システムは、実行をPrefillとDecodeのフェーズに分解し、計算特性とレイテンシのメトリクスを示し、一般的にはTTFT(Time to First token)とTPOT(Time per output token)によってキャプチャされる。本稿では、一般的なモデルであるLlama2-7Bを用いて、GPUおよび新興AIアクセラレータ間でのLLM推論性能の位相認識評価を行う。プリフィルとデコードのパフォーマンスを別々に測定することで、加速器の利点が位相と計量によって異なることを明らかにした。以上の結果から,GPUは計算集約型Prefillフェーズにおいて一貫して優れており,GroqRackはDecode(現在サポートされていないバッチ)においてTPOTを著しく低くすることがわかった。しかし、バッチサイズが大きくなるにつれて、GPUはDecodeスループットのアドバンテージを回復する。これらの結果から,各プラットフォームは相依存性の強度が異なることが示唆された。さらに、異なるアクセラレータプラットフォーム間での不均一なPrefill/Decodeデアグリゲーションを分析し、性能向上と、そのようなゲインを実現するためのワークロードとネットワーク条件を特定する。

関連論文リスト

Accelerated Decoding of Centroid Positional Encoding for Instance Segmentation [49.97373153077311]
本稿では,各画素が遠心波の位置埋め込みを行う場合の,遠心波符号化に伴うデコードオーバーヘッドについて検討する。当社のソリューションは、デコードオーバーヘッドを大幅に削減し、Endto-Endレイテンシを改善し、CPUベースのアプローチと単純なGPU実装の両方を上回ります。
論文参考訳（メタデータ） (2026-09-15T09:05:17Z)
FastTPS: An Optimized Method for LLM Token Phase for AI accelerators [11.379739631959822]
FastTPSは,一般AIアクセラレータ上でのLLM推論におけるトークン位相を高速化する,高性能かつ高精度な損失法である。以上の結果から,FastTPSはトークンフェーズにおけるメモリボトルネックを大幅に軽減し,6倍の高速化を実現した。
論文参考訳（メタデータ） (2026-07-13T08:02:26Z)
Beyond Next-Token Prediction: A Performance Characterization of Diffusion versus Autoregressive Language Models [82.87985794856803]
大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクにおいて最先端のパフォーマンスを達成した。最近、Diffusion Language Models (DLM) が有望な代替アーキテクチャとして登場した。
論文参考訳（メタデータ） (2025-10-05T10:50:52Z)
Optimizing LLM Inference: Fluid-Guided Online Scheduling with Memory Constraints [14.341123057506827]
大規模言語モデル(LLM)は、今日のアプリケーションでは必須であるが、推論手順は重要な計算資源を必要とする。本稿では,多段階オンラインスケジューリング問題としてLLM推論最適化を定式化する。我々は,アルゴリズム設計をガイドするトラクタブルなベンチマークを提供するために,流体力学近似を開発した。
論文参考訳（メタデータ） (2025-04-15T16:00:21Z)
SpecEE: Accelerating Large Language Model Inference with Speculative Early Exiting [12.317709090608837]
SpecEEは投機的早期終了を伴う高速推論エンジンである。 SpecEEはクラウドとPCのシナリオでそれぞれLlama2-7Bで2.25倍と2.43倍のスピードアップを達成する。
論文参考訳（メタデータ） (2025-04-11T02:38:53Z)
SparseAccelerate: Efficient Long-Context Inference for Mid-Range GPUs [0.0]
SparseAccelerateは動的スパースアテンション手法であり、入力特性に基づいてその疎度パターンを適応する。実験結果から,SparseAccelerateは最大1.04倍のTTTF遅延を32Kトークンで達成した。
論文参考訳（メタデータ） (2024-12-09T04:27:03Z)
AdaLog: Post-Training Quantization for Vision Transformers with Adaptive Logarithm Quantizer [54.713778961605115]
Vision Transformer (ViT) はコンピュータビジョンコミュニティにおいて最も普及しているバックボーンネットワークの1つである。本稿では,AdaLog(Adaptive Logarithm AdaLog)量子化器を提案する。
論文参考訳（メタデータ） (2024-07-17T18:38:48Z)
Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
論文参考訳（メタデータ） (2024-05-28T22:19:30Z)
Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
論文参考訳（メタデータ） (2024-04-18T09:17:06Z)
SPEED: Speculative Pipelined Execution for Efficient Decoding [35.45955948053644]
本稿では,現在のトークンと並行して複数の将来トークンを投機的に実行することで,推論効率を向上させるSPEEDを提案する。パラメータ共有を使用するTransformerデコーダでは、並列に実行されるトークンのメモリ操作を償却することができる。モデル精度に対する遅延低減の観点から,本手法の有効性を実証し,パラメータ共有によるより深いデコーダのトレーニングを最小限のランタイムオーバーヘッドで行う方法を示した。
論文参考訳（メタデータ） (2023-10-18T16:07:01Z)
Performance Embeddings: A Similarity-based Approach to Automatic Performance Optimization [71.69092462147292]
パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
論文参考訳（メタデータ） (2023-03-14T15:51:35Z)
PARTIME: Scalable and Parallel Processing Over Time with Deep Neural Networks [68.96484488899901]
PartIMEは、データが継続的にストリーミングされるたびにニューラルネットワークを高速化するように設計されたライブラリです。 PartIMEは、ストリームから利用可能になった時点で、各データサンプルの処理を開始する。オンライン学習において、PartialIMEと古典的な非並列ニューラル計算を経験的に比較するために実験が行われる。
論文参考訳（メタデータ） (2022-10-17T14:49:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。