論文の概要: Scaling LLM Inference via Parallelism: Throughput-Latency Trade-off

• arxiv url: http://arxiv.org/abs/2610.19405v1
• Date: Wed, 14 Oct 2026 01:53:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 12:10:45.442199
• Title: Scaling LLM Inference via Parallelism: Throughput-Latency Trade-off
• Title（参考訳）: 並列性によるLCM推論のスケーリング:スループット-レイテンシトレードオフ
• Abstract要約: 大規模言語モデル(LLM)サービスシステムは、分散GPUリソースを効率的に活用しながら、レイテンシとスループットのバランスをとる必要がある。 この課題は、推論が基本的に異なる2つのフェーズから成り立っているためである: Prefillは、TTFT(time-to-first-token)を決定する、decodeは、token間レイテンシ(ITL)を決定する。
• 参考スコア（独自算出の注目度）: 1.4159869037535113
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Model (LLM) serving systems must balance latency and throughput while efficiently utilizing distributed GPU resources. This challenge arises because inference consists of two fundamentally different phases: prefill, which determines time-to-first-token (TTFT), and decode, which determines inter-token latency (ITL). The use of tensor parallelism (TP), pipeline parallelism (PP), and hybrid configurations exposes different trade-offs between these latency dimensions, making the optimal parallelism configuration highly dependent on workload characteristics, latency requirements, and context length. Moreover, despite the widespread adoption of distributed inference, there is still limited understanding of how parallelism configurations should be selected under varying workload conditions and service-level objectives (SLO). In this paper, we develop a systematic framework for characterizing LLM inference parallelism via throughput-latency trade-offs, SLO-aware serving, and long-context scalability. We introduce the notion of parallelism operating regions by constructing TTFT-ITL feasible sets and Pareto frontiers across different workload compositions, thereby revealing a systematic transition from TP-dominant to PP-dominant configurations as workloads become increasingly prefill-heavy. We further formulate SLO-aware parallelism selection using goodput, showing that stringent TTFT requirements favor PP-dominated configurations, whereas relaxed latency constraints progressively shift the optimality toward TP-dominated configurations with higher serving capacity. Finally, we demonstrate that increasing context length fundamentally changes the relative advantages of parallelism configurations, with PP-dominant configurations exhibiting more favorable scalability and SLO attainment in the long-context regime.
• Abstract（参考訳）: 大規模言語モデル(LLM)サービスシステムは、分散GPUリソースを効率的に活用しながら、レイテンシとスループットのバランスをとる必要がある。 この問題は、推測が基本的に異なる2つのフェーズから成り立っているためである: PrefillはTTFT(time-to-first-token)、decodeはtoken間レイテンシ(ITL)を決定する。 テンソル並列性(TP)、パイプライン並列性(PP)、ハイブリッド構成を用いることで、これらのレイテンシ次元間のトレードオフが明確になり、最適並列性の構成はワークロード特性、レイテンシ要求、コンテキスト長に大きく依存する。 さらに、分散推論が広く採用されているにも拘わらず、さまざまなワークロード条件とサービスレベルの目的(SLO)の下で並列性の設定をどのように選択すべきかについては、まだ理解が限られています。 本稿では,スループットレイテンシトレードオフ,SLO対応サービス,長文拡張性を通じて,LLM推論並列性を特徴付けるための体系的フレームワークを開発する。 本稿では,TTFT-ITLの実現可能な集合とパレートフロンティアを異なるワークロード構成で構築することで並列化操作領域の概念を導入し,ワークロードの増大に伴い,TP-dominantからPP-dominantへの体系的移行を明らかにする。 さらに,SLO対応の並列性選択を最適化し,厳密なTTFT要求がPP優先の構成を優先する一方で,遅延制約の緩和により,TP優先構成への最適性を高いサービス容量で段階的にシフトすることを示した。 最後に,コンテクスト長の増大が並列性の構成の相対的利点を根本的に変えることを示す。

関連論文リスト

• Characterizing Parallelism Strategies in LLM Inference: Fundamental Compute-Communication Trade-offs [1.4159869037535113]
  大規模言語モデル(LLM)推論は、現代のAIシステムにおいて支配的なワークロードとなっている。 本稿では,分散LLM推論をTP,PP,HBでモデル化するための統一解析フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-10-04T15:28:50Z)
• Para-Pipe: Exploiting Hierarchical Operator Parallelism of ML Computational Graphs on SoCs [22.6523068033902]
  Para-Pipeは階層的なマッピングフレームワークで、パイプラインアーキテクチャ内で、ステージ内およびステージ間演算子並列性を統合する。 Para-Pipeは、パイプラインステージ内およびパイプラインステージ間の並列処理レベルを選択的に微調整することで、スループットとレイテンシのトレードオフをナビゲートする。
  論文  参考訳（メタデータ） (2026-09-03T17:53:44Z)
• Parallelization Strategies for Dense LLM Deployment: Navigating Through Application-Specific Tradeoffs and Bottlenecks [6.447439020088275]
  AIのブレークスルーは、大規模言語モデル(LLM)ベースのアプリケーションの爆発を加速させた。 センスモデルは、その強力な能力、スケーラビリティ、微調整の容易さ、さまざまなタスクにおける汎用性のために、引き続き支配的です。 本稿では,ノード内並列化方式に着目した2つの代表的高密度LLMの負荷について検討する。
  論文  参考訳（メタデータ） (2026-03-05T21:33:24Z)
• Data-Centric Elastic Pipeline Parallelism for Efficient Long-Context LLM Training [40.67232484556671]
  Elastic Pipeline Parallelism (EPP)は、トークンレベルのPPとバッチレベルのPPをオーケストレーションして、リソースとワークロードの不均一性に適応する。 InfiniPipeは最先端システムの1.69倍の高速化を実現している。
  論文  参考訳（メタデータ） (2025-09-25T15:01:25Z)
• Implicit Reward as the Bridge: A Unified View of SFT and DPO Connections [65.36449542323277]
  本稿では,Large Language Model (LLM) 後の学習において,SFT(Supervised Fine-Tuning) と優先学習を統合した理論フレームワークを提案する。 そこで本研究では,学習率の簡易かつ効果的な削減手法を提案する。
  論文  参考訳（メタデータ） (2025-06-15T05:42:29Z)
• Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks [44.37047471448793]
  本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。 そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。 提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2023-03-26T16:09:48Z)
• Proximal Policy Optimization-based Transmit Beamforming and Phase-shift Design in an IRS-aided ISAC System for the THz Band [90.45915557253385]
  テラヘルツ(THz)帯で動作するIRS支援統合センシング・通信(ISAC)システムを提案し,システム容量を最大化する。 透過ビームフォーミングと位相シフト設計はエルゴード制約を伴う普遍最適化問題に変換される。
  論文  参考訳（メタデータ） (2022-03-21T09:15:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。