論文の概要: WavePP: High-Throughput Pipeline Parallel LLM Prefill under Prefix Reuse

• arxiv url: http://arxiv.org/abs/2609.35263v1
• Date: Mon, 28 Sep 2026 14:21:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 07:08:53.627239
• Title: WavePP: High-Throughput Pipeline Parallel LLM Prefill under Prefix Reuse
• Title（参考訳）: WavePP: プレフィックスリユースによる高出力パイプライン並列LLMプリフィル
• Abstract要約: パイプラインランタイムは、モデルのさまざまなステージで複数のリクエストチャンクを同時に処理することで、プリフィルスループットを改善することができる。 パイプラインを完全に活用するには、効率的なスケジューリングと要求の準備が必要である。 我々は、RT-LLM上に構築されたプレフィルであるWavePPを紹介し、パイプライン実行による要求入力によってこれらの課題に対処する。
• 参考スコア（独自算出の注目度）: 0.7252027234425333
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pipeline parallelism can improve prefill throughput by processing multiple request chunks concurrently across different stages of the model. However, keeping the pipeline fully utilized requires efficient scheduling and request preparation. In systems where stages retain and evict cache state independently, a local cache hit does not guarantee that the same prefix can be reused across the pipeline. Here, coordination overhead can impede request admission cadence and thus reduce overall throughput. In this paper, we present WavePP, a prefill runtime built on top of TensorRT-LLM that addresses these challenges by overlapping request admission with pipeline execution. WavePP asynchronously finds a prefix that can be reused across all stages, protects the cached state, and reserves space for the remaining input while earlier requests continue to execute. It subsequently plans the chunk sizes of each request dynamically to maximize pipeline fill. Each stage then completes the local preparation before executing the request. In the same system and pipeline topology, WavePP improves TensorRT-LLM's prefill throughput in 37 of 40 tested settings on GLM 5.2 and MiniMax M2.7. At concurrency 128 with high cache reuse, these changes increase throughput by factors of 2.91 and 2.02, respectively. Across 28 Kimi K3 settings, WavePP also has the highest measured throughput in all 18 settings at concurrency eight or higher, compared with tensor/expert-parallel and pipeline-parallel baselines from TRT-LLM, SGLang, and vLLM.
• Abstract（参考訳）: パイプライン並列処理は、モデルのさまざまな段階にわたって複数のリクエストチャンクを同時に処理することで、プリフィルスループットを改善することができる。 しかし、パイプラインを十分に活用するには、効率的なスケジューリングと要求の準備が必要である。 ステージが独立してキャッシュ状態を保持するシステムでは、ローカルキャッシュヒットは、パイプライン全体で同じプレフィックスを再利用できることを保証するものではない。 ここでは、調整オーバーヘッドは要求の受け入れケイデンスを阻害し、全体的なスループットを低下させる。 本稿では,TensorRT-LLM上に構築されたプレフィルランタイムであるWavePPについて述べる。 WavePPは、すべてのステージで再利用できるプレフィックスを非同期に見つけ、キャッシュされた状態を保護し、以前の要求が実行されている間、残りの入力のためにスペースを予約する。 その後、パイプラインフィリングを最大化するために、各リクエストのチャンクサイズを動的に計画する。 各ステージは、リクエストを実行する前にローカルの準備を完了する。 同じシステムとパイプライントポロジーでは、WavePPは、GLM 5.2とMiniMax M2.7の40のテスト設定のうち37でTensorRT-LLMのプリフィルスループットを改善している。 キャッシュ再利用率の高いコンカレンシー128では、これらの変更はそれぞれ2.91と2.02の要因によってスループットが向上する。 28K3設定中、WavePPはテンソル/エキスパート並列、TRT-LLM、SGLang、vLLMのパイプライン並列ベースラインと比較すると、同時実行時の18設定で最大スループットを持つ。

関連論文リスト

• An Efficient vLLM-Based Inference Pipeline for Unified Audio Understanding and Generation [63.50393485685279]
  音声の理解と生成を統一する vLLM ベースの推論パイプラインを提案する。 共有直観自由誘導(CFG)のスループットを克服する。 連続バッチ内でペア条件と非条件要求を共スケジューリングすることにより、CFGの実装は、非CFGスループットの80%を維持できます。
  論文  参考訳（メタデータ） (2026-07-02T12:55:11Z)
• GSPN-2: Efficient Parallel Sequence Modeling [101.33780567131716]
  一般化空間伝搬ネットワーク(GSPN)は2次自己アテンションを直線走査型伝搬方式に置き換えることでこの問題に対処する。 GSPN-2は、視覚アプリケーションにおけるグローバル空間コンテキストをモデル化するための新しい効率フロンティアを確立する。
  論文  参考訳（メタデータ） (2025-11-28T07:26:45Z)
• dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
  拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。 既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。 高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
  論文  参考訳（メタデータ） (2025-09-30T16:32:52Z)
• Data-Centric Elastic Pipeline Parallelism for Efficient Long-Context LLM Training [40.67232484556671]
  Elastic Pipeline Parallelism (EPP)は、トークンレベルのPPとバッチレベルのPPをオーケストレーションして、リソースとワークロードの不均一性に適応する。 InfiniPipeは最先端システムの1.69倍の高速化を実現している。
  論文  参考訳（メタデータ） (2025-09-25T15:01:25Z)
• HelixPipe: Efficient Distributed Training of Long Sequence Transformers with Attention Parallel Pipeline Parallelism [14.067070576474086]
  トランスシークエンスの長さが大きくなるにつれて、既存のパイプライン並列処理は2次注意計算とかなりのメモリオーバーヘッドのため、最適以下の性能を実現する。 長周期変圧器訓練のための新しいパイプライン並列性であるHelixPipeを提案する。 これは、異なるパイプラインステージ間で異なるマイクロバッチのアテンション計算を並列にスケジュールし、パイプラインバブルを減少させる、アテンション並列パーティションを導入している。 メモリ使用量のバランスと、フラグメンテーションによる重複通信のバランスをとるために、2倍の第一段階のマイクロバッチスケジュールを採用している。
  論文  参考訳（メタデータ） (2025-07-01T03:11:18Z)
• SpecPipe: Accelerating Pipeline Parallelism-based LLM Inference with Speculative Decoding [33.55718885446209]
  パイプラインに投機トークンをステップバイステップで埋めるSpecPipeを紹介します。 ハードウェア利用の最大化によって、SpecPipeはパイプライン毎に1つのトークンを理想的にデコードする。 SpecPipe-DB はシングルリクエストとマルチリクエストの推論のために SpecPipe-DB を用いて動的ワークロードで実装する。
  論文  参考訳（メタデータ） (2025-04-05T08:31:10Z)
• Scaling Deep Learning Training with MPMD Pipeline Parallelism [0.5817641705019472]
  JaxPPは、柔軟なパイプライン並列性を備えた大規模ディープラーニングモデルのトレーニングを効率的にスケールアップするシステムである。 我々は,勾配蓄積のためのユーザ定義パイプラインスケジュールの実装を可能にする,シームレスなプログラミングモデルを導入する。 JaxPPは、パイプラインステージに対応するタスクをノードのクラスタ上に分散し、それら間の通信を自動的に推論する。
  論文  参考訳（メタデータ） (2024-12-18T22:15:11Z)
• Mini-Sequence Transformer: Optimizing Intermediate Memory for Long Sequences Training [78.93900796545523]
  ミニシーケンス変換器(Mini-Sequence Transformer, MsT)は、非常に長いシーケンスを持つ高速かつ高精度なLLMトレーニング手法である。 MsTは入力シーケンスを分割し、中間メモリ使用量を減らすためにミニシーケンスを反復的に処理する。 huggingfaceライブラリと統合され、MsTはQwen、Mistral、Gemma-2の最大コンテキスト長を12-24倍に拡張した。
  論文  参考訳（メタデータ） (2024-07-22T01:52:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。