論文の概要: Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding

• arxiv url: http://arxiv.org/abs/2509.19368v1
• Date: Fri, 19 Sep 2025 04:51:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-25 20:53:19.518664
• Title: Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding
• Title（参考訳）: パイプライン並列性は、最適化されたアーリーエグジットベースの自己投機的デコーディングに必要なもの
• Authors: Ruanjun Li, Ziheng Liu, Yuanming Shi, Jiawei Shao, Chi Zhang, Xuelong Li,
• Abstract要約: 大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。 早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。 ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
• 参考スコア（独自算出の注目度）: 73.67253077506672
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) deliver impressive generation quality, but incur very high inference cost because each output token is generated auto-regressively through all model layers. Early-exit based self-speculative decoding (EESD) has emerged to mitigate this cost. However, in practice, many approaches struggle to achieve the expected acceleration in such draft-then-verify paradigm even with a well-aligned early-exit head and selected exit position. Our analysis reveals that EESD only pays off when the vast majority of draft tokens are accepted by the LLM. Otherwise, the draft cost may overcome the acceleration gain and lead to a negative speedup. To mitigate this, we propose Pipeline-Parallel Self-Speculative Decoding (PPSD) that fully pipelines the draft and verification work so that no effort is wasted on failed predictions. It has two key innovations. We configure the model layers as a pipeline in which early-exit (draft) computations and remaining-layer (verification) computations overlap. We interleave drafting and verification per token. While the LLM is verifying the current token in its final layers, the early-exit path simultaneously drafts the next token. Such a verify-while-draft scheme keeps all units busy and validates tokens on-the-fly analogous to pipelining the speculation and verification stages. Empirical results confirm that PPSD achieves state-of-the-art acceleration in self-speculative LLM inference. On diverse benchmarks, PPSD achieves speedup ratios in the range of 2.01x~3.81x, which gains almost the optimal acceleration at the fixed acceptance rate and exit position, showcasing its advancement in providing efficient self-speculation.
• Abstract（参考訳）: 大きな言語モデル(LLM)は印象的な生成品質を提供するが、各出力トークンはすべてのモデル層を通して自動回帰的に生成されるため、非常に高い推論コストが発生する。 早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。 しかし、実際、多くのアプローチは、十分に整列した早期出発頭と選択された出口位置であっても、そのようなドラフト・テーマ・検証のパラダイムにおいて期待される加速を達成するのに苦労している。 我々の分析によると、EESDは、ほとんどのドラフトトークンがLLMに受け入れられたときにのみ支払われる。 そうでなければ、ドラフトコストは加速ゲインを克服し、負のスピードアップにつながる可能性がある。 これを軽減するために、我々は、ドラフトと検証作業を完全にパイプライン化し、失敗する予測を無駄にしないパイプライン・パラレル・セルフスペクティブ・デコーディング(PPSD)を提案する。 2つの重要な革新がある。 モデル層を、初期出力(ドラフト)計算と残層(検証)計算が重複するパイプラインとして構成する。 トークンごとにドラフトと検証をインターリーブします。 LLMは最後のレイヤで現在のトークンを検証するが、早期終了パスは同時に次のトークンをドラフトする。 このような検証期間のドラフトスキームは全ての単位を忙しく保ち、投機と検証段階をパイプライン化するために、オンザフライで類似したトークンを検証する。 実験結果から,PPSDは自己投機的LPM推論における最先端の加速を実現することが確認された。 様々なベンチマークにおいて、PPSDは2.01x~3.81xの範囲でスピードアップ比を達成し、これは固定された受容率と出口位置でほぼ最適な加速度を得る。

関連論文リスト

• Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
  拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。 我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。 Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
  論文  参考訳（メタデータ） (2025-08-27T15:40:25Z)
• Think Before You Accept: Semantic Reflective Verification for Faster Speculative Decoding [48.52389201779425]
  投機的復号化は、軽量モデルを使用して複数のドラフトトークンを生成し、それらを並列に検証することで推論を加速する。 既存の検証手法は、意味的正確性を見越しながら、分布の整合性に大きく依存している。 我々は,学習自由でセマンティックなアプローチであるリフレクティブ検証を提案し,正確性と効率のトレードオフを改善する。
  論文  参考訳（メタデータ） (2025-05-24T10:26:27Z)
• DEL: Context-Aware Dynamic Exit Layer for Efficient Self-Speculative Decoding [7.204881999658682]
  DELは、推論中に出口層と投機長を適応的に選択するプラグイン・アンド・プレイ方式である。 Delは、全体的なスピードアップを$2.16times$$sim$2.62times$ over vanilla auto-regressive decoding で達成している。
  論文  参考訳（メタデータ） (2025-04-08T01:12:59Z)
• FIRP: Faster LLM inference via future intermediate representation prediction [54.897493351694195]
  FIRPはデコードステップ毎に1つではなく複数のトークンを生成する。 いくつかのモデルとデータセットで1.9x-3xのスピードアップ比を示す広範な実験を行った。
  論文  参考訳（メタデータ） (2024-10-27T15:53:49Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• PEARL: Parallel Speculative Decoding with Adaptive Draft Length [12.166703341906242]
  本稿では,適応dRaft Length(PEARL)を用いた投機的復号化(Parallel speculative decoding)を促進するための,概念的にシンプルでフレキシブルで汎用的なフレームワークを提案する。 PEARLは、ドラフトフェーズ中に事前に最初のドラフトトークンを検証し、検証フェーズ中により多くのドラフトトークンを生成するための後検証を提案する。 各種テキスト生成ベンチマークの実験では、PEARLの有効性が実証されており、自動回帰復号法とバニラ投機復号法と比較して、パフォーマンスが4.43$times$と1.50$times$に向上した。
  論文  参考訳（メタデータ） (2024-08-13T08:32:06Z)
• Speculative Decoding via Early-exiting for Faster LLM Inference with Thompson Sampling Control Mechanism [35.7077090639665]
  そこで本研究では,非損失加速を用いたEarly-Exiting Speculative Decoding (EESD) という新しい手法を提案する。 EESDは、大きな言語モデル(LLM)のセグメントを使用してドラフトトークンを生成し、最初のN層の後、初期出力構造を取り入れている。 提案手法では,従来の手法と比較して,トークンの復号化速度が著しく向上していることが示されている。
  論文  参考訳（メタデータ） (2024-06-06T08:40:28Z)
• Draft & Verify: Lossless Large Language Model Acceleration via Self-Speculative Decoding [25.03122689338891]
  本稿では,大規模言語モデルの高速化を目的とした新しい推論手法である自己推論復号法を提案する。 提案手法では、追加のニューラルネットワークトレーニングや、追加のメモリフットプリントを必要としない。 LLaMA-2とその変種によるベンチマークでは、最大1.99$times$まで高速化された。
  論文  参考訳（メタデータ） (2023-09-15T05:34:32Z)
• FSR: Accelerating the Inference Process of Transducer-Based Models by Applying Fast-Skip Regularization [72.9385528828306]
  典型的なトランスデューサモデルは、現在の音響状態に条件付き出力シーケンスをデコードします。 予測結果に含まれる空白のトークンの数は、すべてのトークンの90%近くを占める。 本稿では,トランスデューサが予測する空白位置とCTCモデルが予測する空白位置を一致させようとする高速スキップ正規化法を提案する。
  論文  参考訳（メタデータ） (2021-04-07T03:15:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。