論文の概要: AdaDecode: Accelerating LLM Decoding with Adaptive Layer Parallelism

• arxiv url: http://arxiv.org/abs/2506.03700v1
• Date: Wed, 04 Jun 2025 08:32:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.23436
• Title: AdaDecode: Accelerating LLM Decoding with Adaptive Layer Parallelism
• Title（参考訳）: AdaDecode: 適応層並列性によるLCMデコーディングの高速化
• Authors: Zhepei Wei, Wei-Lin Chen, Xinyu Zhu, Yu Meng,
• Abstract要約: 大規模言語モデル (LLM) は、長いコンテンツ生成にますます使われている。 補助モデルや元のモデルパラメータの変更を必要とせずにデコーディングを高速化するAdaDecodeを提案する。 AdaDecodeは最大1.73倍のスピードアップで優れた復号処理を実現している。
• 参考スコア（独自算出の注目度）: 17.858104076062897
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly used for long-content generation (e.g., long Chain-of-Thought reasoning) where decoding efficiency becomes a critical bottleneck: Autoregressive decoding is inherently limited by its sequential token generation process, where each token must be generated before the next can be processed. This sequential dependency restricts the ability to fully leverage modern hardware's parallel processing capabilities. Existing methods like speculative decoding and layer skipping offer potential speedups but have notable drawbacks: speculative decoding relies on an auxiliary "drafter" model, which can be challenging to acquire and increases memory overhead, while layer skipping may introduce discrepancies in the outputs due to the missing key-value cache at skipped layers. In this work, we propose AdaDecode, which accelerates LLM decoding without requiring auxiliary models or changes to the original model parameters, while ensuring output consistency. AdaDecode leverages the insight that many tokens can accurately be generated at intermediate layers, as further layers often do not significantly alter predictions once the model reaches a certain confidence. By adaptively generating tokens at intermediate layers when confidence is high, AdaDecode enables the next token's computation to begin immediately. The remaining layer computations for early-predicted tokens are deferred and executed in parallel with subsequent tokens when needed, maximizing hardware utilization and reducing decoding latency. A final verification step ensures that early predictions match the results of standard autoregressive decoding, preserving output parity. Experiments across diverse generation tasks shows that AdaDecode consistently achieves superior decoding throughput with up to 1.73x speedup, while guaranteeing output parity with standard autoregressive decoding.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、復号化効率が重要なボトルネックとなる長文生成(例えば、長文の連鎖推論)に益々使われている: 自己回帰復号は、そのシーケンシャルトークン生成プロセスによって本質的に制限され、次のトークンが処理される前に各トークンを生成しなければならない。 このシーケンシャルな依存関係は、現代のハードウェアの並列処理能力を十分に活用する能力を制限する。 投機的復号化は、メモリオーバーヘッドの獲得と増大を困難にし得る補助的な"ドロース"モデルに依存し、一方、レイヤスキップは、スキップされたレイヤでキー値キャッシュが欠落しているために出力に不一致をもたらす可能性がある。 本研究では,出力整合性を確保しつつ,補助モデルや元のモデルパラメータの変更を必要とせず,LCMデコーディングを高速化するAdaDecodeを提案する。 AdaDecodeは、多くのトークンが中間層で正確に生成できるという洞察を活用している。 信頼度が高い場合、中間層でトークンを適応的に生成することにより、AdaDecodeは次のトークンの計算を即座に開始できる。 早期予測トークンの残りのレイヤ計算は、必要に応じて後続トークンと並行して遅延処理され、ハードウェア使用率を最大化し、復号レイテンシを低減する。 最終的な検証ステップでは、初期予測が標準の自己回帰デコードの結果と一致し、出力パリティを保存する。 多様な生成タスクにわたる実験により、AdaDecodeは最大1.73倍のスピードアップで優れたデコードスループットを継続的に達成し、標準の自己回帰デコードと出力の同等性を保証している。

関連論文リスト

• Accelerating Diffusion LLMs via Adaptive Parallel Decoding [50.9948753314669]
  並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。 APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
  論文  参考訳（メタデータ） (2025-05-31T06:10:10Z)
• Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding [51.711605076319216]
  拡散に基づく大規模言語モデル (Diffusion LLM) は、並列復号機能を持つ非自己回帰テキスト生成を約束している。 本稿では,双方向拡散モデルに適したブロック単位で近似したKVキャッシュ機構を提案する。 本稿では,信頼しきい値を超えるトークンを選択的に復号し,依存関係違反を軽減し,生成品質を維持できる信頼度対応並列復号方式を提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:39:15Z)
• Speculative Diffusion Decoding: Accelerating Language Generation through Diffusion [55.0194604505437]
  投機的復号化は,大規模言語モデル推論を高速化する手法として広く採用されている。 本稿では,離散拡散モデルを用いてドラフトシーケンスを生成する投機的復号法を提案する。
  論文  参考訳（メタデータ） (2024-08-10T21:24:25Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• Chimera: A Lossless Decoding Method for Accelerating Large Language Models Inference by Fusing all Tokens [15.566726645722657]
  投機的サンプリングに特化して設計された新しいフレームワークを提案する。 このフレームワーク内では、以前に生成されたトークンを効果的に活用し、後続の単語を予測する軽量なドラフトモデルを導入する。 我々は、バニラ自動回帰復号方式と比較して平均遅延速度比が2.7倍になるという印象的な結果を示した。
  論文  参考訳（メタデータ） (2024-02-24T08:10:39Z)
• SPEED: Speculative Pipelined Execution for Efficient Decoding [35.45955948053644]
  本稿では,現在のトークンと並行して複数の将来トークンを投機的に実行することで,推論効率を向上させるSPEEDを提案する。 パラメータ共有を使用するTransformerデコーダでは、並列に実行されるトークンのメモリ操作を償却することができる。 モデル精度に対する遅延低減の観点から,本手法の有効性を実証し,パラメータ共有によるより深いデコーダのトレーニングを最小限のランタイムオーバーヘッドで行う方法を示した。
  論文  参考訳（メタデータ） (2023-10-18T16:07:01Z)
• Fast and Robust Early-Exiting Framework for Autoregressive Language Models with Synchronized Parallel Decoding [43.659680579686544]
  本稿では,浅層深度モジュールと並列デコーディングを併用したFast and Robust Early-Exitingフレームワークを提案する。 我々のフレームワークは、既存のトークンの復号処理を、以前に積み重ねられた早期発行トークンと同期させることで、より高速な推論を可能にする。 並列デコーディングにより,浅層モデルと深部モデルの両方からの予測を観測できるので,新しい適応しきい値推定器を提案する。
  論文  参考訳（メタデータ） (2023-10-09T05:53:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。