論文の概要: PARD-2: Target-Aligned Parallel Draft Model for Dual-Mode Speculative Decoding

• arxiv url: http://arxiv.org/abs/2605.08632v1
• Date: Sat, 09 May 2026 02:50:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.779506
• Title: PARD-2: Target-Aligned Parallel Draft Model for Dual-Mode Speculative Decoding
• Title（参考訳）: PARD-2:Dual-Mode Speculative Decodingのためのターゲット適応並列ドラフトモデル
• Abstract要約: 投機的復号化は、軽量なドラフトモデルを用いて、LLM(Large Language Models)推論を加速する。 本稿では、信頼適応トークン(CAT)を最適化したデュアルモード投機デコードフレームワークであるPARD-2を提案する。
• 参考スコア（独自算出の注目度）: 10.569335087583655
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speculative decoding accelerates Large Language Models (LLMs) inference by using a lightweight draft model to propose candidate tokens that are verified in parallel by the target model. However, existing draft model training objectives are not directly aligned with the inference-time goal of maximizing consecutive token acceptance. To address this issue, we reformulate the draft model optimization objective, shifting the focus from token prediction accuracy to the overall acceptance length. In this paper, we build upon PARD to propose PARD-2, a dual-mode speculative decoding framework with Confidence-Adaptive Token (CAT) optimization. This approach adaptively reweights each token to better align with the verification process. Notably, PARD-2 enables a single draft model to support both target-dependent and target-independent modes. Experiments across diverse models and tasks demonstrate that PARD-2 achieves up to 6.94$\times$ lossless acceleration, surpassing EAGLE-3 by 1.9$\times$ and PARD by 1.3$\times$ on Llama3.1-8B. Our code is available at https://github.com/AMD-AGI/PARD.
• Abstract（参考訳）: 投機的復号化は、軽量なドラフトモデルを用いて、ターゲットモデルによって並列に検証される候補トークンを提案することにより、Large Language Models (LLM)推論を加速する。 しかし、既存のドラフトモデルトレーニングの目的は、連続したトークンの受け入れを最大化する推論時間目標と直接一致していない。 この問題に対処するために、トークン予測精度から全体的な受け入れ長に焦点を移し、ドラフトモデル最適化の目標を再構築する。 本稿では,信頼適応トークン(CAT)を最適化した2モード投機デコードフレームワークであるPARD-2を提案する。 このアプローチでは、各トークンを適応的にリウェイトして、検証プロセスとの整合性を向上する。 特に、PARD-2はターゲット依存モードとターゲット非依存モードの両方をサポートする単一のドラフトモデルを可能にする。 PARD-2は最大6.94$\times$ロスレス加速を実現し、ERGLE-3は1.9$\times$、PARDは1.3$\times$をLlama3.1-8Bで達成した。 私たちのコードはhttps://github.com/AMD-AGI/PARD.comで公開されています。

関連論文リスト

• Verification-Aware Training for Speculative Decoding [57.84976863792784]
  VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。 VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。 VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
  論文  参考訳（メタデータ） (2026-08-31T01:42:10Z)
• Draft-OPD: On-Policy Distillation for Speculative Draft Models [49.23782868133977]
  投機的復号化は,提案したトークンを並列に検証した軽量なドラフトモデルとターゲットモデルを組み合わせることで,大規模言語モデル推論を加速させる。 本稿では,安定な継続のために目標支援ロールアウトを利用するDraft-OPDを提案する。
  論文  参考訳（メタデータ） (2026-05-28T04:30:22Z)
• Efficiently Aligning Draft Models via Parameter- and Data-Efficient Adaptation [82.04574413609187]
  投機的復号化は、特定のドメインに対してターゲットモデルを微調整する場合、性能劣化に悩まされる。 単純な解決策は、コストがかかり非効率な、すべてのターゲットモデルのドラフトモデルをトレーニングすることです。 EDA(Efficient Draft Adaptation)と呼ばれるパラメータとデータ効率のフレームワークを導入する。
  論文  参考訳（メタデータ） (2026-03-10T11:35:58Z)
• Training-free Dropout Sampling for Semantic Token Acceptance in Speculative Decoding [13.249778063956917]
  投機的復号化は、トークンを軽量なドラフトモデルで提案することにより、大きな言語モデル推論を加速する。 この研究は、ドラフトトークンとターゲットモデルの予測分布をマッチングする新しいアプローチであるDropMatchを導入している。 複数のベンチマークで実験したところ、我々のアプローチは、競争力のあるタスク性能を維持しながら、受け入れ期間を延ばすことが示されている。
  論文  参考訳（メタデータ） (2026-02-11T04:53:33Z)
• DEER: Draft with Diffusion, Verify with Autoregressive Models [33.19684425811274]
  投機的復号法は自己回帰復号法の本質的な遅延を緩和する。 効率的な投機的復号化フレームワークであるDEERを紹介する。 実験によると、DEERは最大32個のトークンのドラフト受け入れ長に達する。
  論文  参考訳（メタデータ） (2025-12-17T08:19:04Z)
• DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
  DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。 ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
  論文  参考訳（メタデータ） (2025-09-28T07:00:15Z)
• CARD: A Cache-Assisted Parallel Speculative Decoding Framework via Query-and-Correct Paradigm for Accelerating LLM Inference [14.527697328189362]
  本稿では,新しいクエリ・アンド・コレクト・パラダイムを用いたCARDという投機的復号化フレームワークを提案する。 提案手法は,提案手法を検証から切り離し,詳細な調整を伴わずに効果的にドラフトモデルの効率を向上する。 CARDは既存の最先端の手法よりも優れており、バニラ自己回帰復号よりも最大4.83倍の高速化を実現している。
  論文  参考訳（メタデータ） (2025-08-06T14:02:10Z)
• ARM: Adaptive Reasoning Model [52.955386431182724]
  本稿では,そのタスクに基づいて適切なフォーマットを適応的に選択できる推論モデルであるAdaptive Reasoning Model (ARM)を提案する。 Ada-GRPOはARMが高いトークン効率を実現し、Long CoTのみに依存するモデルに匹敵するパフォーマンスを維持しながら、トークンを平均30%、最大70%削減する。
  論文  参考訳（メタデータ） (2025-05-26T17:38:50Z)
• PARD: Accelerating LLM Inference with Low-Cost PARallel Draft Model Adaptation [4.031603850949324]
  本稿では,自動回帰ドラフトモデルの並列ドラフトモデルへの低コストな適応を可能にする新しい投機的復号化手法を提案する。 提案した条件付きドロップトークン法は,ドラフトモデルのトレーニング効率を3倍に向上させることができる。 最適化された推論フレームワークでは、PARDはLLaMA3.1-8B推論を4.08倍高速化し、毎秒311.5トークンを達成する。
  論文  参考訳（メタデータ） (2025-04-23T12:27:43Z)
• ParallelSpec: Parallel Drafter for Efficient Speculative Decoding [62.68430939686566]
  提案するParallelSpecは,最先端の投機的復号化手法における自己回帰的起草戦略の代替となる。 投機段階における自己回帰的起草とは対照的に,効率的な投機モデルとして機能する並列投機を訓練する。
  論文  参考訳（メタデータ） (2024-10-08T01:05:08Z)
• PEARL: Parallel Speculative Decoding with Adaptive Draft Length [12.166703341906242]
  本稿では,適応dRaft Length(PEARL)を用いた投機的復号化(Parallel speculative decoding)を促進するための,概念的にシンプルでフレキシブルで汎用的なフレームワークを提案する。 PEARLは、ドラフトフェーズ中に事前に最初のドラフトトークンを検証し、検証フェーズ中により多くのドラフトトークンを生成するための後検証を提案する。 各種テキスト生成ベンチマークの実験では、PEARLの有効性が実証されており、自動回帰復号法とバニラ投機復号法と比較して、パフォーマンスが4.43$times$と1.50$times$に向上した。
  論文  参考訳（メタデータ） (2024-08-13T08:32:06Z)
• Decoding-Time Language Model Alignment with Multiple Objectives [116.42095026960598]
  既存の手法は主に、1つの報酬関数に対してLMを最適化することに集中し、それらの適応性は様々な目的に制限される。 本稿では,予測の線形結合から次のトークンを出力する復号時間アルゴリズムである$textbfmulti-objective decoding (MOD)$を提案する。 提案手法は, 自然条件下であっても, 既存のアプローチが準最適であることを示すとともに, 提案手法の最適性を保証する。
  論文  参考訳（メタデータ） (2024-06-27T02:46:30Z)
• SDSAT: Accelerating LLM Inference through Speculative Decoding with Semantic Adaptive Tokens [4.5888031410244885]
  意味適応トークン(SDSAT)を用いた投機的復号化による大規模言語モデル(LLM)の高速化手法を提案する。 この設計の主な目的は、LLMモデルの精度を損なうことなく、より正確にドラフトトークンを生成する能力を高めることである。 CodeLlama-13B と 7B で実施された実験では、それぞれ3.5X と 3.0X 以上の速度向上が達成されている。
  論文  参考訳（メタデータ） (2024-03-27T14:54:27Z)
• DistillSpec: Improving Speculative Decoding via Knowledge Distillation [70.61777015900272]
  投機的復号(SD)は、複数のトークンを生成するためにより高速なドラフトモデルを使用することで、大きな言語モデル推論を加速する。 本稿では,SDを適用する前に,知識蒸留を用いて,ドラフトモデルとターゲットモデルとの整合性を向上するDistillSpecを提案する。 DistillSpecは標準SDよりも10～45%のスピードアップを実現しています。
  論文  参考訳（メタデータ） (2023-10-12T16:21:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。