論文の概要: SpecOPD: Branch-Parallel On-Policy Distillation for Speculative Decoding

• arxiv url: http://arxiv.org/abs/2611.02846v1
• Date: Mon, 02 Nov 2026 09:47:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 14:54:12.291616
• Title: SpecOPD: Branch-Parallel On-Policy Distillation for Speculative Decoding
• Title（参考訳）: SpecOPD: 投機的復号のための分岐パラレルオンポリシング
• Abstract要約: SpecOPDは、ネイティブな構成でシーケンシャルロールアウトDよりも最大41.45%高い平均受け入れ長と16.09タイムの教師付きトーケンを実現している。 受入距離を直接目標とするE2E-TVサロゲートを用いて、ドラフト機を訓練する。 本研究は,8Bフルアテンション(GQA),27Bフルリニア(GQA-GDN),125Bスパースリニア(QSA-GDN)にまたがる。
• 参考スコア（独自算出の注目度）: 22.338076931812765
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speculative decoding (SD) accelerates large language model inference by reducing the sequential cost of token-by-token generation. Advanced SD methods reduce proposal cost with parallel drafters that predict entire blocks in one forward pass, but overall speedup still depends on acceptance length. On-policy distillation (OPD) can push well-trained drafters beyond acceptance-length plateaus, yet conventional pipelines collect supervision through sequential draft-and-verify rollouts. Our key insight is that on-policy supervision need not inherit these dependencies: a draft block can be supervised using only its reference prefix and draft-sampled history. We propose SpecOPD, a branch-parallel OPD framework that parallelizes draft sampling and target supervision across independent branches drawn from the evolving drafter policy at reference anchors. We pack these branches into proposal trees to share target-prefix computation, using tree masks for full attention, branch-consistent indexer groups for sparse attention, and indexed state replay for linear attention to preserve each branch's history. We train the drafter with an E2E-TV surrogate that directly targets acceptance length. Our study spans 8B full-attention (GQA), 27B full-linear (GQA--GDN), and 125B sparse-linear (QSA--GDN) targets, three parallel draft architectures (DFlash, DSpark, and DFlash V2), and four task domains (dialogue, coding, mathematics, and agentic). SpecOPD achieves up to 41.45% higher mean acceptance length, $16.09\times$ supervised-token throughput over sequential-rollout OPD under native configurations, and up to $3.56\times$ generation speedup over autoregressive decoding.
• Abstract（参考訳）: 投機的復号化(SD)はトークン・バイ・トークン生成の逐次コストを削減し、大きな言語モデル推論を加速させる。 高度なSD法は、1つの前方通過におけるブロック全体の予測を行う並列ドラフトラによる提案コストを削減しているが、全体的なスピードアップは受け入れ時間に依存している。 オン・ポリケーション蒸留(OPD)は、よく訓練されたドラフト・アンド・ビジュアライズ・ロールアウトを通じて従来のパイプラインを監督する。 私たちの重要な洞察は、政治上の監督はこれらの依存関係を継承する必要はないということです。 参照アンカーにおける進化的ドラフトアポリシーから引き出された独立したブランチ間で、ドラフトサンプリングとターゲット監視を並列化するブランチ並列PDフレームワークであるSpecOPDを提案する。 我々は,これらの枝を提案木にまとめて,目標修正計算の共有を行い,木面をフルアテンションに用い,分岐一貫性指標群をスパースアテンションに用い,各枝の履歴を保存するためにリニアアテンションに用いた状態リプレイを行う。 受入距離を直接目標とするE2E-TVサロゲートを用いて、ドラフト機を訓練する。 本研究は,8Bフルアテンション(GQA),27Bフルリニア(GQA-GDN),125Bスパースリニア(QSA-GDN)ターゲット,3つの並列ドラフトアーキテクチャ(DFlash,DSpark,DFlash V2),4つのタスクドメイン(対話,コーディング,数学,エージェント)を対象としている。 SpecOPDは、平均受け入れ長が最大41.45%、ネイティブ構成でシーケンシャルロールアウトOPDよりも教師付きトーケンスループットが16.09ドル、オートレグレッシブデコーディングよりも生成速度が最大3.56ドルに達する。

関連論文リスト

• SpecPilot: Autonomous Algorithm Discovery and Systems Optimization for Speculative Decoding [56.465476123939816]
  デプロイ毎にアルゴリズムとシステム最適化を検出する,自律エージェントループであるSpecPilotを提案する。 対象モデルを4つ,ドラフト3つ,プラットフォーム2つ,ベンチマーク5つに分けて評価した。
  論文  参考訳（メタデータ） (2026-11-02T04:21:47Z)
• UBTree: Parallel Tree Drafting via Unigram and Bigram Models for Speculative Decoding [42.52014320099826]
  UBTreeは、UnigramプロジェクタとBigramセレクタを結合して起草木を構築する並列プロジェクタである。 UBTreeの平均速度は5.84$-6.94times$で、28の比較でDARTreeを上回っている。
  論文  参考訳（メタデータ） (2026-09-30T15:35:50Z)
• DARTree: Speculative Diffusion Decoding with Autoregressive Draft Trees [40.61855455828842]
  投機的復号化は、複数のドラフトトークンを並列に検証することで、自動回帰言語モデルを高速化する。 Dartreeはトレーニング不要の投機的復号法で、事前訓練されたAR補正ヘッドをチェーンからツリーに拡張する。
  論文  参考訳（メタデータ） (2026-08-13T17:43:44Z)
• Ripple-Pivot Search: Active Parallel Decoding for Diffusion Large Language Models [66.32132912853372]
  Diffusion Large Language Models (dLLMs) は自己回帰型言語モデルの競合代替として登場した。 本研究では,中間エントロピー位置を有望な候補ピボットとして求める訓練自由復号法であるRipple-Pivot Search (RPS)を提案する。 RPSは、生成品質を維持しながら標準デコーダの4-10$times$wall-clockスピードアップを実現し、以前のルックアヘッドベースラインの精度を最大5.49%向上させる。
  論文  参考訳（メタデータ） (2026-08-12T07:32:29Z)
• Margins, Not Windows: Training-Free Per-Step Lossy Speculative Decoding [14.191111229515654]
  本稿では,AdaptiveSpecを紹介した。 復号時に生成した内部信号から、両方の決定を適応させる。 最先端の自己回帰的投機的復号法よりもスループットを向上させる。
  論文  参考訳（メタデータ） (2026-07-03T20:43:49Z)
• PRESTO: Prefix-Aligned Tree Drafting for Diffusion Speculative Decoding [98.71600061506206]
  PRESTOは、木ベースのドラフトを拡散ドラフトラに拡張する、原則化されたフレームワークである。 PRESTOは、最先端の専用拡散プロダクタSD上で、平均1.5タイムのエンドツーエンドスループットのスピードアップを達成する。
  論文  参考訳（メタデータ） (2026-06-20T14:32:14Z)
• Rethinking Thinking Tokens: LLMs as Improvement Operators [80.12087211785949]
  推論トレーニングは、LLMに長い思考の連鎖(長いCoT)を生み出す動機を与え、自己チェックによるソリューション戦略を探索することを可能にする。 これにより、精度が高くなりますが、コンテキストの長さ、トークン/計算コスト、応答レイテンシが膨らみます。 現在のモデルはメタ認知を活用して、このParetoフロンティアで他の組み合わせを提供できるのでしょうか? i) 多様なドラフトを並列に生成し、(ii) それらを有界なテキストワークスペースに蒸留し、(iii) このワークスペース上に条件付き精製する。
  論文  参考訳（メタデータ） (2025-10-01T17:08:59Z)
• DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
  DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。 ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
  論文  参考訳（メタデータ） (2025-09-28T07:00:15Z)
• Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
  大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。 早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。 ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
  論文  参考訳（メタデータ） (2025-09-19T04:51:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。