論文の概要: Target Regeneration Shrinks the Gains of Draft-Training Objectives in Speculative Decoding

• arxiv url: http://arxiv.org/abs/2610.29013v1
• Date: Wed, 21 Oct 2026 00:26:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.166504
• Title: Target Regeneration Shrinks the Gains of Draft-Training Objectives in Speculative Decoding
• Title（参考訳）: 投機的復号におけるドラフト学習対象の利得を減少させるターゲット再生
• Abstract要約: 新たなドラフトトレーニングの目標は通常、外部に書かれた応答に対して、クロスエントロピーを付加する受け入れによってクレジットされる。 私たちはその利益のどれ程が生き残るか尋ねる。 1つのコーパスの4つのバージョンで3つの目標を訓練する: コーパストークンのクロスエントロピー、ターゲットからのトークンレベルの蒸留、そして検証に耐えられる位置への蒸留である。
• 参考スコア（独自算出の注目度）: 6.1847583409039615
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speculative decoding accelerates large language models by verifying drafted tokens in parallel. New draft-training objectives are usually credited with the acceptance they add over cross-entropy on externally written responses, yet many pipelines let the target rewrite them. We ask how much of that gain survives. With a vision-language target and a block drafter, we train three objectives on four versions of one corpus: cross-entropy on corpus tokens, token-level distillation from the target, and distillation gated to positions that would survive verification. Distillation and the gate add large gains on external responses, but after greedy regeneration, distillation adds a smaller gain and the gate little or none. The shrinkage persists across data orders, position weights, verifiers, decoding temperatures and, for distillation, initializations and learning rates. Most of it remains at matched supervised length and at each objective's best measured training length. A second vision corpus shows the shrinkage, as does a text-only replication, for distillation also with an autoregressive drafter. Objective gains should therefore be measured against a target-regenerated baseline and across training lengths. Our code is available at https://github.com/js-lee-AI/TargetRegeneration.
• Abstract（参考訳）: 投機的復号化は、ドラフトトークンを並列に検証することで、大きな言語モデルを加速する。 新たなドラフトトレーニングの目標は通常、外部に記述されたレスポンスにクロスエントロピーを付加する受け入れによってクレジットされるが、多くのパイプラインがターゲットを書き換える。 私たちはその利益のどれ程が生き残るか尋ねる。 視覚言語目標とブロック草案作成者を用いて, コーパストークンのクロスエントロピー, ターゲットからのトークンレベルの蒸留, 検証に耐えられる位置への蒸留という, 一つのコーパスの4つのバージョンで3つの目標を訓練する。 蒸留とゲートは外部反応に大きな利得を与えるが、グリージー再生の後、蒸留はより小さな利得となり、ゲートはほとんど、あるいは全くない。 収縮はデータ順序、位置重み、検証器、復号温度、蒸留、初期化、学習率にわたって持続する。 ほとんどは、監督された長さと、各目標の最も測定された訓練距離に一致している。 第2の視覚コーパスは、自動回帰起草器と共に蒸留のためのテキストのみの複製と同様に収縮を示す。 したがって、客観的ゲインは、ターゲット再生ベースライン、およびトレーニング期間にわたって測定されるべきである。 私たちのコードはhttps://github.com/js-lee-AI/TargetRegeneration.orgで公開されています。

関連論文リスト

• DLoop: Looped Speculative Decoding [57.84976863792784]
  投機的復号化は、大規模言語モデルにおける自己回帰生成を加速させる。 検証は各ドラフト段階に従って行われ、不要なターゲットモデルフォワードがパスされる。 提案するDLoopは,検証前に複数の起草段階を適応的に実行するループ型投機復号法である。
  論文  参考訳（メタデータ） (2026-10-06T02:55:25Z)
• LongSpark: Efficient speculative decoding with a fixed-cost parallel drafter [21.532092822766504]
  LongSparkは、複数のモデルスケールにわたる最先端のエンドツーエンド効率を達成する、ブロック拡散ドラフトラである。 長いコンテキストタスクに対して最小の時間単位のコンテキストを提供すると同時に、ドラフトアのコンテキスト状態を桁違いに削減します。
  論文  参考訳（メタデータ） (2026-09-29T08:42:58Z)
• Osprey: Target-agnostic Pre-training Makes Stronger Drafters in Speculative Decoding [24.26957943118865]
  Ospreyは、既訓練の小さな言語モデルからドラフトをブートストラップする。 1つの事前訓練されたオスプレイのバックボーンは、Qwen3-8Bが16.1%、Llama-3.3-70B-Instructが21.2%、MiniMax-M2.5が22.7%、目標を越えて平均受容長が16.1%向上する。
  論文  参考訳（メタデータ） (2026-09-08T18:23:08Z)
• Vision Is Not Overhead: One-Pass Block Drafting for Lossless Speculative Decoding in Vision-Language Models [34.49048773784769]
  視覚言語モデル(VLM)の投機的復号化は自己複製サイクルで達成されている。 修正されていないVLMターゲット上でロスレスな最初のワンパスブロックドラフトであるGLANCEを提示する。
  論文  参考訳（メタデータ） (2026-08-31T20:50:35Z)
• Draft-OPD: On-Policy Distillation for Speculative Draft Models [49.23782868133977]
  投機的復号化は,提案したトークンを並列に検証した軽量なドラフトモデルとターゲットモデルを組み合わせることで,大規模言語モデル推論を加速させる。 本稿では,安定な継続のために目標支援ロールアウトを利用するDraft-OPDを提案する。
  論文  参考訳（メタデータ） (2026-05-28T04:30:22Z)
• Test-Time Speculation [15.347747465564458]
  投機的復号化は、高速なドラフトモデルを使用してトークンとより正確なターゲットモデルを生成して推論を加速する。 本研究は,最先端の投機家でも受理長は世代長とともに低下することを示した。 我々は,テスト時に投機を継続的に適応させるオンライン蒸留手法である$textitTest-Time Speculation (TTS)$を提案する。
  論文  参考訳（メタデータ） (2026-05-10T05:02:39Z)
• Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
  大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。 早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。 ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
  論文  参考訳（メタデータ） (2025-09-19T04:51:41Z)
• LongReD: Mitigating Short-Text Degradation of Long-Context Large Language Models via Restoration Distillation [79.90766312484489]
  回復蒸留(LongReD)による長期事前トレーニング LongReDは、選択されたレイヤの隠れた状態をオリジナルのモデルから短いテキストで蒸留する。 一般的なテキストベンチマークの実験では、LongReDはモデルの短文性能を効果的に維持することを示した。
  論文  参考訳（メタデータ） (2025-02-11T08:37:16Z)
• Funnel-Transformer: Filtering out Sequential Redundancy for Efficient Language Processing [112.2208052057002]
  本稿では,隠れ状態の列を短く圧縮するFunnel-Transformerを提案する。 Funnel-TransformerはFLOPに匹敵する数が少ないため、様々なシーケンスレベルの予測タスクにおいて標準のTransformerよりも優れている。
  論文  参考訳（メタデータ） (2020-06-05T05:16:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。