論文の概要: TVP: TV is Almost All You Need for Speculative Decoding

• arxiv url: http://arxiv.org/abs/2611.00588v1
• Date: Sat, 31 Oct 2026 03:31:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.417464
• Title: TVP: TV is Almost All You Need for Speculative Decoding
• Title（参考訳）: TVP:TVは投機的デコードに必要なほぼすべて
• Abstract要約: 提案手法では, ターゲット分布とドラフト分布の総変動(TV)距離を減少させる確率で, ドラフトトークンが受け入れられることを示す。 TVPは微調整の際のCEの受け入れ長を9.8%改善し、DFlash2のトレーニングレシピを6.2から12.9%改善した。
• 参考スコア（独自算出の注目度）: 0.7252027234425333
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speculative decoding accelerates LLM inference with a drafter whose proposed tokens are verified by the target model in parallel. Under lossless speculative sampling, a draft token is accepted with probability one minus the total variation (TV) distance between the target and draft distributions, yet drafters are often trained with cross-entropy (CE) or KL. We first show that under matched and well-tuned training, TV matches or surpasses several published draft-training objectives when fine-tuning, and a fixed TV and KL mixture does the same when training from scratch. We identify two remaining problems, TV's vanishing gradients on undercovered tokens and the prefix products that starve later positions in acceptance-length objectives. To address both, we derive TVP, a loss family based on expected acceptance length, whose power parameter interpolates between coverage and acceptance oriented objectives. Annealing the power from zero to one gives the highest or tied-highest acceptance length across three drafter architectures and three target models, including longer drafts and block verification. TVP improves acceptance length over CE by 9.8% when fine-tuning, and over the public DFlash2 training recipes by 6.2 to 12.9%.
• Abstract（参考訳）: 投機的復号化は、提案したトークンを目標モデルによって並列に検証したドラフトラでLPM推論を高速化する。 損失のない投機的サンプリングでは、ドラフトトークンはターゲットとドラフト分布の間の総変動(TV)距離を減少させる確率で受け入れられるが、ドラフトトークンはクロスエントロピー(CE)またはKLで訓練されることが多い。 まず、一致したトレーニングと順調なトレーニングの下で、テレビは微調整時に複数のドラフトトレーニング目標にマッチまたは超過し、固定されたテレビとKLの混合は、スクラッチからトレーニングするときに同じことを示します。 我々は、未発見トークンに対するテレビの減少傾向と、受信長の目的において後続の位置を飢えさせるプレフィックス製品という2つの問題を特定した。 両課題に対処するため,予測受信長に基づく損失ファミリーであるTVPを導出し,そのパワーパラメータが適用範囲と受入指向目標を補間する。 ゼロから1までのパワーを焼くことで、3つのドラフトアーキテクチャと3つのターゲットモデルにまたがる最も高い、あるいは最も結びついた受け入れ期間が得られる。 TVPは微調整の際のCEの受け入れ長を9.8%改善し、DFlash2のトレーニングレシピを6.2から12.9%改善した。

関連論文リスト

• Acceptance-Aware Draft Model Training for Speculative Decoding [10.581975492329114]
  提案手法では,投機窓内での受理トークン数を直接最適化する受入長対応学習損失を提案する。 異なるターゲットモデル、ドラフトモデル、タスク、デコード設定にわたる実験により、我々の損失はKLベースのトレーニングよりも受け入れ期間を一貫して改善することが示された。
  論文  参考訳（メタデータ） (2026-09-21T06:02:51Z)
• Verification-Aware Training for Speculative Decoding [57.84976863792784]
  VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。 VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。 VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
  論文  参考訳（メタデータ） (2026-08-31T01:42:10Z)
• Margins, Not Windows: Training-Free Per-Step Lossy Speculative Decoding [14.191111229515654]
  本稿では,AdaptiveSpecを紹介した。 復号時に生成した内部信号から、両方の決定を適応させる。 最先端の自己回帰的投機的復号法よりもスループットを向上させる。
  論文  参考訳（メタデータ） (2026-07-03T20:43:49Z)
• Draft-OPD: On-Policy Distillation for Speculative Draft Models [49.23782868133977]
  投機的復号化は,提案したトークンを並列に検証した軽量なドラフトモデルとターゲットモデルを組み合わせることで,大規模言語モデル推論を加速させる。 本稿では,安定な継続のために目標支援ロールアウトを利用するDraft-OPDを提案する。
  論文  参考訳（メタデータ） (2026-05-28T04:30:22Z)
• D-PACE: Dynamic Position-Aware Cross-Entropy for Parallel Speculative Drafting [59.204113363599994]
  投機的復号化は、小さなドラフト作成者がより大きなターゲットモデルが並列に検証するトークンを提案することによって推論を加速する。 最近の拡散ベースの並列ドラフトア(DFlashなど)は、1つの前方パスで完全なB-tokenブロックを予測し、より深いドラフトアとより長い許容ブロックを可能にする。 各位置の重みと、その対数確率の寄与とを一致させて、期待されるドラフト長の相違可能なサロゲートから、位置毎のトレーニングウェイトを導出する。 6つのベンチマークと2つのQwen3-4Bドラフト深度、2つの復号温度、2つの追加ターゲットモデル、D-PACEは一貫してウォールクロックのスピードアップと平均の両方を改善している。
  論文  参考訳（メタデータ） (2026-05-12T06:27:57Z)
• Test-Time Speculation [15.347747465564458]
  投機的復号化は、高速なドラフトモデルを使用してトークンとより正確なターゲットモデルを生成して推論を加速する。 本研究は,最先端の投機家でも受理長は世代長とともに低下することを示した。 我々は,テスト時に投機を継続的に適応させるオンライン蒸留手法である$textitTest-Time Speculation (TTS)$を提案する。
  論文  参考訳（メタデータ） (2026-05-10T05:02:39Z)
• LK Losses: Direct Acceptance Rate Optimization for Speculative Decoding [67.61563011564388]
  投機的復号化は自己回帰型大言語モデル(LLM)推論を加速させる。 標準トレーニングは、プロキシ目的としてKullback-Leibler(KL)の発散を最小限にする。 受入率を直接目標とする特別な訓練目標であるLK損失を提案する。
  論文  参考訳（メタデータ） (2026-02-27T10:20:11Z)
• Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
  大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。 早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。 ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
  論文  参考訳（メタデータ） (2025-09-19T04:51:41Z)
• Token Compensator: Altering Inference Cost of Vision Transformer without Re-Tuning [63.43972993473501]
  視覚変換器(ViT)の訓練と推論を高速化するトークン圧縮 しかし、下流タスクに適用した場合、圧縮度はトレーニングと推論の段階で不一致となる。 本稿では,2段階間の圧縮度を分離するモデル演算フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-13T10:36:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。