論文の概要: Acceptance Is Not Speed: Length Inflation in Training-Free Lossy Speculative Decoding

• arxiv url: http://arxiv.org/abs/2610.23818v1
• Date: Fri, 16 Oct 2026 17:41:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:08.056396
• Title: Acceptance Is Not Speed: Length Inflation in Training-Free Lossy Speculative Decoding
• Title（参考訳）: 受け入れ速度は速くない - トレーニング不要のロスシー投機的デコードにおける長さのインフレーション
• Abstract要約: ロスレス検証は、ターゲットモデルの出力分布を保存し、このメトリックを有意義な効率プロキシにする。 緩和された検証は、主に推論トレースを拡張することによって完了を延長する。 全体として、1ラウンド当たりの許容トークンは、緩和された検証の下での復号速度の信頼性の低い尺度である。
• 参考スコア（独自算出の注目度）: 6.3897737399164924
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speculative decoding typically characterizes speedup by draft tokens accepted per verification round. Lossless verification preserves the target model's output distribution and thus expected completion length, making this metric a meaningful efficiency proxy. Relaxed (lossy) verification accepts tokens that lossless verification would reject, potentially altering that distribution. We identify a length inflation phenomenon: relaxed verification lengthens completions, primarily by extending reasoning traces, largely offsetting apparent gains in accepted tokens per round. We evaluate existing training-free relaxed verification rules on twelve target-drafter pairs against lossless verification on identical prompts, measuring completion length, verifier rounds, wall-clock time, and task accuracy. At each rule's most relaxed evaluated setting, relaxed verification on average accepts $1.34\times$ as many tokens per round but produces $1.54\times$ longer completions. For rules with higher acceptance lengths, tokens accepted only under relaxed verification tend to have low target-model probability, contributing to length inflation. For rules that reduce verifier rounds, accuracy typically drops substantially. Further analysis traces some failures to continued reasoning that exhausts the budget needed to deliver a final answer. Overall, accepted tokens per round alone is an unreliable measure of decoding speed under relaxed verification. Completion length and verifier rounds must also be reported to assess actual efficiency.
• Abstract（参考訳）: 投機的復号化は通常、検証ラウンド毎に受け入れられるドラフトトークンによるスピードアップを特徴付ける。 ロスレス検証は、対象モデルの出力分布と予測完了期間を保存し、この指標を有意義な効率プロキシにする。 リラクシド(ロッキーな)検証は、損失のない検証が拒否するトークンを受け入れ、その分布を変更する可能性がある。 緩和された検証は、主に推論トレースを延長することで完了を延長し、ラウンド毎に受け入れられたトークンの明らかな利得を相殺する。 我々は,12対の目標追従ペアに対する既存のトレーニングフリー緩和検証ルールを,同一のプロンプトにおけるロスレス検証,完了長さ,検証ラウンド,壁時計時間,タスク精度に対して評価した。 各ルールの最も緩やかに評価された設定では、平均で緩和された検証は、1ラウンドあたりのトークン数に対して1.34\times$を受理するが、1.54\times$より長い完了率で生成する。 より高い受け入れ長を持つ規則では、緩和された検証の下でのみ受け入れられるトークンはターゲットモデル確率が低く、長さのインフレーションに寄与する。 検証器のラウンドを減らすルールの場合、精度は概して大幅に低下する。 さらなる分析は、最終的な答えを提供するために必要な予算を浪費する継続的な推論にいくつかの失敗を辿る。 全体として、1ラウンド当たりの許容トークンは、緩和された検証の下での復号速度の信頼性の低い尺度である。 完了の長さと検証器のラウンドも報告し、実際の効率性を評価する必要がある。

関連論文リスト

• Nucleus Speculative Decoding: Plausibility-Aware Verification Beyond Exact Distribution [21.175751148936587]
  提案手法は,可視性を考慮した検証ルールであるSpeculative Decoding (NSD)を導入する。 NSDは、標準テストを通過したり、ターゲット核に属する場合、ドラフトトークンを受理するが、SDの残留補正とボーナスのサンプリングは変わらない。 NSDは比較対象のメソッドの中で最も高いスループットを実現し、オートレグレッシブデコードで最大5.16タイム、標準SDで最大3.15タイムのスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-10-06T06:18:16Z)
• Token-Disentangled Latent Test-Time Scaling for Vision-Language Reasoning [76.50676105904442]
  遅延テストタイムスケーリングは、推論中に隠れた状態を精錬することで推論を改善する。 既存のメソッドは通常、編集可能な潜在トークンすべてに単一のスカラー報酬を適用する。 Token-Disentangled Latent Test-Time Scalingは、潜在精錬トークンを認識できる推論時間フレームワークである。
  論文  参考訳（メタデータ） (2026-09-28T14:10:01Z)
• Verification-Aware Training for Speculative Decoding [57.84976863792784]
  VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。 VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。 VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
  論文  参考訳（メタデータ） (2026-08-31T01:42:10Z)
• Quantization Inflates Reasoning: Token Inflation as a Hidden Cost of Low-Bit Reasoning Models [19.14957817129379]
  学習後量子化の低ビット化はテスト時間計算コストを隠蔽できることを示す。 INT4/INT3量子化は精度を保ちつつも、推論と推論の使用量を増加させ、期待されるトーケン毎のスピードアップを相殺することを発見した。
  論文  参考訳（メタデータ） (2026-06-24T07:54:55Z)
• Test-Time Speculation [15.347747465564458]
  投機的復号化は、高速なドラフトモデルを使用してトークンとより正確なターゲットモデルを生成して推論を加速する。 本研究は,最先端の投機家でも受理長は世代長とともに低下することを示した。 我々は,テスト時に投機を継続的に適応させるオンライン蒸留手法である$textitTest-Time Speculation (TTS)$を提案する。
  論文  参考訳（メタデータ） (2026-05-10T05:02:39Z)
• Preventing the Collapse of Peer Review Requires Verification-First AI [49.995126139461085]
  我々は、真理結合、すなわち、過度に科学的真理をトラックする場所のスコアの厳密さを提案する。 プロキシ・ソブリン評価に向けた相転移を駆動する2つの力の形式化を行う。
  論文  参考訳（メタデータ） (2026-01-23T17:17:32Z)
• DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
  DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。 ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
  論文  参考訳（メタデータ） (2025-09-28T07:00:15Z)
• Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
  大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。 早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。 ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
  論文  参考訳（メタデータ） (2025-09-19T04:51:41Z)
• Think Before You Accept: Semantic Reflective Verification for Faster Speculative Decoding [48.52389201779425]
  投機的復号化は、軽量モデルを使用して複数のドラフトトークンを生成し、それらを並列に検証することで推論を加速する。 既存の検証手法は、意味的正確性を見越しながら、分布の整合性に大きく依存している。 我々は,学習自由でセマンティックなアプローチであるリフレクティブ検証を提案し,正確性と効率のトレードオフを改善する。
  論文  参考訳（メタデータ） (2025-05-24T10:26:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。