論文の概要: Revisiting Lossy Verification in Speculative Decoding: Mechanisms, Trade-offs, and Failure Modes

• arxiv url: http://arxiv.org/abs/2607.26627v1
• Date: Wed, 29 Jul 2026 08:54:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-30 21:06:25.585542
• Title: Revisiting Lossy Verification in Speculative Decoding: Mechanisms, Trade-offs, and Failure Modes
• Title（参考訳）: 投機的復号における損失検証の再検討:メカニズム、トレードオフ、障害モード
• Abstract要約: 本稿では,損失検証法によって誘導される分布の原理的解析について述べる。 一見異なる多くのアプローチが表面的にのみ異なることを示し、トラルニケーションに基づく検証と協調的な検証の2つのカテゴリに分類できる。
• 参考スコア（独自算出の注目度）: 19.68865985432786
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speculative Decoding (SD) accelerates large language model inference by allowing a lightweight draft model to propose tokens that are subsequently verified in parallel by a larger target model. Recent approaches introduce lossy verification schemes to further improve efficiency by relaxing strict distributional matching. Yet such relaxation silently rewrites the decoding distribution, and the resulting acceleration can come at the cost of unstable, sometimes severely degraded generation quality. In this work, we present a principled analysis of the distributions induced by lossy verification methods. We show that many seemingly distinct approaches differ only superficially and can be classified into two categories: truncation-based verification and collaborative verification. We further construct a diagnostic evaluation framework across curated benchmarks. For truncation-based methods, we identify a fundamental pitfall: performance can degrade significantly compared to the true truncation sampling baseline due to distributional distortion. For collaborative verification, we uncover a key principles: controlling the overshoot of draft probabilities relative to target probabilities is essential to prevent low-quality outputs. Our code is available at https://github.com/ZhouYuxuanYX/Fast-HSD.
• Abstract（参考訳）: 投機的復号(SD)は、軽量なドラフトモデルにより、より大きなターゲットモデルによって並列に検証されたトークンを提案できるようにすることで、大きな言語モデル推論を加速する。 近年の研究では、厳密な分布マッチングを緩和することで効率を向上するために、ロッキーな検証手法が導入されている。 しかし、そのような緩和は復号分布を静かに書き直し、結果として生じる加速は不安定で、時には著しく劣化した生成品質の犠牲になる可能性がある。 本研究では,損失検証法によって誘導される分布の原理的解析について述べる。 一見異なる多くのアプローチが表面的にのみ異なることを示し、トラルニケーションに基づく検証と協調的な検証の2つのカテゴリに分類できる。 さらに、キュレートされたベンチマークにまたがって診断評価フレームワークを構築する。 トラニケーションに基づく手法では, 分散歪みによる真のトラニケーションサンプリングベースラインと比較して, 性能が著しく低下する。 低品質のアウトプットを防ぐためには、目標確率に対するドラフト確率のオーバーシュートを制御することが不可欠である。 私たちのコードはhttps://github.com/ZhouYuxuanYX/Fast-HSD.comで公開されています。

関連論文リスト

• Interpreting Object-Dependent Concept Brittleness in Text-to-Image Diffusion Models [105.53190946111586]
  我々はこの現象をオブジェクト依存概念の脆さと呼ぶ。 これらの障害を監査し、最小限に修正する、解釈可能性指向のフレームワークを提案する。 複数の拡散バックボーンにまたがるスタイルと属性の故障事例について,提案手法の評価を行った。
  論文  参考訳（メタデータ） (2026-09-09T09:07:40Z)
• Calibrated Speculative Decoding: Frequency-Guided Candidate Selection for Efficient Inference [27.59556627479635]
  Calibrated Speculative Decodingは、標準検証によって破棄された有効なトークンを復元する。 Online Correction Memory は歴史的拒絶を集約し、繰り返し発散パターンを救助候補者として提案する。 Semantic Consistency Gatingは、正確なトークンマッチングの代わりに確率比を用いて候補許容性を検証する。
  論文  参考訳（メタデータ） (2026-04-15T09:01:54Z)
• ProtoDCS: Towards Robust and Efficient Open-Set Test-Time Adaptation for Vision-Language Models [32.840734752367275]
  Prototype-based Double-Check separation (ProtoDCS)はOSTTAの堅牢なフレームワークである。 csIDとcsOODを分離し、ビジョン言語モデルのcsIDデータへの安全かつ効率的な適応を可能にする。 ProtoDCSは、既知のクラス精度とOOD検出メトリクスの両方を大幅に向上させる。
  論文  参考訳（メタデータ） (2026-02-27T03:39:02Z)
• Towards Anytime-Valid Statistical Watermarking [63.02116925616554]
  我々は、任意の時間価推論で最適なサンプリングを統一する、最初のe-value-based watermarking frameworkであるAnchored E-Watermarkingを開発した。 本フレームワークはサンプル効率を大幅に向上させ,最先端のベースラインに対して,検出に必要な平均トークン予算を13～15%削減する。
  論文  参考訳（メタデータ） (2026-02-19T18:32:26Z)
• MARS: Unleashing the Power of Speculative Decoding via Margin-Aware Verification [7.935725883885573]
  Speculative Decoding (SD)は、自動回帰型大言語モデル(LLM)推論をデカップリングして高速化する。 対象モデルの局所的決定性に適応する訓練不要でドメインに依存しない検証戦略であるMargin-Aware Speculative Verificationを提案する。 本手法は,目標ロジットから直接測定した決定安定性の検証を行い,厳密な検証が最小限の利益をもたらす場合にのみ拒否を緩和する。
  論文  参考訳（メタデータ） (2026-01-21T22:03:06Z)
• Overcoming Joint Intractability with Lossless Hierarchical Speculative Decoding [58.92526489742584]
  我々は無益な無益な提案をする。 承認されたトークンの数を大幅に増加させる検証方法。 HSDは様々なモデルファミリやベンチマークの受け入れ率に一貫した改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-01-09T11:10:29Z)
• PROMISE: Process Reward Models Unlock Test-Time Scaling Laws in Generative Recommendations [52.67948063133533]
  生成レコメンデーションは有望なパラダイムとして現れ、階層的なセマンティックIDよりもシーケンス・ツー・シーケンス生成タスクとしてレコメンデーションを改革している。 既存の手法は、セマンティックドリフト(Semantic Drift)と呼ばれる重要な問題に悩まされ、初期、高レベルのトークンのエラーは、生成軌道を無関係な意味部分空間に不可逆的に分散させる。 本稿では,高密度なステップバイステップ検証を生成モデルに統合する新しいフレームワークPromiseを提案する。
  論文  参考訳（メタデータ） (2026-01-08T07:38:46Z)
• What Does It Take to Build a Performant Selective Classifier? [30.90225954725644]
  ベイズノイズ,近似誤差,ランキング誤差,統計的ノイズ,実装またはシフト誘起スラックについて検討した。 我々は,合成2モードデータと実世界のビジョンと言語ベンチマークを用いて,その分解を検証した。 その結果, (i)ベイズノイズとモデル容量の制限は, 実質的なギャップを考慮し, (ii) よりリッチで特徴を考慮したキャリブレータのみを有意義に改善し, (iii) データシフトは, 分散的に堅牢なトレーニングを必要とするスラックを別々に導入することを確認した。
  論文  参考訳（メタデータ） (2025-10-23T05:48:40Z)
• TrustLoRA: Low-Rank Adaptation for Failure Detection under Out-of-distribution Data [62.22804234013273]
  本稿では,共変量および意味的シフトの両条件下での拒絶による分類を統一し,促進する,単純な故障検出フレームワークを提案する。 キーとなる洞察は、障害固有の信頼性知識を低ランクアダプタで分離し、統合することにより、障害検出能力を効果的かつ柔軟に向上できるということです。
  論文  参考訳（メタデータ） (2025-04-20T09:20:55Z)
• Confidence-aware Training of Smoothed Classifiers for Certified Robustness [75.95332266383417]
  我々は「ガウス雑音下での精度」を、入力に対する対角的ロバスト性の容易に計算可能なプロキシとして利用する。 実験の結果, 提案手法は, 最先端の訓練手法による信頼性向上を継続的に示すことがわかった。
  論文  参考訳（メタデータ） (2022-12-18T03:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。