論文の概要: When Does Better Acceptance Pay? A Controlled Study of Speculative Decoding

• arxiv url: http://arxiv.org/abs/2610.24993v2
• Date: Tue, 20 Oct 2026 07:26:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.2812
• Title: When Does Better Acceptance Pay? A Controlled Study of Speculative Decoding
• Title（参考訳）: アクセプタンス報酬はいつ改善されるか? : 投機的復号化の制御研究
• Abstract要約: 我々は、トレーニング、推論、評価、リリースされたチェックポイントの再評価、および6つのドラフト作成レシピの再トレーニングにまたがる比較プロトコルを確立する。 受け入れは、ほぼ自由な目的とコンテキストの変更、あるいはより高価なトークンツートークンの条件付けによって改善できる。 これらの知見は、将来のドラフト設計と展開の選択を示唆する。
• 参考スコア（独自算出の注目度）: 28.4584857046122
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The throughput gains of speculative decoding depend on the trade-off between acceptance length and execution latency. We ask when additional acceptance is worth the cost of obtaining it. We establish a comparison protocol spanning training, inference, and evaluation, remeasuring released checkpoints and retraining six drafter recipes on shared target-generated data across ten benchmarks and two target models. Alignment changes the picture: gaps that appear large in published comparisons shrink substantially under shared training and inference conditions. This narrowing motivates two deeper questions: how is acceptance improved at different costs, and when do these gains improve throughput? We find that acceptance can be improved through nearly free objective and context changes or more expensive token-to-token conditioning. DCore illustrates the former route as a strong baseline with little additional measured drafting overhead. The payoff is conditional: task uncertainty and serving conditions affect acceptance returns, execution costs, and the preferred drafter and budget. These findings inform future drafter design and deployment choices.
• Abstract（参考訳）: 投機的復号化のスループット向上は、受け入れ長と実行遅延の間のトレードオフに依存する。 追加の受け入れがそれを得るためのコストに価値があるか尋ねる。 トレーニング,推論,評価,リリースされたチェックポイントの再評価,および10のベンチマークと2つのターゲットモデルで共有されたターゲット生成データに対する6つのプロジェクタレシピの再学習を対象とする比較プロトコルを確立する。 比較によって大きく見えるギャップは、共有トレーニングと推論条件下で大幅に縮小する。 受け入れは異なるコストでどのように改善され、いつスループットが向上するのでしょうか? 受け入れは、ほぼ自由な目的とコンテキストの変更、あるいはより高価なトークンツートークンの条件付けによって改善できる。 DCoreは、以前のルートを、測定されたドラフトのオーバーヘッドをほとんど加えることなく、強力なベースラインとして説明している。 タスクの不確実性とサービス条件は、受け入れリターン、実行コスト、望ましいドラフトと予算に影響します。 これらの知見は、将来のドラフト設計と展開の選択を示唆する。

関連論文リスト

• Reciprocal Guidance: Orchestrating Draft and Verify Budgets for Advancing the Diffusion-AR Self-Speculation Frontier [2.9120852999831777]
  自己推論モデルは、共有バックボーン内でドラフトと検証を統合することで、投機的パイプラインを単純化する。 Reciprocal Guidance(RecGuide)は、投機的復号化をさまざまなサービス負荷に適応させるランタイムドラフト検証オーケストレーションフレームワークである。 さまざまなレベルにわたる実験は、バニラの自己定義よりも一貫したスループットの向上を示し、最大1.8タイムのスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-09-28T06:04:32Z)
• Counterfactual Self-Evolving Agents for Evidence-Grounded Reasoning [35.98610301736344]
  セルフプレイプロジェクタ-ソルバ手法は、タスクを生成し、検証されたソリューションから学習することで推論を改善する。 そこで,本論文では,原事例を再考するための反実的文脈を生成する反実的自己進化について紹介する。 トレーニング可能なプロポーラは、対象とするエビデンスを編集し、因果的説明で潜在的な結果の変化を記述する。
  論文  参考訳（メタデータ） (2026-09-26T18:54:50Z)
• Same Scores, Different Decisions: Evaluating JEV and Language Models for Legal Document Understanding [65.85599131866623]
  私たちはJevとContractNLIの9つの言語モデルを比較します。 制御された比較は、仮説の可視性、要求された出力、および出力順序によって異なる。 Jevは、評価された構成の中で、最低コストと中央値のレスポンス時間を持っています。
  論文  参考訳（メタデータ） (2026-09-23T10:53:01Z)
• CREDO: Variance-Guided Rubric Evolution for Replay-Corrected Credit Assignment [0.0]
  セマンティックルーリックを選択的に実行ベースの信用補正と組み合わせたフレームワークであるCredoを提案する。 条件付き不偏性と2つの設計選択を結合する分散分解を導出する。 そこで本稿では,PPO実装のクリッピング化とトークン正規化を両立させ,その実装を理想的なポリシ・グラディエント推定器と区別する。
  論文  参考訳（メタデータ） (2026-09-21T06:43:58Z)
• Acceptance-Aware Draft Model Training for Speculative Decoding [10.581975492329114]
  提案手法では,投機窓内での受理トークン数を直接最適化する受入長対応学習損失を提案する。 異なるターゲットモデル、ドラフトモデル、タスク、デコード設定にわたる実験により、我々の損失はKLベースのトレーニングよりも受け入れ期間を一貫して改善することが示された。
  論文  参考訳（メタデータ） (2026-09-21T06:02:51Z)
• Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization [74.91418266859297]
  インプシットプロセス報酬モデル(PRM)は、推論プロセスに沿ってきめ細かな報酬信号を提供する。 トレーニングはシーケンスレベルの集約のみを制限しますが、推論はローカルステップの品質を反映するためにトークンレベルのスコアが必要です。 本稿では,予測精度を推定するプレフィックス条件付き値関数を直接学習する新しいインプリシット・プレフィックス・バリュー・リワード・モデル(IPVRM)を提案する。 また,サンプルトークンと高確率候補トークンの両方に対してTDの利点を演算する分散レベルRL(DistRL)を提案する。
  論文  参考訳（メタデータ） (2026-04-14T18:19:54Z)
• Position: The Hidden Costs and Measurement Gaps of Reinforcement Learning with Verifiable Rewards [110.47944672736723]
  我々は、RLVR税、評価落とし穴、データ汚染という3つの力によって利回りが過大評価されることが多いと論じている。 本稿では, 精度, グラウンド, キャリブレーションを両立させる税意識訓練・評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2025-09-26T05:06:25Z)
• Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
  大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。 早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。 ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
  論文  参考訳（メタデータ） (2025-09-19T04:51:41Z)
• Train Long, Think Short: Curriculum Learning for Efficient Reasoning [51.506559652495476]
  長さ制御推論のためのカリキュラム学習戦略を提案する。 当社の手法は寛大なトークン予算から始まり、トレーニングをしながら徐々に厳格化します。 GSM8K、MATH500、SVAMP、College Math、GSM+の実験は、カリキュラムベースのトレーニングが固定予算ベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2025-08-12T13:48:03Z)
• Unsupervised Dense Retrieval with Relevance-Aware Contrastive Pre-Training [81.3781338418574]
  関連性を考慮したコントラスト学習を提案する。 我々は、BEIRおよびオープンドメインQA検索ベンチマークにおいて、SOTAアン教師なしコントリバーモデルを一貫して改善する。 本手法は, 目標コーパスの事前訓練後, BM25に打ち勝つだけでなく, 優れた数発学習者として機能する。
  論文  参考訳（メタデータ） (2023-06-05T18:20:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。