論文の概要: ReAnchor: Reusing Rejected Verifier States for Diffusion Drafting

• arxiv url: http://arxiv.org/abs/2610.26531v1
• Date: Mon, 19 Oct 2026 14:57:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 02:44:14.972921
• Title: ReAnchor: Reusing Rejected Verifier States for Diffusion Drafting
• Title（参考訳）: ReAnchor: 拡散ドラフトにおける拒否検証条件の再利用
• Abstract要約: ブロック拡散プロダクタは、1つのフォワードパスで複数のドラフトトークンを生成することで投機的デコーディングを加速する。 ReAnchorは、事前訓練されたドラフト作成者を移動位置で待ち伏せして並列なドラフトブロックを生成する訓練不要な手法である。
• 参考スコア（独自算出の注目度）: 41.71023208269669
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Block diffusion drafters accelerate speculative decoding by generating multiple draft tokens in a single forward pass. However, each pass produces only a fixed-length block from a single target-generated anchor, limiting how far the draft can extend. Meanwhile, target verification computes hidden states even at positions beyond the first rejection, but these states are typically discarded rather than reused. We propose ReAnchor, a training-free method that reanchors a pretrained drafter at shifted positions using discarded verifier states to generate parallel draft blocks. These blocks improve predictions within the original block and extend coverage beyond its endpoint. At sampling temperature of T=0, ReAnchor achieves its largest average gains on Gemma 4-12B, improving acceptance length by 19.4% and decoding speed by 17.9% across eight benchmarks. Averaged equally over four target models and eight benchmarks, it improves acceptance length by 15.2% and decoding speed by 13.4% with pretrained DFlash drafters.
• Abstract（参考訳）: ブロック拡散プロダクタは、1つのフォワードパスで複数のドラフトトークンを生成することで投機的デコーディングを加速する。 しかし、各パスは1つのターゲット生成アンカーから固定長ブロックだけを生成し、ドラフトがどれだけ拡張できるかを制限する。 一方、ターゲット検証は、最初の拒絶を超えた位置でも隠れた状態を計算するが、これらの状態は再利用されるのではなく、一般的に破棄される。 ReAnchorは、捨てられた検証条件を用いて、学習済みのドラフト作成者をシフト位置で待ち伏せし、並列なドラフトブロックを生成する訓練不要な手法である。 これらのブロックは元のブロック内での予測を改善し、エンドポイントを超えてカバレッジを拡張する。 T=0のサンプリング温度では、ReAnchorはGemma 4-12Bで最大の平均ゲインを達成し、受け入れ長を19.4%、復号速度を17.9%改善した。 4つのターゲットモデルと8つのベンチマークで等しく評価され、事前訓練されたDFlashドラフトラで15.2%、復号速度が13.4%向上した。

関連論文リスト

• One Block Ahead: Promoting Sampler State in Diffusion Language Models [99.46600508506799]
  ブロック拡散言語モデルはトークンの位置のブロック全体を並列に識別し、各フォワードパスは多数のトークンを出力する。 学習不要な復号アルゴリズムであるOne Block Ahead (OBA)を提案する。
  論文  参考訳（メタデータ） (2026-10-14T03:28:31Z)
• Carryover Drafting: Recycling Rejected States for Speculative Decoding [19.01427604285096]
  投機的復号化 LLM は複数の起草トークンを並列に検証することで推論を加速する。 従来の起草者は、承認されたトークンの表現のみを保持し、拒否されたトークンに費やされた実質的な検証は、効果的に無駄にされたままである。 パラレルドラフト-検証--ドラフトトレーニングを導入する。
  論文  参考訳（メタデータ） (2026-09-13T18:20:31Z)
• Ceiling-Clipped Acceptance Histograms Indicate Stranded Speed-up in Block-Diffusion Speculative Decoding [0.008640713300591884]
  投機的復号化は効率的なドラフトモデルによる生成を高速化する(後述) DFlashやDFlareのような高速なブロック拡散ドラフトラは、ブロック全体を1つの並列パスで埋める。 我々は、新しく公開された位置を強調する短いカリキュラムで、より長いブロックでドラフト作成者の訓練を後押しする。
  論文  参考訳（メタデータ） (2026-08-31T08:23:14Z)
• Verification-Aware Training for Speculative Decoding [57.84976863792784]
  VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。 VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。 VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
  論文  参考訳（メタデータ） (2026-08-31T01:42:10Z)
• ReTrace: Rejected-Trajectory Conditioning for Speculative Decoding [46.17292752074153]
  本稿では,前回のラウンドから削除された接尾辞に対して,各ドラフトブロックを条件付けするReTraceを紹介する。 ReTraceは、DFlashバックボーン上で、平均受信長とエンドツーエンドの復号速度を継続的に改善する。
  論文  参考訳（メタデータ） (2026-08-30T12:20:54Z)
• DBLAST: Dependent Block Drafting for Stochastic Speculative Decoding [26.72775347772003]
  対象サンプリング分布のエントロピーが増加するにつれて,受理されたドラフト長が劣化することを示す。 本稿では,トークン位置上での低ランク遅延混合に基づいて,受入指向の学習目標を補完する依存ブロック起草手法を提案する。
  論文  参考訳（メタデータ） (2026-08-05T22:49:54Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• TAPS: Target-Aware Prefix Tree Selection for Diffusion-Drafted Speculative Decoding [4.5881678566958985]
  パラレルドラフトに拡散モデルを用いることは、投機的復号法には有望なアプローチである。 単一のシーケンスの検証は受け入れ期間を制限し、大きなドラフトツリーの検証は過度なターゲットモデル遅延を引き起こす。 本稿では,拡散限界を経路条件付き受入推定値に変換するターゲット対応プレフィックス選択法TAPSを提案する。
  論文  参考訳（メタデータ） (2026-05-30T02:39:40Z)
• SpecBlock: Block-Iterative Speculative Decoding with Dynamic Tree Drafting [25.273024580844346]
  SpecBlockはブロックイテレーティブなドラフトアで、パス依存と安価なドラフトを組み合わせています。 デプロイ時のコストを意識した盗聴は、無償の検証者フィードバックを使用して、ドラフトを選択的に更新する。
  論文  参考訳（メタデータ） (2026-05-08T04:59:48Z)
• Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
  大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。 早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。 ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
  論文  参考訳（メタデータ） (2025-09-19T04:51:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。