論文の概要: Breaking Diffusion: Parallel Reasoning with Draft Refinement

• arxiv url: http://arxiv.org/abs/2610.26542v1
• Date: Mon, 19 Oct 2026 15:02:45 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:30:40.23792
• Title: Breaking Diffusion: Parallel Reasoning with Draft Refinement
• Title（参考訳）: 分岐拡散: ドラフトリファインメントによる並列推論
• Abstract要約: パラレルリビジョンを提案し、候補ドラフトを評価するために、1つのデノイザを使用します。 我々は、デノイザーに、一様に破損したドラフトから全てのトークンを再構築するよう訓練し、保存と修復の両方を教えます。 Countdown, Sudoku-Extreme, Maze-Hard にまたがって, 本手法は自己回帰的, 離散的拡散ベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 30.497632141131835
• License:
• Abstract: Drafting an answer allows a reasoning model to reconsider each decision in the context of the others. Yet repeated diffusion denoising does not ensure that individually plausible token updates form a better answer together. We introduce Draft Refinement Language Models (DRLMs), which use a single denoiser to propose parallel revisions and evaluate a candidate draft. We train the denoiser to reconstruct every token from uniformly corrupted drafts, teaching both preservation and repair. Its predictions specify revisions directly, without a diffusion reverse transition. Evaluation requires a different use of these predictions: confidence in an existing token reflects both contextual support and evidence from observing the token itself. Using the known corruption process, we correct for this self-token evidence to estimate how well each token is supported by the prompt and the remaining draft. Aggregating these estimates yields a cavity energy computed in one forward pass, without an additional scoring model. Each round proposes a revision, reads the completed candidate in its revised context, and retains it only if its energy is lower. Across Countdown, Sudoku-Extreme, and Maze-Hard, our method outperforms autoregressive and discrete diffusion baselines. With 6M parameters, DRLM reaches 44.4% on Countdown-5 and 93.9% on Sudoku-Extreme. The results establish complete-draft parallel refinement as an effective alternative to reverse diffusion for complex reasoning.
• Abstract（参考訳）: 答をドラフトすることで、推論モデルは他の決定を他の決定の文脈で再考することができる。 しかし、反復拡散復号化は、個別に妥当なトークン更新が一緒により良い答えとなることを保証しない。 本稿では,1つのデノイザを用いてパラレルリビジョンを提案し,提案するドラフトを評価するDraft Refinement Language Models (DRLMs)を紹介する。 我々は、デノイザーに、一様に破損したドラフトから全てのトークンを再構築するよう訓練し、保存と修復の両方を教えます。 その予測は拡散逆遷移なしで直接リビジョンを規定する。 既存のトークンに対する信頼は、トークン自体を観察することによるコンテキストのサポートとエビデンスの両方を反映します。 既知の汚職プロセスを用いて、各トークンがプロンプトと残りのドラフトによってどれだけうまくサポートされているかを推定するために、この自己証明を正す。 これらの推定を集約すると、1つのフォワードパスで計算された空洞エネルギーが、追加のスコアリングモデルなしで得られる。 各ラウンドはリビジョンを提案し、完了した候補をその改訂された文脈で読み出し、そのエネルギーが低い場合にのみ保持する。 Countdown, Sudoku-Extreme, Maze-Hard にまたがって, 本手法は自己回帰的, 離散的拡散ベースラインを上回っている。 6Mパラメータでは、DRLMはCountdown-5で44.4%、Sudoku-Extremeで93.9%に達する。 その結果、複素推論のための逆拡散の有効な代替手段として、完全ドラフト並列精製が確立された。

関連論文リスト

• D-Loop: Looped Diffusion Drafting for Speculative Decoding [40.63736504523389]
  ブロック拡散は、1つのフォワードパスで複数のトークンを起草することで投機的復号化を加速する。 各位置は、以前の提案されたトークンを観察せずに限界分布を予測し、ドラフト品質と受け入れ長を制限する。 最近の手法では、追加の因果頭部または別々に訓練されたドラフトナーで限界予測を洗練させる。 D-Loopを提案する。これは、モデルコンポーネントを追加せずにオリジナルの拡散プロダクタ内にエンピントラブロック因果条件を導入する。
  論文  参考訳（メタデータ） (2026-10-05T09:08:24Z)
• Rethinking Soft Tokens for Parallel Decoding in Diffusion Language Models [62.63931587313321]
  拡散言語モデル(DLMs)は、各段階で複数のトークンを予測してコミットすることで並列生成を可能にする。 最近の研究は、emphsoftトークンが不確実な位置を表すことによってこの問題を緩和できることを示している。 ソフトトークンフィードバックが並列デコードをどのように改善するかは、体系的に検討されていない。
  論文  参考訳（メタデータ） (2026-09-29T12:38:30Z)
• Carryover Drafting: Recycling Rejected States for Speculative Decoding [19.01427604285096]
  投機的復号化 LLM は複数の起草トークンを並列に検証することで推論を加速する。 従来の起草者は、承認されたトークンの表現のみを保持し、拒否されたトークンに費やされた実質的な検証は、効果的に無駄にされたままである。 パラレルドラフト-検証--ドラフトトレーニングを導入する。
  論文  参考訳（メタデータ） (2026-09-13T18:20:31Z)
• DFlow: Enabling Verifier Information Flow in Block Diffusion Speculative Decoding [25.203742152821548]
  筆者らは,ドラフトラウンドをまたいで検証情報を流すフレームワークであるDFlowを提案する。 DFlowは、削除された接尾辞のためにターゲット検証者によって生成された隠された状態を再利用し、その後の起草をガイドする。 さまざまなベンチマークを対象としたQwen3モデルの実験では、DFlowがDFlashよりもドラフト品質と受け入れ期間を一貫して改善していることが示されている。
  論文  参考訳（メタデータ） (2026-09-06T09:25:56Z)
• ResiSpec: Enhancing Multi-Candidate Speculative Sampling via Residual Distribution Shaping [79.1905186547363]
  ResiSpecは、検証中に提案の配布を戦略的に改革するフレームワークである。 候補の偏光を防止し、最先端のマルチ候補法よりも最大1.92$times$スピードアップを達成する。
  論文  参考訳（メタデータ） (2026-08-25T11:25:55Z)
• Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training [51.18425726646089]
  我々は、画像とビデオの拡散モデルのための統合潜在空間フレームワークであるtextscSUREを提案する。 報酬分布を学習し、信頼性を直接利用して、密集したポストトレーニングをガイドする。 textscSURE-REFLは評価手法の中で最も高いVBench品質、セマンティック、総得点を達成する。
  論文  参考訳（メタデータ） (2026-08-06T14:55:42Z)
• D^2SD: Accelerating Speculative Decoding with Dual Diffusion Draft Models [27.44373450962651]
  最近の拡散ベースのドラフトラはトークンのブロック全体を並列に生成するが、通常は検証毎に単一のドラフトシーケンスにコミットする。 D2SDは,候補を信頼誘導プレフィックスツリーに整理する,二重拡散ドラフト投機的復号化フレームワークである。 結果として得られた共有誘導候補は、カスケードの注意を通して共同で検証される。
  論文  参考訳（メタデータ） (2026-06-03T04:48:00Z)
• CopT: Contrastive On-Policy Thinking with Continuous Spaces for General and Agentic Reasoning [22.944748148277146]
  CopTは、通常の思考と回答の順序を逆転する、改訂された推論パイプラインである。 CopTは、ドラフト回答を付与し、その後、独自のドラフト回答で条件付きで、後続のオンライン思考を起動する。 CopTはピーク精度を最大23%改善し、トークン使用量を最大57%削減する。
  論文  参考訳（メタデータ） (2026-05-19T16:28:53Z)
• CEPO: RLVR Self-Distillation using Contrastive Evidence Policy Optimization [50.59956036193097]
  検証可能な報酬(RLVR)を用いた強化学習における正しい解を生成するモデル 各トークンは、決定的な推論ステップであれ、文法的なフィラーであれ、同じ報酬信号を受信する。 コントラストエビデンスポリシー最適化(CEPO)を提案する。 CEPOは、全てのトークンに対してよりシャープな質問をする:「正しい答えは、このトークンを好むか?」が、「正しい答えは、正しい答えは、それを好む一方で、間違った答えはそれを好まないか?」。
  論文  参考訳（メタデータ） (2026-05-19T06:46:19Z)
• Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
  大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。 早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。 ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
  論文  参考訳（メタデータ） (2025-09-19T04:51:41Z)
• Think Before You Accept: Semantic Reflective Verification for Faster Speculative Decoding [48.52389201779425]
  投機的復号化は、軽量モデルを使用して複数のドラフトトークンを生成し、それらを並列に検証することで推論を加速する。 既存の検証手法は、意味的正確性を見越しながら、分布の整合性に大きく依存している。 我々は,学習自由でセマンティックなアプローチであるリフレクティブ検証を提案し,正確性と効率のトレードオフを改善する。
  論文  参考訳（メタデータ） (2025-05-24T10:26:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。