論文の概要: From Position Risks to Block Survival: Faster Generation for Diffusion Language Models
- arxiv url: http://arxiv.org/abs/2609.33390v1
- Date: Sun, 27 Sep 2026 09:11:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:26:54.810426
- Title: From Position Risks to Block Survival: Faster Generation for Diffusion Language Models
- Title（参考訳）: 位置リスクからブロック生存へ:拡散言語モデルの高速生成
- Abstract要約: 拡散言語モデル(DLM)は複数のトークンを並列に予測することで生成を加速することができる。
これらのトークンの予測方法と、最終的に生成にどのように貢献するかの間には、ミスマッチがあります。
BRISK-DLM(BRISK-DLM)は、提案学習の最適化と、検証された進捗に対する選択によって、両者のミスマッチに対処するフレームワークである。
- 参考スコア（独自算出の注目度）: 8.476731545781847
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion language models (DLMs) can accelerate generation by predicting multiple tokens in parallel, but there is a mismatch between how these tokens are predicted and how they ultimately contribute to generation. Parallel predictions can hardly condition on the tokens selected earlier within the same block, even though their validity depends on this realized prefix. Under the popular proposal-verification decoding, this mismatch makes errors highly asymmetric: an early rejection prevents all subsequent proposals from contributing decoding progress. We introduce BRISK-DLM, a framework that addresses both mismatches by optimizing proposal learning and selection for verified progress. BRISK-DLM trains on self-generated sequences, using risk-reward weighting to dynamically prioritize positions by their impact on verified progress and decoding cost. During inference, a lightweight prefix-conditioned corrector reranks existing candidates using previously selected tokens and preferences distilled from the model's own verifier. The corrector reuses the backbone's parallel representations and requires no additional backbone evaluation, while fused execution keeps its overhead small. BRISK-DLM improves end-to-end throughput by up to 37.4% while preserving task quality, establishing a new quality-throughput frontier for DLM generation.
- Abstract（参考訳）: 拡散言語モデル(DLM)は、複数のトークンを並列に予測することで生成を加速することができるが、これらのトークンの予測方法と、それらが最終的に生成にどのように貢献するかの間にはミスマッチがある。
並列予測は、同じブロック内でより早く選択されたトークンにほとんど条件を付けることができないが、その妥当性はこの実現したプレフィックスに依存している。
一般的な提案検証デコードの下で、このミスマッチはエラーを高度に非対称にする。
BRISK-DLM(BRISK-DLM)は、提案学習の最適化と、検証された進捗に対する選択によって、両者のミスマッチに対処するフレームワークである。
BRISK-DLMは、リスク・リワード重み付けを用いて自己生成シーケンスを訓練し、検証された進捗と復号コストへの影響によって位置を動的に優先順位付けする。
推論中、軽量なプレフィックス条件付き修正器は、モデル独自の検証器から抽出された選択されたトークンと好みを使って既存の候補を再参照する。
修正子は、バックボーンの並列表現を再利用し、追加のバックボーン評価を必要としない。
BRISK-DLMは、タスク品質を維持しながらエンドツーエンドのスループットを最大37.4%改善し、DLM生成のための新しい品質スループットフロンティアを確立する。
関連論文リスト
- Dependency-Aware Revocable Decoding for Efficient Diffusion Large Language Model Inference [26.756607509798382]
Dependency-Aware Revocable Decoding (DARD) は、トークンをマスク、候補、非マスク状態に分離するトレーニング不要のフレームワークである。
DARDは、最近のデコード方式よりも、スピードクオリティのフロンティアを一貫して改善している。
論文 参考訳（メタデータ） (2026-08-27T03:34:47Z) - ResiSpec: Enhancing Multi-Candidate Speculative Sampling via Residual Distribution Shaping [79.1905186547363]
ResiSpecは、検証中に提案の配布を戦略的に改革するフレームワークである。
候補の偏光を防止し、最先端のマルチ候補法よりも最大1.92$times$スピードアップを達成する。
論文 参考訳（メタデータ） (2026-08-25T11:25:55Z) - D^2SD: Accelerating Speculative Decoding with Dual Diffusion Draft Models [27.44373450962651]
最近の拡散ベースのドラフトラはトークンのブロック全体を並列に生成するが、通常は検証毎に単一のドラフトシーケンスにコミットする。
D2SDは,候補を信頼誘導プレフィックスツリーに整理する,二重拡散ドラフト投機的復号化フレームワークである。
結果として得られた共有誘導候補は、カスケードの注意を通して共同で検証される。
論文 参考訳（メタデータ） (2026-06-03T04:48:00Z) - SimSD: Simple Speculative Decoding in Diffusion Language Models [61.33773959352141]
拡散大言語モデル (dLLMs) は、並列またはブロックワイド復号による高速な推論を提供する。
彼らのマスク付き言語モデリングの定式化は、標準的なトークンレベルの投機的復号法とは相容れないままである。
我々は,dLLMに時間的に有効なトークンレベルのコンテキストを付与する,SimSDと呼ばれるdLLMの投機的復号アルゴリズムを提案する。
提案手法は,平均生成品質を維持しつつ,最大7.46倍高い復号スループットを実現する。
論文 参考訳（メタデータ） (2026-06-01T17:46:46Z) - PSD: Pushing the Pareto Frontier of Diffusion LLMs via Parallel Speculative Decoding [32.667256256847246]
拡散大言語モデル (dLLMs) は、マスク付きトークンシーケンスを反復的に記述することでテキストを生成する。
両軸に沿って推論を共同で改善するトレーニングフリーフレームワークであるParallel Speculative Decoding (PSD)を提案する。
論文 参考訳（メタデータ） (2026-05-15T04:43:02Z) - PROMISE: Process Reward Models Unlock Test-Time Scaling Laws in Generative Recommendations [52.67948063133533]
生成レコメンデーションは有望なパラダイムとして現れ、階層的なセマンティックIDよりもシーケンス・ツー・シーケンス生成タスクとしてレコメンデーションを改革している。
既存の手法は、セマンティックドリフト(Semantic Drift)と呼ばれる重要な問題に悩まされ、初期、高レベルのトークンのエラーは、生成軌道を無関係な意味部分空間に不可逆的に分散させる。
本稿では,高密度なステップバイステップ検証を生成モデルに統合する新しいフレームワークPromiseを提案する。
論文 参考訳（メタデータ） (2026-01-08T07:38:46Z) - DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。
ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
論文 参考訳（メタデータ） (2025-09-28T07:00:15Z) - Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。
我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。
Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
論文 参考訳（メタデータ） (2025-08-27T15:40:25Z) - Think Before You Accept: Semantic Reflective Verification for Faster Speculative Decoding [48.52389201779425]
投機的復号化は、軽量モデルを使用して複数のドラフトトークンを生成し、それらを並列に検証することで推論を加速する。
既存の検証手法は、意味的正確性を見越しながら、分布の整合性に大きく依存している。
我々は,学習自由でセマンティックなアプローチであるリフレクティブ検証を提案し,正確性と効率のトレードオフを改善する。
論文 参考訳（メタデータ） (2025-05-24T10:26:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。