論文の概要: PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2609.26249v1
• Date: Thu, 13 Aug 2026 05:12:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.933217
• Title: PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models
• Title（参考訳）: PACE-dLLM:拡散言語モデルに対する信頼度クリフ推定による弾力的ブロックデコーディング
• Abstract要約: PACE-dLLMは、オープンソースのdLLMとオープンソースのDreamの両方で最高の平均精度を達成する。 4つの推論とコードベンチマークにおいて、PACE-dLLMは両方のオープンソースdLLM上で最高の平均精度を達成する。
• 参考スコア（独自算出の注目度）: 40.01879961845798
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion language models (dLLMs), such as LLaDA and Dream, have become competitive with autoregressive (AR) LLMs in generation quality while supporting native parallel decoding. A standard acceleration strategy is block-wise decoding, where each forward pass predicts a block of length B and commits high-confidence tokens. However, B couples two distinct decisions: the look-ahead horizon and the number of tokens to commit. Existing accelerators address this limitation through indirect heuristics, such as volatility tracking, delimiter detection, and learned scoring. In contrast, we show that the required information is already encoded in the model's own per-step confidence: in-window confidence typically follows a context-dependent cliff, whose saturation point directly identifies the appropriate look-ahead horizon. We propose PACE-dLLM, which fits this parametric cliff in closed form at each step, sets the next horizon by its saturation point, and uses an independent confidence threshold for token commitment. Under a saturated-yield abstraction, we show that the cliff-anchored horizon is the smallest horizon attaining maximal useful per-pass yield: fixed horizons that undershoot it incur a worse asymptotic NFE rate, while overshooting adds no useful yield. On four reasoning and code benchmarks, PACE-dLLM achieves the best average accuracy on both open-source dLLM backbones, with average wall-clock speedups of 5.23x on LLaDA and 3.06x on Dream (up to 8.52x on math) over the unaccelerated semi-AR baseline, advancing the quality-throughput Pareto frontier.
• Abstract（参考訳）: LLaDAやDreamのような拡散言語モデル(dLLM)は、ネイティブ並列デコーディングをサポートしながら、自動回帰(AR)LLMと競合している。 標準的なアクセラレーション戦略はブロックワイズ復号であり、各フォワードパスは長さBのブロックを予測し、高信頼トークンをコミットする。 しかしながら、Bでは、ルックアヘッドの水平線とコミットするトークンの数という、2つの異なる決定を分けています。 既存のアクセラレーターは、ボラティリティ追跡、デリミタ検出、学習スコアなどの間接的ヒューリスティックな手法を通じて、この制限に対処する。 これとは対照的に、必要となる情報はモデル自身のステップごとの信頼度にすでに符号化されていることを示し、ウィンドウ内信頼度は通常、飽和点が適切なルックアヘッド水平線を直接識別するコンテキスト依存の崖に従う。 本稿では,このパラメトリック崖を各ステップで閉じた形状に適合させ,その飽和点によって次の地平線を定め,トークンのコミットメントに独立した信頼しきい値を用いる PACE-dLLM を提案する。 飽和収率の抽象の下では, 崖面アンコールド地平線は, 通過当たりの利得が最大となる最小の地平線であることが示され, 固定地平線はよりひどい漸近性NFE速度を生じさせる一方, オーバーシュートは有用利得を生じない。 4つの推論とコードベンチマークにおいて、PACE-dLLMはオープンソースのdLLMバックボーンで最高の平均精度を達成し、LLaDAでは5.23倍、Dreamでは3.06倍(数学では8.52倍)を、加速されていないセミARベースライン上で達成し、品質・スループのParetoフロンティアを前進させた。

関連論文リスト

• Trajectory-Level Speculative Decoding for Diffusion Language Models [16.97093186372498]
  拡散ベースの言語モデル (dLLM) は反復的復号化による並列トークン生成を可能にするが、既存の復号化戦略は信頼性の低い単一トークン生成に崩壊する。 そこで我々は,信頼層木探索による起草軌道構築のためのトラジェクトリレベルの投機フレームワークを開発した。 我々のフレームワークはデノーミングを30～40%削減し、トークン単位のステップを2.6から4.3に増やし、バニラdLLMを7～14倍、Fast-dLLMを1.3倍、推論とコードベンチマークを1%未満で高速化する。
  論文  参考訳（メタデータ） (2026-08-27T09:42:20Z)
• Ripple-Pivot Search: Active Parallel Decoding for Diffusion Large Language Models [66.32132912853372]
  Diffusion Large Language Models (dLLMs) は自己回帰型言語モデルの競合代替として登場した。 本研究では,中間エントロピー位置を有望な候補ピボットとして求める訓練自由復号法であるRipple-Pivot Search (RPS)を提案する。 RPSは、生成品質を維持しながら標準デコーダの4-10$times$wall-clockスピードアップを実現し、以前のルックアヘッドベースラインの精度を最大5.49%向上させる。
  論文  参考訳（メタデータ） (2026-08-12T07:32:29Z)
• TACG: Trajectory-Aware Commit Gating for Diffusion Language Model Decoding [38.72024551312125]
  Trajectory-Aware Commit Gating (TACG) は、トークンのIDを後部に固定するゲートレベルのデコーダである。 TACGをLLaDA,Dream,LLaDA2-Miniベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-07-03T11:45:21Z)
• FAIR-Calib: Frontier-Aware Instability-Reweighted Calibration for Post-Training Quantization of Diffusion Large Language Models [50.86041384789834]
  エンドツーエンドの拡散ロールアウトを必要とせずに、脆弱なフロンティア状態の保護を優先するdLLMのための2段階PTQフレームワークを提案する。 我々は、FAIR-CalibがLLaDAとDream(W4A4)の最先端ベースラインを一貫して上回り、フロンティア決定のフリップを減らし、様々なベンチマークにおけるコミット後のミスマッチを抑制することを示した。
  論文  参考訳（メタデータ） (2026-06-04T08:00:51Z)
• Efficient Long-Context Modeling in Diffusion Language Models via Block Approximate Sparse Attention [58.484607892210015]
  Diffusion Language Models (DLM) は、グローバルコヒーレント、双方向、および制御可能なテキスト生成を可能にする。 既存の多くのブロックスパースアテンション手法は、高分解能アテンション空間上の固定サンプリングパターンによってブロックを選択する。 本稿では,ブロックワイド事前サンプリング操作によるBA-Att(Block Approximate Sparse Attention framework)を提案する。
  論文  参考訳（メタデータ） (2026-05-19T12:01:13Z)
• Prefix-Adaptive Block Diffusion for Efficient Document Recognition [52.15352911463151]
  ブロック拡散モデル(BDM)は並列生成、フレキシブルな出力、KVキャッシュをサポートし、効率的な文書解析を約束する。 本稿では,前置詞から接尾辞への因果表記に代えて,ブロック内双方向化を代替するPrefix-Block Diffusion Model (PA-BDM)を提案する。 実験の結果、3B PA-BDMはいくつかのベンチマークで高い認識スコアを達成し、2.5B MinerU-Diffusionに対して推論スループットを71.6%向上した。
  論文  参考訳（メタデータ） (2026-05-16T07:50:13Z)
• LEAP: Unlocking dLLM Parallelism via Lookahead Early-Convergence Token Detection [35.2079721755684]
  LEAP(Lookahead Early-Convergence Token Detection for Accelerated Parallel Decoding)を紹介する。 LEAPは、将来のコンテキストフィルタリングとマルチシーケンス重ね合わせを利用して早期収束トークンを検出する、トレーニングフリーのプラグアンドプレイ方式である。 GSM8Kデータセットでは、LEAPとdParallelを組み合わせることで、モデル精度を維持しながら、ステップ毎に7.2トークンにデコードが高速化される。
  論文  参考訳（メタデータ） (2026-05-09T03:26:23Z)
• Beyond Scattered Acceptance: Fast and Coherent Inference for DLMs via Longest Stable Prefixes [10.877713536966601]
  Longestahead Prefix(LSP)スケジューラは、モノリシックプレフィックスの吸収に基づく、トレーニング不要でモデルに依存しない推論パラダイムである。 LSPは1つのフォワードパスを介してトークンの安定性を評価し、安定な予測の連続した左整列ブロックを動的に識別する。 原子のコミットメントの前に、言語や構造的受容の境界を画定する。
  論文  参考訳（メタデータ） (2026-03-05T18:25:26Z)
• Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
  本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。 ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。 トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
  論文  参考訳（メタデータ） (2026-02-26T11:08:39Z)
• Overconfident Errors Need Stronger Correction: Asymmetric Confidence Penalties for Reinforcement Learning [17.384089089363382]
  既存の手法が見落としている根本原因を同定する。 現在のアプローチでは、グループ内のすべての誤ったロールアウトを同一に扱う。 非対称信頼度を考慮した誤り罰(ACE)を提案する。
  論文  参考訳（メタデータ） (2026-02-24T22:46:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。