論文の概要: Mean-Field Parallel Decoding for Discrete Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2606.15805v1
• Date: Sun, 14 Jun 2026 13:17:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.860564
• Title: Mean-Field Parallel Decoding for Discrete Diffusion Language Models
• Title（参考訳）: 離散拡散言語モデルにおける平均フィールド並列デコード
• Abstract要約: 並列更新をコーディネートするトレーニングフリーなデコードフレームワークを導入する。 変動緩和は、矛盾する同時コミットを抑制する単純な固定点更新をもたらす。 推論とコード生成ベンチマークの実験では、品質とレイテンシのトレードオフが一貫した改善を示している。
• 参考スコア（独自算出の注目度）: 47.086589631406035
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete diffusion language models enable parallel token generation, offering a pathway to low-latency decoding. However, selecting tokens independently by marginal confidence limits effective parallelism: tokens that appear reliable in isolation can form incompatible configurations when several positions are updated at once. We introduce a training-free decoding framework that coordinates these parallel updates. At each forward pass, the method assigns a commit score to each masked position and refines these scores using pairwise interactions derived from the model's predictive distributions. A variational relaxation yields a simple fixed-point update that suppresses conflicting simultaneous commitments within a single forward pass. This mechanism allows the decoder to commit more tokens in parallel while maintaining competitive generation quality. The method is lightweight, requires no auxiliary model or retraining, and drops into existing diffusion decoding pipelines without modification. Experiments on reasoning and code-generation benchmarks show consistent improvements in the quality-latency trade-off.
• Abstract（参考訳）: 離散拡散言語モデルは並列トークン生成を可能にし、低遅延デコードへの経路を提供する。 しかしながら、トークンを境界信頼度で独立に選択することは効果的な並列性を制限する: 独立して信頼できるように見えるトークンは、複数の位置が一度に更新されたときに互換性のない構成を形成することができる。 並列更新をコーディネートする、トレーニング不要なデコードフレームワークを導入します。 各フォワードパスでは、コミットスコアを各マスクされた位置に割り当て、モデルの予測分布から得られるペアの相互作用を用いてこれらのスコアを洗練する。 変動緩和は単純な固定点更新をもたらし、1つのフォワードパス内で競合する同時コミットを抑制する。 このメカニズムにより、デコーダは競合する生成品質を維持しながら、より多くのトークンを並行してコミットすることができる。 この方法は軽量であり、補助モデルや再訓練を必要とせず、修正することなく既存の拡散復号パイプラインに落下する。 推論とコード生成ベンチマークの実験では、品質とレイテンシのトレードオフが一貫した改善を示している。

関連論文リスト

• Supportive Token Revealing for Fast Diffusion Language Model Decoding [10.022716564968695]
  AXONはトレーニングフリーのモジュールで、拡散言語モデルの既存の並列デコード戦略の上に追加することができる。 AXONは、既存の並列デコーダの品質・レイテンシのトレードオフを改善し、精度を維持したり改善したりしながら、機能評価の回数を減らすことができることを示す。
  論文  参考訳（メタデータ） (2026-06-02T21:35:54Z)
• Edit-Based Refinement for Parallel Masked Diffusion Language Models [47.05195944319345]
  マスク付き拡散言語モデルは並列トークン生成を可能にし、復号効率を向上させる。 本稿では,軽量な後編集ステップで拡散生成を増強する編集ベース改良フレームワークME-DLMを提案する。 本手法は,HumanEvalで11.6点,GSM8Kで33.6点,全拡散ステップの8分の1を用いて一貫したゲインを得る。
  論文  参考訳（メタデータ） (2026-05-10T15:31:22Z)
• Dependency-Aware Parallel Decoding via Attention for Diffusion LLMs [8.800270601225668]
  拡散LDMの並列復号化は,各復号化ステップがトークン単位の周縁分布のみを提供するため困難である。 本稿では、自己アテンションを用いて条件依存グラフを誘導する簡易な訓練不要な復号法である依存性認識並列復号法(DAPD)を提案する。
  論文  参考訳（メタデータ） (2026-03-13T13:52:02Z)
• Locally Coherent Parallel Decoding in Diffusion Language Models [6.620088179445404]
  拡散言語モデル(DLM)は、線形生成遅延と双方向機能を提供する。 標準DLMは条件付き境界分布とは独立してトークンをサンプリングする。 並列サンプリングを局所的依存モデルと照合する手法であるCoDiLAを紹介する。
  論文  参考訳（メタデータ） (2026-03-03T09:56:53Z)
• Rejection Mixing: Fast Semantic Propagation of Mask Tokens for Efficient DLLM Inference [58.189320101488725]
  DLLMは高速な非自己回帰推論を約束するが、並列デコーディングにおいて厳しい品質と速度のトレードオフを被る。 我々は、連続表現を離散デコードプロセスに統合することでこの問題に対処する。 本稿では,初期マスキング状態と最終復号化トークン状態の中間として,新しい連続混合状態を導入するフレームワークであるReMixを提案する。
  論文  参考訳（メタデータ） (2026-02-26T11:08:11Z)
• Accelerating Diffusion LLMs via Adaptive Parallel Decoding [60.407727995313074]
  並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。 APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
  論文  参考訳（メタデータ） (2025-05-31T06:10:10Z)
• Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding [51.711605076319216]
  拡散に基づく大規模言語モデル (Diffusion LLM) は、並列復号機能を持つ非自己回帰テキスト生成を約束している。 本稿では,双方向拡散モデルに適したブロック単位で近似したKVキャッシュ機構を提案する。 本稿では,信頼しきい値を超えるトークンを選択的に復号し,依存関係違反を軽減し,生成品質を維持できる信頼度対応並列復号方式を提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:39:15Z)
• Think Before You Accept: Semantic Reflective Verification for Faster Speculative Decoding [48.52389201779425]
  投機的復号化は、軽量モデルを使用して複数のドラフトトークンを生成し、それらを並列に検証することで推論を加速する。 既存の検証手法は、意味的正確性を見越しながら、分布の整合性に大きく依存している。 我々は,学習自由でセマンティックなアプローチであるリフレクティブ検証を提案し,正確性と効率のトレードオフを改善する。
  論文  参考訳（メタデータ） (2025-05-24T10:26:27Z)
• Reviving Any-Subset Autoregressive Models with Principled Parallel Sampling and Speculative Decoding [55.2480439325792]
  任意の順序言語モデルでは、正しい関節分布からトークンを並列にサンプリングする方法がオープンな問題である。 我々は,任意のサブセット自動回帰モデル (AS-ARM) という,異なるモデルのクラスが解を持っていることを発見した。 我々は,AS-ARMがベンチマークタスクを埋め込んだ200M未満のパラメータモデル間で最先端の性能を実現し,コード生成における50倍のモデルの性能とほぼ一致していることを示す。
  論文  参考訳（メタデータ） (2025-04-29T06:33:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。