論文の概要: Diffusion Language Models are Provably Optimal Parallel Samplers
- arxiv url: http://arxiv.org/abs/2512.25014v1
- Date: Wed, 31 Dec 2025 18:03:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-01 23:27:28.737279
- Title: Diffusion Language Models are Provably Optimal Parallel Samplers
- Title（参考訳）: 拡散言語モデルはおそらく最適な並列サンプリングである
- Authors: Haozhe Jiang, Nika Haghtalab, Lijie Chen,
- Abstract要約: 拡散言語モデル (DLM) は自己回帰モデルに代わる有望な代替品として登場した。
DLMをチェーン・オブ・シークエンスで拡張することで,任意の並列サンプリングアルゴリズムを最適なステップ数でシミュレートできることを示す。
- 参考スコア（独自算出の注目度）: 15.981424915336001
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion language models (DLMs) have emerged as a promising alternative to autoregressive models for faster inference via parallel token generation. We provide a rigorous foundation for this advantage by formalizing a model of parallel sampling and showing that DLMs augmented with polynomial-length chain-of-thought (CoT) can simulate any parallel sampling algorithm using an optimal number of sequential steps. Consequently, whenever a target distribution can be generated using a small number of sequential steps, a DLM can be used to generate the distribution using the same number of optimal sequential steps. However, without the ability to modify previously revealed tokens, DLMs with CoT can still incur large intermediate footprints. We prove that enabling remasking (converting unmasked tokens to masks) or revision (converting unmasked tokens to other unmasked tokens) together with CoT further allows DLMs to simulate any parallel sampling algorithm with optimal space complexity. We further justify the advantage of revision by establishing a strict expressivity gap: DLMs with revision or remasking are strictly more expressive than those without. Our results not only provide a theoretical justification for the promise of DLMs as the most efficient parallel sampler, but also advocate for enabling revision in DLMs.
- Abstract（参考訳）: 拡散言語モデル(DLM)は、並列トークン生成による高速推論のための自己回帰モデルに代わる有望な代替として登場した。
並列サンプリングのモデルを形式化し、多項式長チェーン・オブ・シークレット(CoT)で拡張されたDLMが任意の並列サンプリングアルゴリズムを最適な数ステップでシミュレートできることを示し、この利点のための厳密な基礎を提供する。
従って、少数のシーケンシャルステップを用いて目標分布を生成することができれば、DLMを使用して同じ数の最適シーケンシャルステップを用いて分布を生成することができる。
しかし、事前に公表されたトークンを変更する機能がないため、CoTを用いたDLMは依然として大きな中間フットプリントを発生させることができる。
我々は、CoTとともに、再マスク(未マスクトークンからマスクへの変換)やリビジョン(未マスクトークンから他の未マスクトークンへの変換)を可能にすることで、DLMが任意の並列サンプリングアルゴリズムを最適な空間複雑さでシミュレートできることを証明した。
我々は、厳密な表現率ギャップを確立することで、リビジョンの利点をさらに正当化する。
本結果は, DLM を最も効率的な並列サンプリング器として期待する理論的正当性を提供するだけでなく, DLM の修正も提案する。
関連論文リスト
- dUltra: Ultra-Fast Diffusion Language Models via Reinforcement Learning [36.12942468805232]
マスク付き拡散言語モデルは並列トークン生成の可能性を秘めている。
オープンソースのMDLMは、モデルフォワードパス毎に5トークン未満をデコードする。
dUltraは効率的な並列デコーディングのためのアンマスク戦略を学ぶ。
論文 参考訳（メタデータ） (2025-12-24T23:31:48Z) - CDLM: Consistency Diffusion Language Models For Faster Sampling [54.886467592798]
拡散言語モデル(DLM)は有望な並列生成パラダイムを提供するが、推論が遅い。
本稿では,両方のボトルネックに同時に対処するトレーニングベースの加速度法CDLMを紹介する。
実験では、CDLMは3.6x-14.5倍のレイテンシを実現し、数学やコーディングタスクの競合精度を維持している。
論文 参考訳（メタデータ） (2025-11-24T16:21:25Z) - Beyond Surface Reasoning: Unveiling the True Long Chain-of-Thought Capacity of Diffusion Large Language Models [54.81955614221652]
同時トークン更新を可能にする並列デコード。厳格な推論にしばしば必要とされる因果順序と競合する。
単純な推論タスクと複雑な推論タスクの両方において、DLLMは直接決定可能な出力に対してのみ真の並列性を示すことを示す。
そこで本研究では,PSCによる非効率性と非効率性を低減するために,いくつかの実用的な緩和,並列指向プロンプト,拡散早期停止,並列スケーリングを提案する。
論文 参考訳（メタデータ） (2025-10-10T16:58:14Z) - Beyond Next-Token Prediction: A Performance Characterization of Diffusion versus Autoregressive Language Models [82.87985794856803]
大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクにおいて最先端のパフォーマンスを達成した。
最近、Diffusion Language Models (DLM) が有望な代替アーキテクチャとして登場した。
論文 参考訳（メタデータ） (2025-10-05T10:50:52Z) - Free Draft-and-Verification: Toward Lossless Parallel Decoding for Diffusion Large Language Models [8.407364705777587]
本稿では,DLLMに適した高速デコードアルゴリズムFree Draft-and-Verification(FreeDave)を紹介する。
FreeDaveは、パフォーマンスを低下させることなく、推論スループットを最大3.78倍に向上させることが証明されている。
論文 参考訳（メタデータ） (2025-09-30T21:28:04Z) - Accelerating Diffusion LLMs via Adaptive Parallel Decoding [60.407727995313074]
並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。
APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
論文 参考訳（メタデータ） (2025-05-31T06:10:10Z) - Insertion Language Models: Sequence Generation with Arbitrary-Position Insertions [32.48588058887852]
挿入言語モデル(ILM)は、任意の位置にトークンを挿入することを学ぶ。
ILMはトークン間の強い依存関係を表現することができ、任意の順序でシーケンスを生成する能力により、正確にシーケンスをモデル化することができる。
論文 参考訳（メタデータ） (2025-05-09T03:29:15Z) - Reviving Any-Subset Autoregressive Models with Principled Parallel Sampling and Speculative Decoding [55.2480439325792]
任意の順序言語モデルでは、正しい関節分布からトークンを並列にサンプリングする方法がオープンな問題である。
我々は,任意のサブセット自動回帰モデル (AS-ARM) という,異なるモデルのクラスが解を持っていることを発見した。
我々は,AS-ARMがベンチマークタスクを埋め込んだ200M未満のパラメータモデル間で最先端の性能を実現し,コード生成における50倍のモデルの性能とほぼ一致していることを示す。
論文 参考訳（メタデータ） (2025-04-29T06:33:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。