論文の概要: Masked diffusion as random sequential adsorption: an exactly solvable model for parallel decoding

• arxiv url: http://arxiv.org/abs/2611.07845v1
• Date: Thu, 05 Nov 2026 11:23:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.665803
• Title: Masked diffusion as random sequential adsorption: an exactly solvable model for parallel decoding
• Title（参考訳）: ランダムな逐次吸着としてのマスケッド拡散--並列復号のための正確に解けるモデル
• Abstract要約: 仮面拡散モデルでは、マスキング過程を逆転することでテキストを生成する。 このトレードオフは、駆動多粒子系の統計物理学に反映されることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Masked diffusion models generate text by reversing a stochastic masking process. Unlike autoregressive LLMs, which generate text one token at a time, they can reveal many tokens in parallel, at the price of an error, since tokens revealed together are drawn independently. We show that this trade-off maps onto the statistical physics of driven many-particle systems. (i) For any data, the error of parallel generation is the entropy production of the generation process relative to the reversed masking process. (ii) For Markov data, generation is a random sequential adsorption process with labelled gaps, which we solve exactly for any number of steps. (iii) For many steps, the error becomes the dissipation of a slowly driven system: the unmasking schedule plays the role of the driving protocol, the number of steps that of its duration, and the error is set by a thermodynamic metric that we obtain in closed form from the mutual information between tokens. Optimal schedules are geodesics of this metric. The exact solution shows how correlations in the text shape both the error and the quality of the output. The longer the correlations, the more the error concentrates at the start of generation. Schedules that start with small steps then gain more, both in path error and in perplexity, and need fewer steps to reach their asymptotic behaviour.
• Abstract（参考訳）: マスク付き拡散モデルは確率的マスキング過程を逆転することでテキストを生成する。 テキストを1つずつ生成する自動回帰LPMとは異なり、複数のトークンを並列に、エラーの価格で表示することができる。 このトレードオフは、駆動多粒子系の統計物理学に反映されることを示す。 i) 任意のデータに対して、並列生成の誤差は、逆マスキングプロセスに対する生成過程のエントロピー生成である。 (II)マルコフデータの場合、生成はラベル付きギャップを持つランダムな逐次吸着過程であり、任意のステップに対して正確に解決する。 (3)多くのステップにおいて、エラーはゆっくりと駆動されたシステムの消耗となり、非マスクスケジュールは駆動プロトコルの役割、その期間のステップの数、エラーはトークン間の相互情報から閉じた形で得られる熱力学的計量によって設定される。 最適スケジュールは、この計量の測地線である。 正確な解法は、テキスト内の相関が、エラーと出力の品質の両方を形作ることを示す。 相関が長ければ長いほど、エラーは生成開始時に集中する。 小さなステップから始まるスケジューリングは、パスエラーとパープレキシティの両方で増加し、漸近的な動作に到達するためのステップが少なくなる。

関連論文リスト

• What Does a Discrete Diffusion Model Learn? [71.03603607324338]
  離散拡散モデルは、デノイザ、スコア比、ブリッジプラグイン予測器などを学ぶ。 まず, 連続時間マルコフ連鎖 (CTMC) ELBO の任意のノイズ発生過程に対する厳密な導出から始める。 すべてのアイデンティティは、正確に解けるモデル上で近似なしで数値的に検証される。
  論文  参考訳（メタデータ） (2026-07-06T17:56:11Z)
• DyLLM: Efficient Diffusion LLM Inference via Saliency-based Token Selection and Partial Attention [2.7422645382944935]
  そこで我々はDyLLMを提案する。DyLLMは正規トークンのみを選択的に計算することでデコーディングを高速化する学習自由推論フレームワークである。 DyLLMは様々な推論とコード生成ベンチマークで最大9.6倍のスループットを実現している。
  論文  参考訳（メタデータ） (2026-03-09T07:02:01Z)
• Error Bounds and Optimal Schedules for Masked Diffusions with Factorized Approximations [3.595215303316358]
  近年,Masked Diffusion Models (MDMs) などの離散データ生成モデルが,条件付き独立近似を利用して提案されている。 我々は、(相対エントロピーにおいて)一般的な誤差境界を提供する計算-vs-精度トレードオフについて研究する。 次に,非定常スケジュールサイズを用いて得られた利得について検討する。
  論文  参考訳（メタデータ） (2025-10-29T14:11:03Z)
• Accelerating Diffusion LLMs via Adaptive Parallel Decoding [60.407727995313074]
  並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。 APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
  論文  参考訳（メタデータ） (2025-05-31T06:10:10Z)
• Unifying Autoregressive and Diffusion-Based Sequence Generation [3.1853022872760186]
  拡散に基づくシーケンス生成モデルに対して,自己回帰型言語モデルで行を曖昧にする重要な拡張を提示する。 個別のトークン位置に異なるノイズスケジュールを割り当てるハイパースケジューリングを導入する。 第二に,吸収過程と一様過程の間に介在する2つのハイブリッドトークン単位のノイズ発生過程を提案し,過去の誤りを解消する。
  論文  参考訳（メタデータ） (2025-04-08T20:32:10Z)
• Distributional Diffusion Models with Scoring Rules [83.38210785728994]
  拡散モデルは高品質な合成データを生成する。 高品質な出力を生成するには、多くの離散化ステップが必要です。 クリーンデータサンプルの後部エム分布を学習し,サンプル生成を実現することを提案する。
  論文  参考訳（メタデータ） (2025-02-04T16:59:03Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• Symbolic Autoencoding for Self-Supervised Sequence Learning [24.71036683224435]
  $Sigma$AEは、限られた並列データとともに豊富な非並列データのパワーを利用する、自己管理型のフレームワークである。 この結果から,$Sigma$AEは最小並列データであっても,トランスダクションタスクの性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2024-02-16T11:04:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。