論文の概要: Uniform Diffusion Models Revisited: Leave-One-Out Denoiser and Absorbing State Reformulation

• arxiv url: http://arxiv.org/abs/2605.22765v1
• Date: Thu, 21 May 2026 17:27:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 16:35:42.374849
• Title: Uniform Diffusion Models Revisited: Leave-One-Out Denoiser and Absorbing State Reformulation
• Title（参考訳）: 一様拡散モデル再考:残留一様脱落と国家改革の吸収
• Authors: Samson Gourevitch, Yazid Janati, Dario Shariatian, Umut Simsekli, Eric Moulines, Eric P. Xing, Alain Durmus,
• Abstract要約: UDMの標準プラグインブリッジパラメタライゼーションは,後側頭蓋に最適化されないことを示す。 また,UDM関節法をマスク拡散様サンプリング操作に分解して保存する均一拡散の吸収状態再構成も導入した。
• 参考スコア（独自算出の注目度）: 72.05592785529404
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete diffusion models are often trained through clean-data prediction, but the prediction can be used in different ways to define the reverse dynamics. In Masked Diffusion Models (MDM) these choices largely coincide, whereas in Uniform Diffusion Models (UDM) they do not. We show that the standard plug-in bridge parameterization for UDM is not optimized by the denoising posterior, but by a leave-one-out posterior that predicts each clean token without using its own noisy observation. This identifies a mismatch between the plug-in ELBO and the usual cross-entropy denoising objective. We characterize the leave-one-out target and derive exact conversions between the denoiser, the leave-one-out posterior, and the score. These conversions allow us to disentangle parameterization and training objective. Our results also lead to inference improvements without any additional training through an informed predictor-corrector sampler and improved temperature sampling based on the leave-one-out predictor. We further introduce an absorbing-state reformulation of uniform diffusion that preserves the UDM joint law while decomposing it into masked-diffusion-like sampling operations, with simpler denoising posteriors, carry-over unmasking, and a natural remasking mechanism. On language modeling, leave-one-out parameterizations consistently improve UDM generation, while the absorbing construction matches or surpasses masked diffusion. These results suggest that the empirical gap between masked and uniform diffusion is driven less by the choice of marginals themselves than by parameterization and sampling design. The code and models can be found at https://github.com/samsongourevitch/rev_udm.
• Abstract（参考訳）: 離散拡散モデルはしばしばクリーンデータ予測によって訓練されるが、その予測は逆ダイナミクスを定義するために様々な方法で用いられる。 Masked Diffusion Models (MDM) ではこれらの選択はほぼ一致しているが、Uniform Diffusion Models (UDM) ではそうではない。 UDMの標準プラグインブリッジパラメタライゼーションは, ノイズを伴わずに各クリーントークンを予測した後部脱落により最適化されることが示されている。 これにより、プラグインELBOと通常のクロスエントロピー認知目標とのミスマッチが特定される。 我々は,離脱目標を特徴付け,デノイザ,離脱目標後部,スコア間の正確な変換を導出する。 これらの変換により、パラメータ化とトレーニングの目的を解消できます。 また,インフォメーション・プレクタ・コレクタ・サンプリングによる追加のトレーニングを必要とせず,入出力予測器による温度サンプリングも改善した。 さらに,UDM関節法をマスク拡散型サンプリング操作に分解しながら均一拡散の吸収状態の再構成を導入する。 言語モデリングでは、残余パラメータ化は一貫して UDM 生成を改善し、一方、吸収された構成はマスク付き拡散に匹敵する。 これらの結果から, マスクと均一拡散の間の経験的ギャップは, パラメータ化とサンプリング設計によるよりも, マーサル自体の選択によって小さくなることが示唆された。 コードとモデルはhttps://github.com/samsongourevitch/rev_udm.comにある。

関連論文リスト

• Interpolating Discrete Diffusion Models with Controllable Resampling [49.771004594828405]
  仮面拡散モデルは初期解凍による不可逆誤差に悩まされる。 自己補正が可能であるにもかかわらず、一様拡散モデルは、しばしば低品質のサンプルを生成する。 本稿では,中間潜伏状態への依存を減らすことで拡散を改善する補間離散拡散モデルを提案する。
  論文  参考訳（メタデータ） (2026-04-19T07:55:57Z)
• Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
  標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。 これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。 連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
  論文  参考訳（メタデータ） (2025-10-01T18:00:56Z)
• Remasking Discrete Diffusion Models with Inference-Time Scaling [21.362017006523086]
  マスク付き拡散モデルに適用可能な手法であるリマスキー拡散モデル(ReMDM)を原則的に導入する。 最も興味深いことに、ReMDMは推論時間計算スケーリングの形で離散拡散を許容する。
  論文  参考訳（メタデータ） (2025-03-01T02:37:51Z)
• Masked Diffusion Models are Secretly Time-Agnostic Masked Models and Exploit Inaccurate Categorical Sampling [47.82616476928464]
  仮面拡散モデル (MDM) は離散データの生成モデルとして人気がある。 我々はMDMのトレーニングとサンプリングの両方が理論的に時間変数から解放されていることを示す。 一般に使用されている32ビット浮動小数点精度においても,まず基礎となる数値問題を同定した。
  論文  参考訳（メタデータ） (2024-09-04T17:48:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。