論文の概要: What Does a Discrete Diffusion Model Learn?

• arxiv url: http://arxiv.org/abs/2607.05381v1
• Date: Mon, 06 Jul 2026 17:56:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:30.273021
• Title: What Does a Discrete Diffusion Model Learn?
• Title（参考訳）: 離散拡散モデルは何を学ぶか
• Abstract要約: 離散拡散モデルは、デノイザ、スコア比、ブリッジプラグイン予測器などを学ぶ。 まず, 連続時間マルコフ連鎖 (CTMC) ELBO の任意のノイズ発生過程に対する厳密な導出から始める。 すべてのアイデンティティは、正確に解けるモデル上で近似なしで数値的に検証される。
• 参考スコア（独自算出の注目度）: 71.03603607324338
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: What does a discrete diffusion model learn: a denoiser, a score ratio, or a bridge plug-in predictor? At the level of jump rates, these are one object in different coordinates, and reading a neural network in the wrong coordinate changes the process being trained and sampled. Starting with a rigorous derivation of the continuous-time Markov chain (CTMC) ELBO for any noising process, boundary terms included, we prove the \emph{Oracle Distance} theorem: the negative ELBO is exactly equal to the data entropy plus the path KL from the oracle reverse process to the learned one, not merely a bound. Its unique optimizer is therefore the conditional expectation of the true reverse jump rate given the current noisy state, and its irreducible cost is the rate at which the forward process $Z_t$ destroys information about the clean data $Z_0$, $-\tfrac{d}{dt}I(Z_0; Z_t)$, so every noising process shares the same best achievable negative ELBO: the data entropy. For sequences with token-factorizing noise, the oracle projection yields three exact coordinates for the optimizer: denoiser, cavity (bridge plug-in), and score, with closed-form conversions among them. This framework identifies which law each loss in the literature actually optimizes, recovering MDM, UDM, SEDD, and GIDD as special cases; explains why denoiser and cavity coincide for masked diffusion but not for uniform diffusion; proves that a denoiser parameterization makes the uniform ELBO diverge at initialization while the bridge plug-in stays finite; and calibrates ELBO implementations exactly at initialization. Every identity is verified numerically, without approximation, on an exactly solvable model.
• Abstract（参考訳）: 離散拡散モデルは、デノイザ、スコア比、ブリッジプラグイン予測器など、何を学ぶのか? ジャンプレートのレベルでは、これらは異なる座標の1つのオブジェクトであり、間違った座標でニューラルネットワークを読み取ると、トレーニングされたプロセスが変更され、サンプリングされる。 連続時間マルコフ連鎖 (CTMC) の厳密な導出から始まり、境界項を含む境界項は、負の ELBO は、単に有界ではなく、オラクルの逆過程から学習過程への経路 KL と全く同じである、という 'emph{Oracle Distance} の定理を証明する。 そのユニークなオプティマイザは、現在の雑音状態が与えられた真の逆ジャンプ率の条件付き期待であり、その既約コストは、前処理$Z_t$がクリーンデータ$Z_0$, $-\tfrac{d}{dt}I(Z_0; Z_t)$に関する情報を破壊するレートである。 トークン分解ノイズを持つ系列に対して、オラクル射影は、デノイザー、キャビティ(ブリッジプラグイン)、スコアの3つの正確な座標を、その間の閉形式変換で生成する。 この枠組みは, MDM, UDM, SEDD, GIDDのそれぞれの損失が, 特定のケースとして実際にどの法則を最適化し, 回復するか, マスク拡散と共起するが, 均一拡散とは一致しないのか, ブリッジプラグインが有限である間に, 均一なELBOが初期化時に分岐することを証明し, ELBO実装を正確に初期化時に校正する。 すべてのアイデンティティは、正確に解けるモデル上で近似なしで数値的に検証される。

関連論文リスト

• Provably adaptive sampling with uniform and remasking discrete diffusion models [9.180350432640912]
  本研究では,一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一 我々の主な成果は、適応的なサンプリング保証を確立することである。 構造化された合成分布に関する数値実験は、予測された次元適応挙動を示す。
  論文  参考訳（メタデータ） (2026-08-24T17:54:51Z)
• Simplex Relaxation for Discrete Diffusion [58.33696160279345]
  Simplax(Simplax)はディリクレ(Dirichlet)のカテゴリー拡張で、それぞれが崩壊したカテゴリ状態と補助的単純度値変数を結合する。 Simplaxは生成パープレキシティーを改善する。-無条件のOpenWebText生成におけるエントロピートレードオフ。
  論文  参考訳（メタデータ） (2026-08-11T07:58:17Z)
• Uniform Diffusion Models Revisited: Leave-One-Out Denoiser and Absorbing State Reformulation [72.05592785529404]
  UDMの標準プラグインブリッジパラメタライゼーションは,後側頭蓋に最適化されないことを示す。 また,UDM関節法をマスク拡散様サンプリング操作に分解して保存する均一拡散の吸収状態再構成も導入した。
  論文  参考訳（メタデータ） (2026-05-21T17:27:19Z)
• Sampling from Flow Language Models via Marginal-Conditioned Bridges [1.43163477873944]
  フロー言語モデル (FLM) は、1ホットエンコードされたトークンシーケンスに対して連続的なフローマッチングを適用する。 我々は、FLMの自然なサンプリングは、代わりに後述の予測であると主張する。 誘導されたワンステップブリッジカーネルはトークン単位の後方予測限界を全て保持することを示す。
  論文  参考訳（メタデータ） (2026-05-13T15:38:48Z)
• Divergence is Uncertainty: A Closed-Form Posterior Covariance for Flow Matching [8.603039700922809]
  フローマッチングは生成モデルの主要なフレームワークとなっているが、サンプルの不確かさの定量化は未解決の問題である。 これらのトレードオフはいずれも必要ありません。 MNISTの実験により、ピクセルごとの不確実性マップが意味論的に意味があることが確認された。
  論文  参考訳（メタデータ） (2026-05-01T04:25:00Z)
• Efficient Sampling with Discrete Diffusion Models: Sharp and Adaptive Guarantees [9.180350432640912]
  連続時間マルコフ連鎖(CTMC)の定式化によるスコアベース離散拡散モデルのサンプリング効率について検討した。 一様離散拡散に対して、$$-leapingアルゴリズムは位数$tilde O(d/varepsilon)$の複雑さを達成することを示す。 離散拡散をマスキングするために,本質的な情報理論量によって収束率を制御した$$-leapingサンプルラを導入する。
  論文  参考訳（メタデータ） (2026-02-16T18:48:17Z)
• Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
  標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。 これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。 連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
  論文  参考訳（メタデータ） (2025-10-01T18:00:56Z)
• Non-asymptotic bounds for forward processes in denoising diffusions: Ornstein-Uhlenbeck is hard to beat [49.1574468325115]
  本稿では,全変動(TV)における前方拡散誤差の非漸近的境界について述べる。 我々は、R$からFarthestモードまでの距離でマルチモーダルデータ分布をパラメライズし、加法的および乗法的雑音による前方拡散を考察する。
  論文  参考訳（メタデータ） (2024-08-25T10:28:31Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。