論文の概要: End-to-End Guarantees for Masked Diffusion Models under Conditional Mixing

• arxiv url: http://arxiv.org/abs/2610.39444v1
• Date: Thu, 29 Oct 2026 06:17:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.466866
• Title: End-to-End Guarantees for Masked Diffusion Models under Conditional Mixing
• Title（参考訳）: 条件混合下における仮設拡散モデルの終端保証
• Abstract要約: 仮面拡散モデルは、マスク付きクロスエントロピーのデノイザーを訓練する。 本研究では,条件混合条件下での学習用デノイザのエンドツーエンド保証を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked diffusion models train a denoiser on masked cross-entropy and generate by unmasking many positions in parallel. Existing MDM sampling bounds assume an exact denoiser or leave its error uncontrolled while training bounds cover only the masking distribution on which the model was trained. We present an end-to-end guarantee for a learned denoiser under conditional mixing (CM): stationary sources (e.g. floored order-$r$ Markov and two-sided-Doeblin hidden-Markov sources) for which revealing distant visible tokens moves a masked token's posterior on average exponentially little in the distance with correlation length $τ_c$. We show the empirical risk minimizer trained under any masking distribution attains per-token excess $\varepsilon'$ on that distribution from $\varepsilon'^{-\mathcal{O}(τ_c\log|\mathcal{V}|)}$ training sequences, independent of sequence length $N$ -- one sample budget serves every decoding schedule when each schedule's denoiser is trained under its own weighting. We further show that the exponent's order $Θ(τ_c\log|\mathcal{V}|)$ is minimax-optimal up to constants; more efficient rates require added structure. With this, we bound the end-to-end KL as $\mathrm{KL}(π\Vert p_{\mathrm{alg}})\leq \varepsilon+N\varepsilon'$ under a dilated schedule of $T=\mathcal{O}(τ_c\log(N|\mathcal{V}|/\varepsilon))$ denoising steps versus $Ω(N)$ steps for a fixed random order on an explicit CM source. Finally, we show that block-autoregressive samplers chain across blocks with no added error and that a $Λ$-looped order-$r$ message-passing class on order-$r$ sources achieves polynomial sample complexity, with approximation error improving per loop until saturation at $Λr\approx τ_c\log(1/\varepsilon')$. Experiments on released and retrained models support our results' qualitative predictions.
• Abstract（参考訳）: 仮面拡散モデルでは、マスク付きクロスエントロピーのデノイザーを訓練し、多くの位置を平行に切り離して生成する。 既存のMDMサンプリング境界は、モデルがトレーニングされたマスキング分布のみをカバーする一方で、正確なデノイザーを仮定するか、エラーを制御せずに残す。 条件付き混合(CM)における学習デノイザのエンド・ツー・エンド保証について述べる:固定的情報源(例えば、フロアド・オーダー-$r$マルコフと両側ドエブリン隠れマルコフ)は、相関長$τ_c$と距離が平均約$τ_c$で、マスクされたトークンの後部を平均的にわずかに移動させる。 任意のマスキング分布下でトレーニングされた経験的リスク最小化器は、$\varepsilon'^{-\mathcal{O}(τ_c\log|\mathcal{V}|)} の分布に基づいて、各スケジュールのdenoiserが独自の重み付けでトレーニングされた場合、各デコードスケジュールに対して、シーケンス長$N$ -- 1サンプル予算が1つのデコードスケジュールを提供することを示す。 さらに、指数の位数 $ (τ_c\log|\mathcal{V}|)$ が定数まで極小最適化であることを示す。 これにより、終端の KL を $\mathrm{KL}(π\Vert p_{\mathrm{alg}})\leq \varepsilon+N\varepsilon'$ として、明示的なCMソース上の固定的ランダム順序のステップに対して $T=\mathcal{O}(τ_c\log(N|\mathcal{V}|/\varepsilon))$ denoising steps に対して $Ω(N)$ として束縛する。 最後に、ブロック自動回帰サンプリングは、追加のエラーを伴わずにブロックをまたいで連鎖し、$$$-looped order-$r$ message-passing class on order-$r$ sourcesは多項式サンプルの複雑性を達成し、近似誤差は、saturation at $r\approx τ_c\log(1/\varepsilon')$でループごと改善される。 リリースモデルと再訓練モデルの実験は、結果の質的予測をサポートする。

関連論文リスト

• Efficient and Optimal Learning of Discrete Distributions with Person-Level Privacy [16.01134337860663]
  バッチ環境での個人レベルの差分プライバシー下での離散分布の学習について検討する。 純粋な$(varepsilon,)$-DPで、$n = widetilde O(k/2 m)+k/(sqrtmvarepsilon)+k+log (1/)/varepsilon)$を得る。 at $=2-(k)$, this is $widetilde O(k)$ for fixed $,varepsilon,m$ and failure probability
  論文  参考訳（メタデータ） (2026-10-22T17:40:13Z)
• Counterfactual Probing for Parallel Unmasking with Hidden Forest Structure [50.58119214447535]
  マスク付き生成モデルは並列トークン予測を提供するが、正確な並列サンプリングはトークンを考慮しなければならない。 本研究は,発見を含む全評価がシーケンス長$N$のサブ線形であるかどうかを考察する。 本研究では, 森林構造を隠蔽した離散分布を, 固定された近似条件オラクルを通してアクセスする。
  論文  参考訳（メタデータ） (2026-09-29T15:39:50Z)
• Stochastic Autoregressive Learning [14.292982828097465]
  連立自己回帰学習のためのPAC学習モデルを提案する。 自己回帰学習が決定論的理論と根本的に異なることを示す。
  論文  参考訳（メタデータ） (2026-08-07T13:40:17Z)
• Variance-Reduced Conditional Gradient Methods under Markovian Sampling for Nonconvex Composite Optimization [0.0]
  我々は,1つのエルゴード連鎖に対する非制約モンテカルロ最適化を新たに提案する。 特に、一般化されたCarlo-Wolfevious gradient $MC-ALFCFCを用いてプロジェクションフリー設定に対処する。 本手法は,期待されるサンプルの複雑さを$widetildeO(_mathrmmix2G_+_mathrmmix5G_2)varepsilon-3+_mathrmmix5varepsilon-2で実現することを示す。
  論文  参考訳（メタデータ） (2026-07-28T14:37:47Z)
• Parallel Sampling via Autospeculation [13.643401888306398]
  我々は,任意の順序の自己回帰モデルと拡散モデルという2つの設定において,サンプリングを高速化するアルゴリズムを提案する。 オラクルコールを並列に発行することで、期待されるサンプリング時間を$widetildeO(n1/2)$に削減できることを示す。 我々は投機的拒絶サンプリングという新しい手法を導入する。
  論文  参考訳（メタデータ） (2025-11-11T06:09:44Z)
• Outsourced diffusion sampling: Efficient posterior inference in latent spaces of generative models [65.71506381302815]
  本稿では、$p(mathbfxmidmathbfy) propto p_theta(mathbfx)$ という形式の後続分布からサンプリングするコストを償却する。 多くのモデルや制約に対して、後部ノイズ空間はデータ空間よりも滑らかであり、償却推論により適している。
  論文  参考訳（メタデータ） (2025-02-10T19:49:54Z)
• Stochastic Approximation Approaches to Group Distributionally Robust Optimization and Beyond [89.72693227960274]
  本稿では,グループ分散ロバスト最適化 (GDRO) を,$m$以上の異なる分布をうまく処理するモデルを学習する目的で検討する。 各ラウンドのサンプル数を$m$から1に抑えるため、GDROを2人でプレイするゲームとして、一方のプレイヤーが実行し、他方のプレイヤーが非公開のマルチアームバンディットのオンラインアルゴリズムを実行する。 第2のシナリオでは、最大リスクではなく、平均的最上位k$リスクを最適化し、分散の影響を軽減することを提案する。
  論文  参考訳（メタデータ） (2023-02-18T09:24:15Z)
• Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
  期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
  論文  参考訳（メタデータ） (2020-05-29T07:20:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。