論文の概要: Transformer-Based Masked Diffusion Models Provably Learn Distributions with Latent Structure
- arxiv url: http://arxiv.org/abs/2610.12544v1
- Date: Thu, 08 Oct 2026 17:54:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.222294
- Title: Transformer-Based Masked Diffusion Models Provably Learn Distributions with Latent Structure
- Title（参考訳）: 変圧器を用いた仮設拡散モデルによる潜在構造をもつ分布の学習
- Abstract要約: 仮面拡散モデル(MDM)は、学習マスク予測器を用いて複数のトークンを並列に繰り返しアンマキングすることで離散データを生成する。
その出力には、並列サンプリングによる並列化誤差と、有限サンプルで学習したマスク予測器からの推定誤差の2つの誤差がある。
我々は,変圧器をベースとしたMDMが,潜伏構造に支配されるサンプルの複雑さで構造分布を学習することを示す,エンドツーエンドの統計保証を確立する。
- 参考スコア（独自算出の注目度）: 11.621528352410502
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Masked diffusion models (MDMs) generate discrete data by iteratively unmasking multiple tokens in parallel using a learned mask predictor. Their output carries two errors: parallelization error due to parallel sampling, and estimation error from the mask predictor learned with finite samples. Existing theory treats these errors separately, and the available statistical bounds typically scale with the number $V^L$ of length-$L$ sequences over a vocabulary of size $V$, suffering from the curse of dimensionality. In this work, we establish end-to-end statistical guarantees showing that transformer-based MDMs learn structured distributions with a sample complexity governed by their latent structure. Specifically, we model this structure through mixtures of hidden Markov trees, which capture latent dependencies within components and heterogeneity across components. When the data distribution is well approximated by such a mixture, a transformer-based MDM with parallel unmasking schedules achieves $\varepsilon$-accurate sampling in KL divergence with $\widetilde{O}(LK_{\mathrm{par}}/\varepsilon)$ training samples, where $K_{\mathrm{par}}$ is polynomial in $L$, $V$, the number of hidden states, and the number of mixture components. The transformer network and sampling procedure require no knowledge of the tree topologies or component parameters, thereby adapting to the unknown latent structure automatically. Overall, our results provide theoretical justification for the empirical effectiveness of MDMs on real-world data.
- Abstract（参考訳）: 仮面拡散モデル(MDM)は、学習マスク予測器を用いて複数のトークンを並列に繰り返しアンマキングすることで離散データを生成する。
その出力には、並列サンプリングによる並列化誤差と、有限サンプルで学習したマスク予測器からの推定誤差の2つの誤差がある。
既存の理論はこれらの誤りを別々に扱い、利用可能な統計境界は通常、次元の呪いに苦しむ大きさの語彙上の$V^L$-$L$列でスケールする。
本研究では, 変圧器をベースとしたMDMが, 潜伏構造に支配されるサンプルの複雑さで構造分布を学習することを示す, エンドツーエンドの統計保証を確立する。
具体的には、この構造を、コンポーネント内の潜伏依存性とコンポーネント間の不均一性をキャプチャする隠れマルコフ木の混合によってモデル化する。
データ分布がこのような混合によってよく近似されている場合、並列アンマキングスケジュールを持つ変換器ベースのMDMは、KL分散における$\varepsilon$-accurate sampleと$\widetilde{O}(LK_{\mathrm{par}}/\varepsilon)$ training sample、$K_{\mathrm{par}}$は$L$の多項式、$V$、隠された状態の数、混合成分の数を達成します。
変圧器ネットワークとサンプリング手順はツリートポロジやコンポーネントパラメータの知識を必要としないため、未知の潜伏構造に自動的に適応する。
本結果は,実世界のデータに対するMDMの実証的有効性について理論的に正当化するものである。
関連論文リスト
- Provably adaptive sampling with uniform and remasking discrete diffusion models [9.180350432640912]
本研究では,一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一
我々の主な成果は、適応的なサンプリング保証を確立することである。
構造化された合成分布に関する数値実験は、予測された次元適応挙動を示す。
論文 参考訳（メタデータ） (2026-08-24T17:54:51Z) - Learn from your own latents and not from tokens: A sample-complexity theory [53.5821824211418]
本研究では,関連するビューやマスキング領域の潜在表現を予測するために訓練されたネットワークについて検討する。
潜在予測は、対数的要因まで、多くのサンプルを$L$で表すことでこれを達成できることを示す。
これは、H-JEPAのような明示的な積み重ねがほとんど冗長であることを示している。
論文 参考訳（メタデータ） (2026-05-26T22:16:42Z) - Inverse Design for Conditional Distribution Matching [0.0]
条件分布マッチング(CDM)は、生成モデルにおける新しい逆設計問題クラスである。
MLGD-F (Matching-Loss Guided Diffusion with a Fast inner sampler) は,事前学習したスコアベース拡散モデルと事前学習した高速条件付きサンプルモデルを組み合わせたプラグアンドプレイ推論時アルゴリズムである。
MLGD-Fは1ステップの条件付きサンプリングを利用することで、引き込み可能な勾配計算を可能にし、$mathcalP(Y mid X)$$をメモリ効率と計算量の両方に軽量にする。
論文 参考訳（メタデータ） (2026-05-10T09:27:55Z) - Adaptation to Intrinsic Dependence in Diffusion Language Models [5.185131234265025]
拡散言語モデル(DLM)は自己回帰(AR)アプローチに代わる有望な代替手段として登場した。
対象データ分布の(未知の)依存構造に適応するDLMの分布に依存しないアンマスキングスケジュールを提案する。
この結果は, 先行収束理論を著しく改善し, 低複雑さ分布に対する相当なサンプリング加速を得た。
論文 参考訳（メタデータ） (2026-02-23T18:41:34Z) - Efficient Sampling with Discrete Diffusion Models: Sharp and Adaptive Guarantees [9.180350432640912]
連続時間マルコフ連鎖(CTMC)の定式化によるスコアベース離散拡散モデルのサンプリング効率について検討した。
一様離散拡散に対して、$$-leapingアルゴリズムは位数$tilde O(d/varepsilon)$の複雑さを達成することを示す。
離散拡散をマスキングするために,本質的な情報理論量によって収束率を制御した$$-leapingサンプルラを導入する。
論文 参考訳（メタデータ） (2026-02-16T18:48:17Z) - Phase-space entropy at acquisition reflects downstream learnability [54.4100065023873]
楽器分解位相空間に基づく取得レベルスカラー$S_mathcal B$を提案する。
本稿では, (S_mathcal B) が周期サンプリングの位相空間コヒーレンスを正確に同定できることを理論的に示す。
$|S_mathcal B|$は一貫してサンプリングジオメトリをランク付けし、トレーニングなしで下流での再構築/認識の困難を予測します。
論文 参考訳（メタデータ） (2025-12-22T10:03:51Z) - Self-Speculative Masked Diffusions [46.04054227238148]
本稿では,離散データに対する自己投機的マスク拡散モデルを提案する。
マスク位置上の非分解予測を発生させることにより計算負担を低減する。
我々は,GPT2スケールのテキストモデリングとタンパク質配列生成に本手法を適用し,必要なネットワーク転送回数を2倍に削減できることを確認した。
論文 参考訳（メタデータ） (2025-10-04T20:16:38Z) - Generative inpainting of incomplete Euclidean distance matrices of trajectories generated by a fractional Brownian motion [46.1232919707345]
フラクショナルブラウン運動(fBm)はランダム性と強いスケールフリーの相関を特徴とする。
本稿では, 劣化した画像の特定のデータセット上で, 拡散に基づく塗布方法の動物園について検討する。
条件拡散生成は、異なるメモリ状態におけるfBmパスの組込み相関を容易に再現する。
論文 参考訳（メタデータ） (2024-04-10T14:22:16Z) - Delta-AI: Local objectives for amortized inference in sparse graphical models [64.5938437823851]
スパース確率的グラフィカルモデル(PGM)における補正推論のための新しいアルゴリズムを提案する。
提案手法は, PGMにおける変数のサンプリングをエージェントが行う一連の行動とみなす場合, エージェントのポリシー学習目的において, PGMの疎結合が局所的な信用割当を可能にするという観察に基づいている。
合成PGMからサンプリングし、スパース因子構造を持つ潜在変数モデルを訓練するための$Delta$-AIの有効性について説明する。
論文 参考訳（メタデータ） (2023-10-03T20:37:03Z) - A new perspective on probabilistic image modeling [92.89846887298852]
本稿では,密度推定,サンプリング,トラクタブル推論が可能な画像モデリングのための新しい確率論的手法を提案する。
DCGMMは、CNNのように、ランダムな初期条件からSGDによってエンドツーエンドに訓練することができる。
本研究は,近年のPCおよびSPNモデルと,推論,分類,サンプリングの観点から比較した。
論文 参考訳（メタデータ） (2022-03-21T14:53:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。