論文の概要: Provably adaptive sampling with uniform and remasking discrete diffusion models
- arxiv url: http://arxiv.org/abs/2608.23554v1
- Date: Mon, 24 Aug 2026 17:54:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:44.230287
- Title: Provably adaptive sampling with uniform and remasking discrete diffusion models
- Title（参考訳）: 離散拡散モデルの均一化と再計算による確率適応サンプリング
- Abstract要約: 本研究では,一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一様・一
我々の主な成果は、適応的なサンプリング保証を確立することである。
構造化された合成分布に関する数値実験は、予測された次元適応挙動を示す。
- 参考スコア（独自算出の注目度）: 9.180350432640912
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Discrete diffusion models offer a promising alternative to autoregressive generation by enabling parallel updates, but their sampling efficiency can depend strongly on the choice of the forward process and the sampler. For the uniform forward process, existing lower bounds for the standard $τ$-leaping sampler scale linearly with the ambient dimension $d$, raising the question of whether this dependence is intrinsic to the forward process. We answer this question in the negative. We consider a first-order sampler based on the leave-one-out denoiser for uniform and remasking processes whose coordinate updates can be performed in parallel. In both cases, the sampler can correct denoising mistakes during the sampling process, which becomes necessary when many coordinates are updated together. Our main result establishes an adaptive sampling guarantee: up to logarithmic factors, $N = O(\mathrm{DTC}(X_0) / \varepsilon)$ discretization steps suffice to achieve sampling error $O(\varepsilon_{\mathrm{score}}+\varepsilon)$, where $\varepsilon_{\mathrm{score}}$ is the error in score estimation. Thus, the sampling complexity is governed by the intrinsic dependence structure of the target distribution, as measured by its dual total correlation $\mathrm{DTC}(X_0)$, rather than directly by the ambient dimension $d$. Our analysis proceeds through a Bayes-optimal auxiliary sampler that separates discretization error from score-estimation error. We also derive an exact information-theoretic representation of the discretization error in terms of the mutual information between different coordinates of the forward process at different times. This representation applies to general forward processes and, in the uniform and remasking cases, can be controlled by $\mathrm{DTC}(X_0)$. Numerical experiments on structured synthetic distributions illustrate the predicted dimension-adaptive behavior.
- Abstract（参考訳）: 離散拡散モデルは、並列更新を可能にすることで自己回帰生成に代わる有望な代替手段を提供するが、サンプリング効率はフォワードプロセスとサンプリング器の選択に強く依存する。
一様前処理に対しては、標準的な$τ$-leaping サンプルラーの既存の下界は、周囲次元$d$と線形にスケールし、この依存が前処理に内在するかどうかという問題を提起する。
私たちは否定的にこの質問に答える。
座標更新を並列に行なえる一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一
いずれの場合も、サンプリングプロセス中に複数の座標をまとめて更新する場合に必要となる誤りを修正できる。
我々の主な結果は、対数的因子に対して、$N = O(\mathrm{DTC}(X_0) / \varepsilon)$ 離散化ステップはサンプリングエラーを達成するのに十分である $O(\varepsilon_{\mathrm{score}}+\varepsilon)$ ここで、$\varepsilon_{\mathrm{score}}$はスコア推定のエラーである。
したがって、サンプリング複雑性は対象分布の内在的依存構造によって制御され、その双対の総相関$\mathrm{DTC}(X_0)$によって測定される。
本分析は,離散化誤差とスコア推定誤差を分離するベイズ最適補助サンプリング器を用いて行う。
また,前処理の異なる座標間の相互情報の観点から,離散化誤差の正確な情報理論的表現を導出する。
この表現は一般的なフォワードプロセスに適用され、一様および再行列の場合、$\mathrm{DTC}(X_0)$ で制御できる。
構造化された合成分布に関する数値実験は、予測された次元適応挙動を示す。
関連論文リスト
- Inverse Design for Conditional Distribution Matching [0.0]
条件分布マッチング(CDM)は、生成モデルにおける新しい逆設計問題クラスである。
MLGD-F (Matching-Loss Guided Diffusion with a Fast inner sampler) は,事前学習したスコアベース拡散モデルと事前学習した高速条件付きサンプルモデルを組み合わせたプラグアンドプレイ推論時アルゴリズムである。
MLGD-Fは1ステップの条件付きサンプリングを利用することで、引き込み可能な勾配計算を可能にし、$mathcalP(Y mid X)$$をメモリ効率と計算量の両方に軽量にする。
論文 参考訳（メタデータ） (2026-05-10T09:27:55Z) - Efficient Sampling with Discrete Diffusion Models: Sharp and Adaptive Guarantees [9.180350432640912]
連続時間マルコフ連鎖(CTMC)の定式化によるスコアベース離散拡散モデルのサンプリング効率について検討した。
一様離散拡散に対して、$$-leapingアルゴリズムは位数$tilde O(d/varepsilon)$の複雑さを達成することを示す。
離散拡散をマスキングするために,本質的な情報理論量によって収束率を制御した$$-leapingサンプルラを導入する。
論文 参考訳（メタデータ） (2026-02-16T18:48:17Z) - Wedge Sampling: Efficient Tensor Completion with Nearly-Linear Sample Complexity [9.42598427201735]
低ランクテンソル補完のための新しい非適応サンプリングスキームであるウェッジサンプリングを導入する。
次数$kの低ランクテンソルの次元$n倍の倍数n$を、そのエントリのサブセットから復元する。
論文 参考訳（メタデータ） (2026-02-05T16:47:13Z) - Fast Convergence for High-Order ODE Solvers in Diffusion Probabilistic Models [5.939858158928473]
拡散確率モデルは、データをノイズに変換するノイズ注入プロセスの逆転を学ぶことでサンプルを生成する。
重要な展開は、決定論的確率フロー常微分方程式(ODE)としての逆サンプリング過程の再構成である。
本稿では、任意の分散スケジュールを持つ一般的な前処理のためのODEから導出される決定論的サンプルの厳密な収束解析について述べる。
論文 参考訳（メタデータ） (2025-06-16T03:09:25Z) - Distributional Diffusion Models with Scoring Rules [83.38210785728994]
拡散モデルは高品質な合成データを生成する。
高品質な出力を生成するには、多くの離散化ステップが必要です。
クリーンデータサンプルの後部エム分布を学習し,サンプル生成を実現することを提案する。
論文 参考訳（メタデータ） (2025-02-04T16:59:03Z) - Self-Refining Diffusion Samplers: Enabling Parallelization via Parareal Iterations [53.180374639531145]
自己精製拡散サンプリング(SRDS)は、サンプル品質を維持し、追加の並列計算コストでレイテンシを向上させることができる。
微分方程式の並列時間積分法であるPararealアルゴリズムから着想を得た。
論文 参考訳（メタデータ） (2024-12-11T11:08:09Z) - Parallel Simulation for Log-concave Sampling and Score-based Diffusion Models [55.07411490538404]
本稿では,次元$d$の適応的複雑性依存性を改善する並列サンプリング手法を提案する。
我々の手法は科学計算による並列シミュレーション技術に基づいている。
論文 参考訳（メタデータ） (2024-12-10T11:50:46Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - Stochastic Approximation Approaches to Group Distributionally Robust Optimization and Beyond [89.72693227960274]
本稿では,グループ分散ロバスト最適化 (GDRO) を,$m$以上の異なる分布をうまく処理するモデルを学習する目的で検討する。
各ラウンドのサンプル数を$m$から1に抑えるため、GDROを2人でプレイするゲームとして、一方のプレイヤーが実行し、他方のプレイヤーが非公開のマルチアームバンディットのオンラインアルゴリズムを実行する。
第2のシナリオでは、最大リスクではなく、平均的最上位k$リスクを最適化し、分散の影響を軽減することを提案する。
論文 参考訳（メタデータ） (2023-02-18T09:24:15Z) - Convergence for score-based generative modeling with polynomial
complexity [9.953088581242845]
我々は、Scoreベースの生成モデルの背後にあるコアメカニックに対する最初の収束保証を証明した。
以前の作品と比較すると、時間的に指数関数的に増加するエラーや、次元の呪いに苦しむエラーは発生しない。
予測器・相関器はどちらの部分のみを使用するよりも収束性が高いことを示す。
論文 参考訳（メタデータ） (2022-06-13T14:57:35Z) - Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and
Variance Reduction [63.41789556777387]
非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。
Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
論文 参考訳（メタデータ） (2020-06-04T17:51:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。