Fugu-MT 論文翻訳(概要): Minimax Optimality of Score-Entropy Discrete Diffusion

論文の概要: Minimax Optimality of Score-Entropy Discrete Diffusion

arxiv url: http://arxiv.org/abs/2608.20635v1
Date: Fri, 21 Aug 2026 00:16:00 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-24 14:49:32.296824
Title: Minimax Optimality of Score-Entropy Discrete Diffusion
Title（参考訳）: スコアエントロピー離散拡散の最小最適性
Abstract要約: 具体的スコア推定の基本的な統計的限界について検討する。スコアエントロピー損失の下での下位境界に一致するMLEに基づくしきい値推定器を提案する。対象分布に対して、この密度比は、均一かつマスキングな離散拡散モデルの下で自然に制御されていることを示す。
参考スコア（独自算出の注目度）: 4.831510571088151
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Discrete diffusion models have demonstrated strong performance across a range of datasets, including natural language data and graph-structured data. Among many variants, score-entropy discrete diffusion (SEDD) has achieved particularly strong empirical results. In SEDD, new samples are generated by iteratively evaluating a sequence of concrete score functions, which are learned by minimizing a score-entropy loss. While much of the prior theoretical literature on discrete diffusion has focused on the sampling efficiency of SEDD under the assumption of small score estimation error, recent work has begun to investigate the finite-sample properties of score estimation itself. In this work, we take a different route by investigating the fundamental statistical limits of concrete score estimation. We focus on uniform and masking discrete diffusions, two of the most widely adopted discrete diffusion models. We establish a minimax lower bound under the score-entropy loss, and propose an MLE-based thresholding estimator that matches this lower bound up to constant and polylogarithmic factors that depend on neighboring density ratios. We further show that, for any target distribution, this density ratio is naturally controlled under both uniform and masking discrete diffusion models, yielding nearly matching minimax lower and upper bounds for the aggregated score estimation error. Our results imply that, with appropriate initialization and discretization, SEDD can achieve nearly optimal minimax sample complexity, as measured by the KL divergence between the target and generated distributions.
Abstract（参考訳）: 離散拡散モデルは、自然言語データやグラフ構造化データなど、さまざまなデータセットで強力なパフォーマンスを示している。多くの変種の中で、スコアエントロピー離散拡散(SEDD)は特に強い経験的結果を得た。 SEDDでは,スコアエントロピー損失を最小化して学習したコンクリートのスコア関数列を反復的に評価することにより,新しいサンプルを生成する。離散拡散に関する従来の理論文献の多くは、小さなスコア推定誤差を仮定してSEDDのサンプリング効率に焦点を合わせてきたが、最近の研究はスコア推定自体の有限サンプル特性の研究を始めている。本研究では,具体的スコア推定の基本的な統計的限界を調査することで,異なる経路を採る。我々は、最も広く採用されている離散拡散モデルのうちの2つである離散拡散の均一化とマスキングに焦点を当てる。スコアエントロピー損失の下でミニマックス下限を定め, 隣り合う密度比に依存するこの下限と多対数係数に一致するMLEベースのしきい値推定器を提案する。さらに、任意の分布に対して、この密度比は、均一かつマスキングな離散拡散モデルの下で自然に制御され、集約されたスコア推定誤差の最小値と上限値にほぼ一致することが示される。この結果から,SEDDは初期化と離散化を適切に行うことで,ターゲット分布と生成分布のKL分散によって測定された,ほぼ最適な最小値サンプルの複雑性を達成できることが示唆された。

関連論文リスト

From Scores to Gibbs Correctors: Accelerating Uniform-Rate Discrete Diffusion Models [58.02657021435213]
我々は、Gibs-Accelerated Discrete Diffusion (GADD)と呼ばれる離散拡散モデルのための新しいGibsベースの修正器を提案する。我々はGADDが$mathcalO(mathrmpolylog (varepsilon-1)$の総合的なサンプリング複雑性を達成し、均一レートの離散拡散モデルに対する拡散に基づくサンプリング者にとって最初のレートとなることを示す。
論文参考訳（メタデータ） (2026-05-26T17:52:28Z)
Diffusion Models with Heavy-Tailed Targets: Score Estimation and Sampling Guarantees [8.437829850850358]
目標分布の重み付け時のスコアベース拡散モデルについて検討する。スコア推定のためのシャープなミニマックスレートを導出し、二分法を明らかにした。総変量では、ミニマックス最適率$n-/(2+d)$で、指数的な尾の下では$$依存率で生成される分布が生成される。
論文参考訳（メタデータ） (2026-01-10T23:05:25Z)
Dimension-free error estimate for diffusion model and optimal scheduling [22.20348860913421]
拡散生成モデルは、経験的に観察された分布から合成データを生成するための強力なツールとして登場した。従来の分析では、生成したデータと真のデータ分布の誤差を、ワッサーシュタイン距離やクルバック・リーバーの偏差の観点から定量化していた。本研究では, 生成したデータ分布と真のデータ分布との相違点に有意な次元自由境界を導出する。
論文参考訳（メタデータ） (2025-12-01T15:58:20Z)
Minimax Optimality of the Probability Flow ODE for Diffusion Models [8.15094483029656]
この研究は、決定論的ODEベースのサンプリングのための最初のエンドツーエンド理論フレームワークを開発する。 L2$のスコア誤差と関連する平均ジャコビアン誤差の両方を同時に制御するスムーズな正規化スコア推定器を提案する。得られたサンプルは全変動距離, 変調対数係数において最小値が得られることを示す。
論文参考訳（メタデータ） (2025-03-12T17:51:29Z)
Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
論文参考訳（メタデータ） (2024-10-17T16:42:12Z)
Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
論文参考訳（メタデータ） (2024-10-03T09:07:13Z)
O(d/T) Convergence Theory for Diffusion Probabilistic Models under Minimal Assumptions [6.76974373198208]
最小の仮定の下で,拡散確率モデル(DDPM)の高速収束理論を確立する。収束率は$O(k/T)$に改善され、$k$は対象データ分布の内在次元であることを示す。これはDDPMが未知の低次元構造に自動的に適応する能力を強調している。
論文参考訳（メタデータ） (2024-09-27T17:59:10Z)
An analysis of the noise schedule for score-based generative models [7.180235086275926]
スコアベース生成モデル(SGM)は、目標からのノイズ摂動サンプルのみを用いてスコア関数を学習することにより、目標データ分布を推定することを目的としている。近年の文献では、ターゲットと推定分布の誤差を評価し、KL(Kulback-Leibler)の発散とワッサーシュタイン距離を通じて生成品質を測ることに重点を置いている。対象と推定分布のKL分散の上限を時間依存ノイズスケジュールによって明確に設定する。
論文参考訳（メタデータ） (2024-02-07T08:24:35Z)
Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
論文参考訳（メタデータ） (2023-03-03T11:31:55Z)
Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
論文参考訳（メタデータ） (2023-02-14T17:02:35Z)
Minimax Optimal Estimation of KL Divergence for Continuous Distributions [56.29748742084386]
Kullback-Leibler の同一および独立に分布するサンプルからの発散は、様々な領域において重要な問題である。単純で効果的な推定器の1つは、これらのサンプル間の近辺 k に基づいている。
論文参考訳（メタデータ） (2020-02-26T16:37:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。