論文の概要: Error Bounds and Optimal Schedules for Masked Diffusions with Factorized Approximations
- arxiv url: http://arxiv.org/abs/2510.25544v1
- Date: Wed, 29 Oct 2025 14:11:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-30 15:50:45.69658
- Title: Error Bounds and Optimal Schedules for Masked Diffusions with Factorized Approximations
- Title（参考訳）: 係数近似を用いた仮設拡散の誤差境界と最適スケジューリング
- Authors: Hugo Lavenant, Giacomo Zanella,
- Abstract要約: 近年,Masked Diffusion Models (MDMs) などの離散データ生成モデルが,条件付き独立近似を利用して提案されている。
我々は、(相対エントロピーにおいて)一般的な誤差境界を提供する計算-vs-精度トレードオフについて研究する。
次に,非定常スケジュールサイズを用いて得られた利得について検討する。
- 参考スコア（独自算出の注目度）: 3.595215303316358
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently proposed generative models for discrete data, such as Masked Diffusion Models (MDMs), exploit conditional independence approximations to reduce the computational cost of popular Auto-Regressive Models (ARMs), at the price of some bias in the sampling distribution. We study the resulting computation-vs-accuracy trade-off, providing general error bounds (in relative entropy) that depend only on the average number of tokens generated per iteration and are independent of the data dimensionality (i.e. sequence length), thus supporting the empirical success of MDMs. We then investigate the gain obtained by using non-constant schedule sizes (i.e. varying the number of unmasked tokens during the generation process) and identify the optimal schedule as a function of a so-called information profile of the data distribution, thus allowing for a principled optimization of schedule sizes. We define methods directly as sampling algorithms and do not use classical derivations as time-reversed diffusion processes, leading us to simple and transparent proofs.
- Abstract（参考訳）: 近年、Masked Diffusion Models (MDMs) などの離散データ生成モデルが、サンプル分布の偏りの価格で、一般的な自己回帰モデル (ARMs) の計算コストを削減するために条件独立性近似を利用して提案されている。
得られた計算-vs-精度トレードオフについて検討し、繰り返し毎に生成されるトークンの平均数にのみ依存する一般的な誤差境界(相対エントロピー)を提供し、データ次元(シーケンス長)に依存せず、MDMの実証的な成功を支援する。
次に、非コンスタントなスケジュールサイズ(すなわち、生成プロセス中に不正なトークンの数を変える)を用いて得られた利得を調査し、最適なスケジュールを、データ分散のいわゆる情報プロファイルの関数として同定し、スケジュールサイズを原則的に最適化できるようにする。
手法を直接サンプリングアルゴリズムとして定義し、古典的導出を時間反転拡散過程として使用せず、単純かつ透明な証明へと導いた。
関連論文リスト
- Accelerated Sampling from Masked Diffusion Models via Entropy Bounded Unmasking [17.511240770486452]
仮面拡散モデル (MDM) は, 言語モデリングにおける自己回帰モデル (ARM) と比較して, 競合性能を示した。
本稿では,Entropy bounded unmasking 手法を用いて,既存のサンプルのドロップイン置換であるEB-Samplerを紹介する。
EB-Samplerは、パフォーマンスを損なうことなく、標準的なコーディングと数学推論ベンチマークで、最先端のMDMのサンプリングを約2～3倍高速化する。
論文 参考訳（メタデータ） (2025-05-30T17:52:55Z) - Enhanced Diffusion Sampling via Extrapolation with Multiple ODE Solutions [41.989657585518984]
拡散確率モデル(DPM)は、しばしば反復サンプリングプロセスのために高い計算コストを被る。
本稿では,リチャードソン外挿にインスパイアされたDPMのODEに基づくサンプリング手法を提案し,数値誤差を低減し,収束率を向上させる。
論文 参考訳（メタデータ） (2025-04-02T16:06:23Z) - Feynman-Kac Correctors in Diffusion: Annealing, Guidance, and Product of Experts [64.34482582690927]
事前学習したスコアベースモデルから得られた熱処理, 幾何平均, 製品分布の配列から, 効率的かつ原理的に抽出する方法を提供する。
本稿では,サンプリング品質を向上させるために,推論時間スケーリングを利用する逐次モンテカルロ(SMC)再サンプリングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-03-04T17:46:51Z) - Score-Optimal Diffusion Schedules [29.062842062257918]
高品質なサンプルを得るためには、適切な離散化スケジュールが不可欠である。
本稿では,最適な離散化スケジュールを適応的に選択するための新しいアルゴリズムを提案する。
学習したスケジュールは、これまで手動検索でのみ発見されていたパフォーマンススケジュールを復元する。
論文 参考訳（メタデータ） (2024-12-10T19:26:51Z) - Diffusion models for probabilistic programming [56.47577824219207]
拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である
DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
論文 参考訳（メタデータ） (2023-11-01T12:17:05Z) - Diffusion Models with Deterministic Normalizing Flow Priors [21.24885597341643]
フローと拡散モデルを正規化する手法であるDiNof(textbfDi$ffusion with $textbfNo$rmalizing $textbff$low priors)を提案する。
標準画像生成データセットの実験は、既存の手法よりも提案手法の利点を実証している。
論文 参考訳（メタデータ） (2023-09-03T21:26:56Z) - On Calibrating Diffusion Probabilistic Models [78.75538484265292]
拡散確率モデル(DPM)は様々な生成タスクにおいて有望な結果を得た。
そこで本研究では,任意の事前学習DPMを校正する簡単な方法を提案する。
キャリブレーション法は1回だけ行い, 得られたモデルをサンプリングに繰り返し使用することができる。
論文 参考訳（メタデータ） (2023-02-21T14:14:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。