論文の概要: Error Bounds and Optimal Schedules for Masked Diffusions with Factorized Approximations
- arxiv url: http://arxiv.org/abs/2510.25544v1
- Date: Wed, 29 Oct 2025 14:11:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-30 15:50:45.69658
- Title: Error Bounds and Optimal Schedules for Masked Diffusions with Factorized Approximations
- Title（参考訳）: 係数近似を用いた仮設拡散の誤差境界と最適スケジューリング
- Authors: Hugo Lavenant, Giacomo Zanella,
- Abstract要約: 近年,Masked Diffusion Models (MDMs) などの離散データ生成モデルが,条件付き独立近似を利用して提案されている。
我々は、(相対エントロピーにおいて)一般的な誤差境界を提供する計算-vs-精度トレードオフについて研究する。
次に,非定常スケジュールサイズを用いて得られた利得について検討する。
- 参考スコア（独自算出の注目度）: 3.595215303316358
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently proposed generative models for discrete data, such as Masked Diffusion Models (MDMs), exploit conditional independence approximations to reduce the computational cost of popular Auto-Regressive Models (ARMs), at the price of some bias in the sampling distribution. We study the resulting computation-vs-accuracy trade-off, providing general error bounds (in relative entropy) that depend only on the average number of tokens generated per iteration and are independent of the data dimensionality (i.e. sequence length), thus supporting the empirical success of MDMs. We then investigate the gain obtained by using non-constant schedule sizes (i.e. varying the number of unmasked tokens during the generation process) and identify the optimal schedule as a function of a so-called information profile of the data distribution, thus allowing for a principled optimization of schedule sizes. We define methods directly as sampling algorithms and do not use classical derivations as time-reversed diffusion processes, leading us to simple and transparent proofs.
- Abstract（参考訳）: 近年、Masked Diffusion Models (MDMs) などの離散データ生成モデルが、サンプル分布の偏りの価格で、一般的な自己回帰モデル (ARMs) の計算コストを削減するために条件独立性近似を利用して提案されている。
得られた計算-vs-精度トレードオフについて検討し、繰り返し毎に生成されるトークンの平均数にのみ依存する一般的な誤差境界(相対エントロピー)を提供し、データ次元(シーケンス長)に依存せず、MDMの実証的な成功を支援する。
次に、非コンスタントなスケジュールサイズ(すなわち、生成プロセス中に不正なトークンの数を変える)を用いて得られた利得を調査し、最適なスケジュールを、データ分散のいわゆる情報プロファイルの関数として同定し、スケジュールサイズを原則的に最適化できるようにする。
手法を直接サンプリングアルゴリズムとして定義し、古典的導出を時間反転拡散過程として使用せず、単純かつ透明な証明へと導いた。
関連論文リスト
- Fast Sampling for Flows and Diffusions with Lazy and Point Mass Stochastic Interpolants [5.492889521988414]
任意のスケジュール下で任意の拡散係数で微分方程式(SDE)のサンプルパスを変換する方法を証明する。
次に、補間フレームワークを拡張して、より大きな点質量スケジュールのクラスを許容する。
論文 参考訳（メタデータ） (2026-02-03T17:48:34Z) - An Elementary Approach to Scheduling in Generative Diffusion Models [55.171367482496755]
生成拡散モデルにおけるノイズスケジューリングと時間離散化の影響を特徴付けるための基礎的手法を開発した。
異なるデータセットと事前訓練されたモデルにわたる実験により、我々のアプローチによって選択された時間離散化戦略が、ベースラインとサーチベースの戦略を一貫して上回ることを示した。
論文 参考訳（メタデータ） (2026-01-20T05:06:26Z) - Dimension-free error estimate for diffusion model and optimal scheduling [22.20348860913421]
拡散生成モデルは、経験的に観察された分布から合成データを生成するための強力なツールとして登場した。
従来の分析では、生成したデータと真のデータ分布の誤差を、ワッサーシュタイン距離やクルバック・リーバーの偏差の観点から定量化していた。
本研究では, 生成したデータ分布と真のデータ分布との相違点に有意な次元自由境界を導出する。
論文 参考訳（メタデータ） (2025-12-01T15:58:20Z) - Accelerated Sampling from Masked Diffusion Models via Entropy Bounded Unmasking [17.511240770486452]
仮面拡散モデル (MDM) は, 言語モデリングにおける自己回帰モデル (ARM) と比較して, 競合性能を示した。
本稿では,Entropy bounded unmasking 手法を用いて,既存のサンプルのドロップイン置換であるEB-Samplerを紹介する。
EB-Samplerは、パフォーマンスを損なうことなく、標準的なコーディングと数学推論ベンチマークで、最先端のMDMのサンプリングを約2～3倍高速化する。
論文 参考訳（メタデータ） (2025-05-30T17:52:55Z) - Enhanced Diffusion Sampling via Extrapolation with Multiple ODE Solutions [41.989657585518984]
拡散確率モデル(DPM)は、しばしば反復サンプリングプロセスのために高い計算コストを被る。
本稿では,リチャードソン外挿にインスパイアされたDPMのODEに基づくサンプリング手法を提案し,数値誤差を低減し,収束率を向上させる。
論文 参考訳（メタデータ） (2025-04-02T16:06:23Z) - Feynman-Kac Correctors in Diffusion: Annealing, Guidance, and Product of Experts [64.34482582690927]
事前学習したスコアベースモデルから得られた熱処理, 幾何平均, 製品分布の配列から, 効率的かつ原理的に抽出する方法を提供する。
本稿では,サンプリング品質を向上させるために,推論時間スケーリングを利用する逐次モンテカルロ(SMC)再サンプリングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-03-04T17:46:51Z) - Distributional Diffusion Models with Scoring Rules [83.38210785728994]
拡散モデルは高品質な合成データを生成する。
高品質な出力を生成するには、多くの離散化ステップが必要です。
クリーンデータサンプルの後部エム分布を学習し,サンプル生成を実現することを提案する。
論文 参考訳（メタデータ） (2025-02-04T16:59:03Z) - Score-Optimal Diffusion Schedules [29.062842062257918]
高品質なサンプルを得るためには、適切な離散化スケジュールが不可欠である。
本稿では,最適な離散化スケジュールを適応的に選択するための新しいアルゴリズムを提案する。
学習したスケジュールは、これまで手動検索でのみ発見されていたパフォーマンススケジュールを復元する。
論文 参考訳（メタデータ） (2024-12-10T19:26:51Z) - Diffusion models for probabilistic programming [56.47577824219207]
拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である
DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
論文 参考訳（メタデータ） (2023-11-01T12:17:05Z) - Diffusion Models with Deterministic Normalizing Flow Priors [21.24885597341643]
フローと拡散モデルを正規化する手法であるDiNof(textbfDi$ffusion with $textbfNo$rmalizing $textbff$low priors)を提案する。
標準画像生成データセットの実験は、既存の手法よりも提案手法の利点を実証している。
論文 参考訳（メタデータ） (2023-09-03T21:26:56Z) - AdjointDPM: Adjoint Sensitivity Method for Gradient Backpropagation of Diffusion Probabilistic Models [103.41269503488546]
既存のカスタマイズ方法は、事前訓練された拡散確率モデルをユーザが提供する概念に合わせるために、複数の参照例にアクセスする必要がある。
本論文は、DPMカスタマイズの課題として、生成コンテンツ上で定義された差別化可能な指標が唯一利用可能な監督基準である場合に解決することを目的とする。
本稿では,拡散モデルから新しいサンプルを初めて生成するAdjointDPMを提案する。
次に、随伴感度法を用いて、損失の勾配をモデルのパラメータにバックプロパゲートする。
論文 参考訳（メタデータ） (2023-07-20T09:06:21Z) - On Calibrating Diffusion Probabilistic Models [78.75538484265292]
拡散確率モデル(DPM)は様々な生成タスクにおいて有望な結果を得た。
そこで本研究では,任意の事前学習DPMを校正する簡単な方法を提案する。
キャリブレーション法は1回だけ行い, 得られたモデルをサンプリングに繰り返し使用することができる。
論文 参考訳（メタデータ） (2023-02-21T14:14:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。