論文の概要: Improved Distributional Diffusion Models

• arxiv url: http://arxiv.org/abs/2609.37147v1
• Date: Tue, 29 Sep 2026 09:41:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.395573
• Title: Improved Distributional Diffusion Models
• Title（参考訳）: 分散拡散モデルの改良
• Abstract要約: 分散拡散モデルでは、標準的な平均予測デノイザを、スコアリングルールの目的によって訓練された固有分布デノイザに置き換える。 本稿では, 時間依存型スコアリングルールのスケジュールを, サーモット・ビロリ2024の動的レギュレーションによって通知する。 4段目で4.48 FID、50段目で2.38 FIDをDiT-XL/2で達成した。
• 参考スコア（独自算出の注目度）: 76.7431857619657
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributional Diffusion Models (DDMs) replace the standard mean-prediction denoiser with a \emph{distributional} denoiser trained via a scoring rule objective, learning a stochastic approximation to $p(x_1 \mid x_t)$ rather than its conditional mean. However, scaling DDMs to modern image-generation settings faces two obstacles: (i) multi-particle training incurs overhead that scales with the number of particles, (ii) DDMs use globally fixed scoring rule hyperparameters, forcing a single trade-off across sampling budgets. We mitigate these limitations by deferring particle expansion to late transformer layers, and the hyperparameter trade-off by introducing time-dependent scoring rule schedules informed by the dynamical regimes of~\citet{Biroli2024}. Combined with a DiT-based latent setup, these changes make DDM training practical on class-conditional ImageNet-$256^2$, achieving 4.48 FID at 4 steps and 2.38 at 50 steps with DiT-XL/2, from a single model trained from scratch in one stage, without a teacher, self-distillation or JVPs. The result is a stochastic few-step generator whose FID does not degrade as the sampling budget grows from 4 to 50 NFE, and the same recipe transfers to text-to-image generation. Code and pre-trained models available at https://github.com/CompVis/iDDM.
• Abstract（参考訳）: 分布拡散モデル(DDM)は、標準的な平均予測デノイザをスコアリングルールの目的によって訓練された \emph{distributional} denoiser に置き換え、条件平均よりも$p(x_1 \mid x_t)$に確率近似を学習する。 しかし、現代の画像生成設定へのDDMのスケーリングは2つの障害に直面している。 (i)多粒子トレーニングは、粒子の数に応じてスケールするオーバーヘッドを発生させる。 (II)DDMは、グローバルに固定されたスコアリングルールハイパーパラメータを使用し、サンプリング予算をまたいで単一のトレードオフを強制する。 これらの制限は、後期変圧器層への粒子膨張を遅延させることによって緩和され、超パラメータトレードオフは、~\citet{Biroli2024} の動的レギュレーションによって通知される時間依存のスコアリングルールスケジュールを導入することで緩和される。 DiTベースの潜水装置と組み合わせることで、DDMトレーニングをクラス条件のImageNet-$256^2$で実践でき、4ステップで4.48 FID、DT-XL/2で50ステップで2.38 FIDを達成できる。 その結果、サンプリング予算が4NFEから50NFEに増加し、FIDが劣化しない確率的な数ステップジェネレータとなり、同じレシピがテキスト・ツー・画像生成に転送される。 コードと事前訓練されたモデルはhttps://github.com/CompVis/iDDMで入手できる。

関連論文リスト

• Simplex Diffusion Models [70.25963134099172]
  本稿では,拡散過程を確率的単純度に引き上げて,カテゴリに対する信念を表現する枠組みを提案する。 SDMは単純度上のサンプルで動作するため、デノナイジングステップをまたいで不確実性を持ち、情報の崩壊を軽減できる。
  論文  参考訳（メタデータ） (2026-09-28T16:26:29Z)
• Beyond Token-Level Cross-Entropy: Fréchet Distributional Post-Training for Autoregressive Image Generation [20.360043829037306]
  FD-lossポストトレーニングは、表現空間フレシェ距離を唯一の目的とする事前訓練された離散ジェネレータに適応する。 クラス条件のImageNet上の4つのジェネレータファミリーから、256times256$で完了した8つの構成で、FD-lossポストトレーニングはFIDと$mathrmFD_r6$を平均41.4%、そして52.0%削減する。
  論文  参考訳（メタデータ） (2026-08-01T10:00:42Z)
• UNIFUSION: Adapting Autoregressive Language Models into Discrete Diffusion under a Unified Reverse-Rate Objective [17.48959208263029]
  本稿では,事前学習したGPT2チェックポイントを均一な雑音拡散に適応させるための,簡易な事前学習手法を提案する。 我々の研究は、サンプリング予算の増加に伴い、生成的複雑度(GenPPL)とユニグラムエントロピーのトレードオフを着実に改善する。 両スケールで比較した拡散モデルの中で,WinoGrande,SIQA,BBHの精度が最も高い。
  論文  参考訳（メタデータ） (2026-07-27T14:40:26Z)
• GMem: A Modular Approach for Ultra-Efficient Generative Models [6.515635754669283]
  GMem:超効率的な生成モデルのためのモジュラーアプローチを紹介する。 我々のアプローチであるGMemは、メモリ容量をモデルから切り離し、別のイミュータブルメモリセットとして実装する。 ImageNetの256倍256ドルの解像度で、GMemはSiTに比べて50倍のトレーニングスピードアップを達成した。
  論文  参考訳（メタデータ） (2024-12-11T21:23:24Z)
• One-Step Diffusion Distillation through Score Implicit Matching [74.91234358410281]
  本稿では,Score Implicit Matching (SIM) を用いて,事前学習した拡散モデルを単一ステップジェネレータモデルに蒸留する手法を提案する。 SIMはワンステップジェネレータに対して強い経験的性能を示す。 リードトランスに基づく拡散モデルにSIMを適用することにより,テキスト・ツー・イメージ生成のための単一ステップ生成器を蒸留する。
  論文  参考訳（メタデータ） (2024-10-22T08:17:20Z)
• Improved Distribution Matching Distillation for Fast Image Synthesis [54.72356560597428]
  この制限を解除し、MDDトレーニングを改善する一連の技術であるMDD2を紹介する。 まず、回帰損失と高価なデータセット構築の必要性を排除します。 第2に, GAN損失を蒸留工程に統合し, 生成した試料と実画像との識別を行う。
  論文  参考訳（メタデータ） (2024-05-23T17:59:49Z)
• ACT-Diffusion: Efficient Adversarial Consistency Training for One-step Diffusion Models [59.90959789767886]
  整合性トレーニング損失の最適化は,目標分布と生成分布とのワッサーシュタイン距離を最小化することを示す。 CIFAR10 と ImageNet 64$times$64 と LSUN Cat 256$times$256 データセットの FID スコアを改善する。
  論文  参考訳（メタデータ） (2023-11-23T16:49:06Z)
• Improved Techniques for Training Consistency Models [13.475711217989975]
  本稿では, 蒸留なしでデータから直接一貫性モデルを学習する, 整合性トレーニングのための改良手法を提案する。 整合性学習目的のための対数正規雑音スケジュールを提案し、トレーニングの繰り返し回数毎に全離散化ステップを2倍にすることを提案する。 これらの修正により、一貫性モデルは1回のサンプリングステップでCIFAR-10で2.51と3.25のFIDスコア、ImageNetで64ドルをそれぞれ達成できる。
  論文  参考訳（メタデータ） (2023-10-22T05:33:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。