論文の概要: Denoising Lévy Probabilistic Models

• arxiv url: http://arxiv.org/abs/2407.18609v3
• Date: Mon, 10 Feb 2025 15:01:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:27:07.960786
• Title: Denoising Lévy Probabilistic Models
• Title（参考訳）: レービー確率モデルの騒音化
• Authors: Dario Shariatian, Umut Simsekli, Alain Durmus,
• Abstract要約: 近年の研究では、$alpha$-stableのような重み付きノイズ分布がモード崩壊に対処する可能性が示唆されている。 本稿では,ガウス雑音を$alpha$stable雑音に置き換えることで拡散確率モデル(DDPM)を拡張する。 実験により,データ分散テールのカバレッジの向上,非バランスなデータセットに対する堅牢性の向上,計算時間の改善が示された。
• 参考スコア（独自算出の注目度）: 28.879024667933194
• License:
• Abstract: Exploring noise distributions beyond Gaussian in diffusion models remains an open challenge. While Gaussian-based models succeed within a unified SDE framework, recent studies suggest that heavy-tailed noise distributions, like $\alpha$-stable distributions, may better handle mode collapse and effectively manage datasets exhibiting class imbalance, heavy tails, or prominent outliers. Recently, Yoon et al.\ (NeurIPS 2023), presented the L\'evy-It\^o model (LIM), directly extending the SDE-based framework to a class of heavy-tailed SDEs, where the injected noise followed an $\alpha$-stable distribution, a rich class of heavy-tailed distributions. However, the LIM framework relies on highly involved mathematical techniques with limited flexibility, potentially hindering broader adoption and further development. In this study, instead of starting from the SDE formulation, we extend the denoising diffusion probabilistic model (DDPM) by replacing the Gaussian noise with $\alpha$-stable noise. By using only elementary proof techniques, the proposed approach, Denoising L\'evy Probabilistic Models (DLPM), boils down to vanilla DDPM with minor modifications. As opposed to the Gaussian case, DLPM and LIM yield different training algorithms and different backward processes, leading to distinct sampling algorithms. These fundamental differences translate favorably for DLPM as compared to LIM: our experiments show improvements in coverage of data distribution tails, better robustness to unbalanced datasets, and improved computation times requiring smaller number of backward steps.
• Abstract（参考訳）: 拡散モデルにおけるガウス分布以外のノイズ分布の探索は、未解決の課題である。 ガウスに基づくモデルは統一されたSDEフレームワークで成功するが、最近の研究では、$\alpha$-stable分布のような重み付きノイズ分布は、モード崩壊を処理し、クラス不均衡、重み付きテール、または顕著な外れ値を示すデータセットを効果的に管理する可能性が示唆されている。 最近、Yoon et al \ (NeurIPS 2023)はL\'evy-It\^oモデル(LIM)を提示し、SDEベースのフレームワークを直接重み付きSDEのクラスに拡張した。 しかし、LIMフレームワークは柔軟性に制限のある高度な数学的手法に依存しており、より広範な採用とさらなる開発を妨げる可能性がある。 本研究では,SDEの定式化から始める代わりに,ガウス雑音を$\alpha$-stable雑音に置き換えることで拡散確率モデル(DDPM)を拡張する。 基本的証明手法のみを用いることで、L\'evy Probabilistic Models (DLPM) をデノベートすることで、バニラDDPMに小さな修正を加えて沸騰させる。 ガウスの場合とは対照的に、DLPMとLIMは異なるトレーニングアルゴリズムと異なる後方プロセスを生成し、異なるサンプリングアルゴリズムをもたらす。 これらの基本的差異は、LIMと比較してDLPMに好意的に反映される: 実験では、データ分散テールのカバレッジの改善、不均衡なデータセットに対する堅牢性の向上、後方ステップの少ない計算時間の改善が示されている。

関連論文リスト

• Robust training of implicit generative models for multivariate and heavy-tailed distributions with an invariant statistical loss [0.4249842620609682]
  我々は、引用2024トレーニングで導入されたISL(textitinvariant statistics loss)法に基づいて構築する。 重み付きおよび多変量データ分散を扱うように拡張する。 ジェネレーティブ・ジェネレーティブ・モデリングにおけるその性能を評価し、ジェネレーティブ・ディバイサル・ネットワーク(GAN)の事前学習技術としての可能性を探る。
  論文  参考訳（メタデータ） (2024-10-29T10:27:50Z)
• Non-asymptotic bounds for forward processes in denoising diffusions: Ornstein-Uhlenbeck is hard to beat [49.1574468325115]
  本稿では,全変動(TV)における前方拡散誤差の非漸近的境界について述べる。 我々は、R$からFarthestモードまでの距離でマルチモーダルデータ分布をパラメライズし、加法的および乗法的雑音による前方拡散を考察する。
  論文  参考訳（メタデータ） (2024-08-25T10:28:31Z)
• One More Step: A Versatile Plug-and-Play Module for Rectifying Diffusion Schedule Flaws and Enhancing Low-Frequency Controls [77.42510898755037]
  One More Step (OMS) は、推論中に単純だが効果的なステップを付加したコンパクトネットワークである。 OMSは画像の忠実度を高め、トレーニングと推論の二分法を調和させ、元のモデルパラメータを保存する。 トレーニングが完了すると、同じ潜在ドメインを持つ様々な事前訓練された拡散モデルが同じOMSモジュールを共有することができる。
  論文  参考訳（メタデータ） (2023-11-27T12:02:42Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
  Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。 暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。 提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-21T18:49:22Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Score-Based Generative Modeling through Stochastic Differential Equations [114.39209003111723]
  複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。 対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。 スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。 スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
  論文  参考訳（メタデータ） (2020-11-26T19:39:10Z)
• Modal Regression based Structured Low-rank Matrix Recovery for Multi-view Learning [70.57193072829288]
  近年、低ランクなマルチビューサブスペース学習は、クロスビューの分類において大きな可能性を示している。 既存のLMvSLベースの手法では、ビューの区別と差別を同時に扱うことができない。 本稿では,視差を効果的に除去し,識別性を向上する独自の方法であるStructured Low-rank Matrix Recovery (SLMR)を提案する。
  論文  参考訳（メタデータ） (2020-03-22T03:57:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。