論文の概要: Denoising Lévy Probabilistic Models

• arxiv url: http://arxiv.org/abs/2407.18609v3
• Date: Mon, 10 Feb 2025 15:01:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:27:07.960786
• Title: Denoising Lévy Probabilistic Models
• Title（参考訳）: レービー確率モデルの騒音化
• Authors: Dario Shariatian, Umut Simsekli, Alain Durmus,
• Abstract要約: 近年の研究では、$alpha$-stableのような重み付きノイズ分布がモード崩壊に対処する可能性が示唆されている。 本稿では,ガウス雑音を$alpha$stable雑音に置き換えることで拡散確率モデル(DDPM)を拡張する。 実験により,データ分散テールのカバレッジの向上,非バランスなデータセットに対する堅牢性の向上,計算時間の改善が示された。
• 参考スコア（独自算出の注目度）: 28.879024667933194
• License:
• Abstract: Exploring noise distributions beyond Gaussian in diffusion models remains an open challenge. While Gaussian-based models succeed within a unified SDE framework, recent studies suggest that heavy-tailed noise distributions, like $\alpha$-stable distributions, may better handle mode collapse and effectively manage datasets exhibiting class imbalance, heavy tails, or prominent outliers. Recently, Yoon et al.\ (NeurIPS 2023), presented the L\'evy-It\^o model (LIM), directly extending the SDE-based framework to a class of heavy-tailed SDEs, where the injected noise followed an $\alpha$-stable distribution, a rich class of heavy-tailed distributions. However, the LIM framework relies on highly involved mathematical techniques with limited flexibility, potentially hindering broader adoption and further development. In this study, instead of starting from the SDE formulation, we extend the denoising diffusion probabilistic model (DDPM) by replacing the Gaussian noise with $\alpha$-stable noise. By using only elementary proof techniques, the proposed approach, Denoising L\'evy Probabilistic Models (DLPM), boils down to vanilla DDPM with minor modifications. As opposed to the Gaussian case, DLPM and LIM yield different training algorithms and different backward processes, leading to distinct sampling algorithms. These fundamental differences translate favorably for DLPM as compared to LIM: our experiments show improvements in coverage of data distribution tails, better robustness to unbalanced datasets, and improved computation times requiring smaller number of backward steps.
• Abstract（参考訳）: 拡散モデルにおけるガウス分布以外のノイズ分布の探索は、未解決の課題である。 ガウスに基づくモデルは統一されたSDEフレームワークで成功するが、最近の研究では、$\alpha$-stable分布のような重み付きノイズ分布は、モード崩壊を処理し、クラス不均衡、重み付きテール、または顕著な外れ値を示すデータセットを効果的に管理する可能性が示唆されている。 最近、Yoon et al \ (NeurIPS 2023)はL\'evy-It\^oモデル(LIM)を提示し、SDEベースのフレームワークを直接重み付きSDEのクラスに拡張した。 しかし、LIMフレームワークは柔軟性に制限のある高度な数学的手法に依存しており、より広範な採用とさらなる開発を妨げる可能性がある。 本研究では,SDEの定式化から始める代わりに,ガウス雑音を$\alpha$-stable雑音に置き換えることで拡散確率モデル(DDPM)を拡張する。 基本的証明手法のみを用いることで、L\'evy Probabilistic Models (DLPM) をデノベートすることで、バニラDDPMに小さな修正を加えて沸騰させる。 ガウスの場合とは対照的に、DLPMとLIMは異なるトレーニングアルゴリズムと異なる後方プロセスを生成し、異なるサンプリングアルゴリズムをもたらす。 これらの基本的差異は、LIMと比較してDLPMに好意的に反映される: 実験では、データ分散テールのカバレッジの改善、不均衡なデータセットに対する堅牢性の向上、後方ステップの少ない計算時間の改善が示されている。

関連論文リスト

• SEMRes-DDPM: Residual Network Based Diffusion Modelling Applied to Imbalanced Data [9.969882349165745]
  データマイニングと機械学習の分野では、一般的に使われている分類モデルは、不均衡なデータで効果的に学習することはできない。 古典的なオーバーサンプリング手法の多くは、データのローカル情報のみに焦点を当てたSMOTE技術に基づいている。 本稿では,SEMRes-DDPMのオーバーサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2024-03-09T14:01:04Z)
• One More Step: A Versatile Plug-and-Play Module for Rectifying Diffusion Schedule Flaws and Enhancing Low-Frequency Controls [77.42510898755037]
  One More Step (OMS) は、推論中に単純だが効果的なステップを付加したコンパクトネットワークである。 OMSは画像の忠実度を高め、トレーニングと推論の二分法を調和させ、元のモデルパラメータを保存する。 トレーニングが完了すると、同じ潜在ドメインを持つ様々な事前訓練された拡散モデルが同じOMSモジュールを共有することができる。
  論文  参考訳（メタデータ） (2023-11-27T12:02:42Z)
• Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
  Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。 暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。 提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-21T18:49:22Z)
• Accelerating Diffusion Models via Early Stop of the Diffusion Process [114.48426684994179]
  Denoising Diffusion Probabilistic Models (DDPM) は、様々な世代タスクにおいて優れたパフォーマンスを実現している。 実際には、DDPMは高品質なサンプルを得るために何十万ものデノナイジングステップを必要とすることが多い。 本稿では,DDPMの早期停止型DDPM(Early-Stopped DDPM, ES-DDPM)の原理的高速化戦略を提案する。
  論文  参考訳（メタデータ） (2022-05-25T06:40:09Z)
• Pseudo Numerical Methods for Diffusion Models on Manifolds [77.40343577960712]
  Denoising Diffusion Probabilistic Models (DDPM) は、画像やオーディオサンプルなどの高品質なサンプルを生成することができる。 DDPMは最終的なサンプルを生成するために数百から数千のイテレーションを必要とする。 拡散モデル(PNDM)の擬似数値法を提案する。 PNDMは、1000段DDIM(20倍の高速化)と比較して、50段の精度で高品質な合成画像を生成することができる
  論文  参考訳（メタデータ） (2022-02-20T10:37:52Z)
• Score-Based Generative Modeling through Stochastic Differential Equations [114.39209003111723]
  複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。 対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。 スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。 スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
  論文  参考訳（メタデータ） (2020-11-26T19:39:10Z)
• Modal Regression based Structured Low-rank Matrix Recovery for Multi-view Learning [70.57193072829288]
  近年、低ランクなマルチビューサブスペース学習は、クロスビューの分類において大きな可能性を示している。 既存のLMvSLベースの手法では、ビューの区別と差別を同時に扱うことができない。 本稿では,視差を効果的に除去し,識別性を向上する独自の方法であるStructured Low-rank Matrix Recovery (SLMR)を提案する。
  論文  参考訳（メタデータ） (2020-03-22T03:57:38Z)
• Learning Generative Models using Denoising Density Estimators [29.068491722778827]
  縮退密度推定器(DDE)に基づく新しい生成モデルを提案する。 我々の主な貢献は、KL分割を直接最小化することで生成モデルを得る新しい技術である。 実験結果から, 生成モデル学習における密度推定と競争性能が大幅に向上した。
  論文  参考訳（メタデータ） (2020-01-08T20:30:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。