論文の概要: Denoising Lévy Probabilistic Models

• arxiv url: http://arxiv.org/abs/2407.18609v1
• Date: Fri, 26 Jul 2024 09:00:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-29 13:50:27.630910
• Title: Denoising Lévy Probabilistic Models
• Title（参考訳）: レービー確率モデルの騒音化
• Authors: Dario Shariatian, Umut Simsekli, Alain Durmus,
• Abstract要約: L'evy確率モデル(DLPM)を$alpha$stableノイズで生成する。 データ分散テールのカバレッジの向上、バランスの取れていないデータセットの生成の改善、後方ステップの削減による高速化を実現している。
• 参考スコア（独自算出の注目度）: 28.879024667933194
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Investigating noise distribution beyond Gaussian in diffusion generative models is an open problem. The Gaussian case has seen success experimentally and theoretically, fitting a unified SDE framework for score-based and denoising formulations. Recent studies suggest heavy-tailed noise distributions can address mode collapse and manage datasets with class imbalance, heavy tails, or outliers. Yoon et al. (NeurIPS 2023) introduced the L\'evy-Ito model (LIM), extending the SDE framework to heavy-tailed SDEs with $\alpha$-stable noise. Despite its theoretical elegance and performance gains, LIM's complex mathematics may limit its accessibility and broader adoption. This study takes a simpler approach by extending the denoising diffusion probabilistic model (DDPM) with $\alpha$-stable noise, creating the denoising L\'evy probabilistic model (DLPM). Using elementary proof techniques, we show DLPM reduces to running vanilla DDPM with minimal changes, allowing the use of existing implementations with minimal changes. DLPM and LIM have different training algorithms and, unlike the Gaussian case, they admit different backward processes and sampling algorithms. Our experiments demonstrate that DLPM achieves better coverage of data distribution tail, improved generation of unbalanced datasets, and faster computation times with fewer backward steps.
• Abstract（参考訳）: 拡散生成モデルにおけるガウシアンを超えての雑音分布の探索は未解決の問題である。 ガウスのケースは実験的、理論的に成功し、スコアベースおよびデノゲーションの定式化に統一されたSDEフレームワークを適合させた。 近年の研究では、重み付きノイズ分布はモード崩壊に対処し、クラス不均衡、重み付きテール、または外れ値を持つデータセットを管理することが示唆されている。 Yoon et al (NeurIPS 2023) は L'evy-Ito モデル (LIM) を導入し、SDE フレームワークを$\alpha$-stable ノイズでヘビーテール SDE に拡張した。 理論上のエレガンスと性能の向上にもかかわらず、LIMの複雑な数学はアクセシビリティとより広範な採用を制限する可能性がある。 本研究は,拡散確率モデル(DDPM)を$\alpha$-stableノイズで拡張し,L''evy確率モデル(DLPM)を作成した。 初等証明手法を用いることで,DLPMは最小限の変更でバニラDDPMの実行を減らし,最小限の変更で既存の実装を利用できることを示す。 DLPMとLIMは異なるトレーニングアルゴリズムを持ち、ガウスの場合とは異なり、異なる後方プロセスとサンプリングアルゴリズムを認めている。 実験により,DLPMは,データ分散テールのカバレッジの向上,不均衡なデータセットの生成の改善,後方ステップの削減による計算時間の短縮を実現している。

関連論文リスト

• SEMRes-DDPM: Residual Network Based Diffusion Modelling Applied to Imbalanced Data [9.969882349165745]
  データマイニングと機械学習の分野では、一般的に使われている分類モデルは、不均衡なデータで効果的に学習することはできない。 古典的なオーバーサンプリング手法の多くは、データのローカル情報のみに焦点を当てたSMOTE技術に基づいている。 本稿では,SEMRes-DDPMのオーバーサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2024-03-09T14:01:04Z)
• One More Step: A Versatile Plug-and-Play Module for Rectifying Diffusion Schedule Flaws and Enhancing Low-Frequency Controls [77.42510898755037]
  One More Step (OMS) は、推論中に単純だが効果的なステップを付加したコンパクトネットワークである。 OMSは画像の忠実度を高め、トレーニングと推論の二分法を調和させ、元のモデルパラメータを保存する。 トレーニングが完了すると、同じ潜在ドメインを持つ様々な事前訓練された拡散モデルが同じOMSモジュールを共有することができる。
  論文  参考訳（メタデータ） (2023-11-27T12:02:42Z)
• Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
  Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。 暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。 提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-21T18:49:22Z)
• Accelerating Diffusion Models via Early Stop of the Diffusion Process [114.48426684994179]
  Denoising Diffusion Probabilistic Models (DDPM) は、様々な世代タスクにおいて優れたパフォーマンスを実現している。 実際には、DDPMは高品質なサンプルを得るために何十万ものデノナイジングステップを必要とすることが多い。 本稿では,DDPMの早期停止型DDPM(Early-Stopped DDPM, ES-DDPM)の原理的高速化戦略を提案する。
  論文  参考訳（メタデータ） (2022-05-25T06:40:09Z)
• Pseudo Numerical Methods for Diffusion Models on Manifolds [77.40343577960712]
  Denoising Diffusion Probabilistic Models (DDPM) は、画像やオーディオサンプルなどの高品質なサンプルを生成することができる。 DDPMは最終的なサンプルを生成するために数百から数千のイテレーションを必要とする。 拡散モデル(PNDM)の擬似数値法を提案する。 PNDMは、1000段DDIM(20倍の高速化)と比較して、50段の精度で高品質な合成画像を生成することができる
  論文  参考訳（メタデータ） (2022-02-20T10:37:52Z)
• Score-Based Generative Modeling through Stochastic Differential Equations [114.39209003111723]
  複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。 対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。 スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。 スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
  論文  参考訳（メタデータ） (2020-11-26T19:39:10Z)
• Modal Regression based Structured Low-rank Matrix Recovery for Multi-view Learning [70.57193072829288]
  近年、低ランクなマルチビューサブスペース学習は、クロスビューの分類において大きな可能性を示している。 既存のLMvSLベースの手法では、ビューの区別と差別を同時に扱うことができない。 本稿では,視差を効果的に除去し,識別性を向上する独自の方法であるStructured Low-rank Matrix Recovery (SLMR)を提案する。
  論文  参考訳（メタデータ） (2020-03-22T03:57:38Z)
• Learning Generative Models using Denoising Density Estimators [29.068491722778827]
  縮退密度推定器(DDE)に基づく新しい生成モデルを提案する。 我々の主な貢献は、KL分割を直接最小化することで生成モデルを得る新しい技術である。 実験結果から, 生成モデル学習における密度推定と競争性能が大幅に向上した。
  論文  参考訳（メタデータ） (2020-01-08T20:30:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。