論文の概要: Enhancing Diffusion Models Efficiency by Disentangling Total-Variance and Signal-to-Noise Ratio

• arxiv url: http://arxiv.org/abs/2502.08598v1
• Date: Wed, 12 Feb 2025 17:35:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:50:05.595028
• Title: Enhancing Diffusion Models Efficiency by Disentangling Total-Variance and Signal-to-Noise Ratio
• Title（参考訳）: 全変量比と信号対雑音比を両立させることによる拡散モデルの効率向上
• Authors: Khaled Kahouli, Winfried Ripken, Stefan Gugler, Oliver T. Unke, Klaus-Robert Müller, Shinichi Nakajima,
• Abstract要約: 本稿では,TV と SNR を独立に制御できる,TV/SNR フレームワークを提案する。 最適輸送流マッチングのSNRスケジュールの一般化は、分子構造生成の性能を著しく向上させる。 画像生成において同様の傾向が見られ、均一な拡散時間格子を用いたアプローチは、高度に調整されたEDMサンプリング器と同等に機能する。
• 参考スコア（独自算出の注目度）: 16.25297742874181
• License:
• Abstract: The long sampling time of diffusion models remains a significant bottleneck, which can be mitigated by reducing the number of diffusion time steps. However, the quality of samples with fewer steps is highly dependent on the noise schedule, i.e., the specific manner in which noise is introduced and the signal is reduced at each step. Although prior work has improved upon the original variance-preserving and variance-exploding schedules, these approaches $\textit{passively}$ adjust the total variance, without direct control over it. In this work, we propose a novel total-variance/signal-to-noise-ratio disentangled (TV/SNR) framework, where TV and SNR can be controlled independently. Our approach reveals that different existing schedules, where the TV explodes exponentially, can be $\textit{improved}$ by setting a constant TV schedule while preserving the same SNR schedule. Furthermore, generalizing the SNR schedule of the optimal transport flow matching significantly improves the performance in molecular structure generation, achieving few step generation of stable molecules. A similar tendency is observed in image generation, where our approach with a uniform diffusion time grid performs comparably to the highly tailored EDM sampler.
• Abstract（参考訳）: 拡散モデルの長いサンプリング時間は重要なボトルネックであり、拡散時間ステップの数を減らすことで緩和することができる。 しかし、少ないステップのサンプルの品質はノイズスケジュールに大きく依存しており、すなわち、ノイズが導入され、各ステップで信号が減少する特定の方法である。 従来の作業は、分散保存と分散公開のスケジュールを改善するが、これらのアプローチは、直接制御することなく、全分散を調整する。 そこで本研究では,TVとSNRを独立に制御できる,新しいTV/SNRフレームワークを提案する。 提案手法では,SNRのスケジュールを保ちながらテレビのスケジュールを一定に設定することで,テレビが指数的に爆発的に爆発する既存のスケジュールを$\textit{improved}$にすることができる。 さらに, 最適輸送流マッチングのSNRスケジュールの一般化により, 分子構造生成の性能が著しく向上し, 安定な分子の段階生成がほとんど得られない。 画像生成において同様の傾向が見られ、均一な拡散時間格子を用いたアプローチは、高度に調整されたEDMサンプリング器と同等に機能する。

関連論文リスト

• Optimizing Noise Schedules of Generative Models in High Dimensionss [18.19470017419402]
  分散(VP)と分散爆発(VE)の保存に特有なノイズスケジュールは,高次特徴と低次特徴の両方の回復を可能にすることを示す。 また、これらのスケジュールは、確率フローODEを識別可能なGMとCurie-Weiss(CW)モデルの生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2025-01-02T00:39:00Z)
• Constant Rate Schedule: Constant-Rate Distributional Change for Efficient Training and Sampling in Diffusion Models [16.863038973001483]
  ノイズスケジュールは、拡散したデータの確率分布の変化率を一定に保証する。 ノイズスケジュールは自動的に決定され、各データセットと種類の拡散モデルに合わせて調整される。
  論文  参考訳（メタデータ） (2024-11-19T03:02:39Z)
• Improved Noise Schedule for Diffusion Training [51.849746576387375]
  本稿では,拡散モデルのトレーニングを強化するため,ノイズスケジュールを設計するための新しい手法を提案する。 我々は,標準のコサインスケジュールよりもノイズスケジュールの方が優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-07-03T17:34:55Z)
• Boosting Diffusion Models with Moving Average Sampling in Frequency Domain [101.43824674873508]
  拡散モデルは、現在のサンプルに頼って次のサンプルをノイズ化し、おそらく不安定化を引き起こす。 本稿では,反復的復調過程をモデル最適化として再解釈し,移動平均機構を利用して全ての先行サンプルをアンサンブルする。 周波数領域における平均サンプリング(MASF)の動作」という完全なアプローチを命名する。
  論文  参考訳（メタデータ） (2024-03-26T16:57:55Z)
• Diffusion-TS: Interpretable Diffusion for General Time Series Generation [6.639630994040322]
  Diffusion-TSは、高品質な時系列サンプルを生成する新しい拡散ベースのフレームワークである。 各拡散ステップのノイズの代わりにサンプルを直接再構成するようにモデルを訓練し、フーリエに基づく損失項を組み合わせた。 その結果,Diffusion-TSは時系列の様々な現実的解析において最先端の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2024-03-04T05:39:23Z)
• One More Step: A Versatile Plug-and-Play Module for Rectifying Diffusion Schedule Flaws and Enhancing Low-Frequency Controls [77.42510898755037]
  One More Step (OMS) は、推論中に単純だが効果的なステップを付加したコンパクトネットワークである。 OMSは画像の忠実度を高め、トレーニングと推論の二分法を調和させ、元のモデルパラメータを保存する。 トレーニングが完了すると、同じ潜在ドメインを持つ様々な事前訓練された拡散モデルが同じOMSモジュールを共有することができる。
  論文  参考訳（メタデータ） (2023-11-27T12:02:42Z)
• Towards More Accurate Diffusion Model Acceleration with A Timestep Aligner [84.97253871387028]
  数千のデノナイジングステップを用いて画像を生成するために定式化された拡散モデルは通常、遅い推論速度に悩まされる。 最小限のコストで特定の区間に対するより正確な積分方向を見つけるのに役立つ時間ステップ整合器を提案する。 実験により,我々のプラグイン設計を効率的に訓練し,様々な最先端加速度法の推論性能を向上できることが示された。
  論文  参考訳（メタデータ） (2023-10-14T02:19:07Z)
• Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
  Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。 暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。 提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-21T18:49:22Z)
• Common Diffusion Noise Schedules and Sample Steps are Flawed [7.802281665410233]
  拡散ノイズスケジュールは、信号対雑音比がゼロになる最後の段階を強制しない。 拡散サンプリングの実装は、最後の段階から始まりません。 既存の実装において、欠陥のある設計が真の問題を引き起こすことを示す。
  論文  参考訳（メタデータ） (2023-05-15T12:21:08Z)
• Generative Time Series Forecasting with Diffusion, Denoise, and Disentanglement [51.55157852647306]
  時系列予測は多くのアプリケーションにおいて非常に重要な課題である。 実世界の時系列データが短時間に記録されることが一般的であり、これはディープモデルと限られたノイズのある時系列との間に大きなギャップをもたらす。 本稿では,生成モデルを用いた時系列予測問題に対処し,拡散,雑音,ゆがみを備えた双方向変分自動エンコーダを提案する。
  論文  参考訳（メタデータ） (2023-01-08T12:20:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。