論文の概要: Risk-Sensitive Diffusion: Robustly Optimizing Diffusion Models with Noisy Samples

• arxiv url: http://arxiv.org/abs/2402.02081v3
• Date: Wed, 02 Oct 2024 18:11:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-05 03:34:13.698358
• Title: Risk-Sensitive Diffusion: Robustly Optimizing Diffusion Models with Noisy Samples
• Title（参考訳）: リスク感応拡散:ノイズサンプルを用いたロバストに最適化された拡散モデル
• Authors: Yangming Li, Max Ruiz Luyten, Mihaela van der Schaar,
• Abstract要約: 非画像データは実際のアプリケーションで広く使われており、ノイズが多い傾向にある。 リスク感受性SDEは、リスクベクトルによってパラメータ化された微分方程式(SDE)の一種である。 我々はガウス雑音分布と非ガウス雑音分布の両方について系統的研究を行う。
• 参考スコア（独自算出の注目度）: 58.68233326265417
• License:
• Abstract: Diffusion models are mainly studied on image data. However, non-image data (e.g., tabular data) are also prevalent in real applications and tend to be noisy due to some inevitable factors in the stage of data collection, degrading the generation quality of diffusion models. In this paper, we consider a novel problem setting where every collected sample is paired with a vector indicating the data quality: risk vector. This setting applies to many scenarios involving noisy data and we propose risk-sensitive SDE, a type of stochastic differential equation (SDE) parameterized by the risk vector, to address it. With some proper coefficients, risk-sensitive SDE can minimize the negative effect of noisy samples on the optimization of diffusion models. We conduct systematic studies for both Gaussian and non-Gaussian noise distributions, providing analytical forms of risk-sensitive SDE. To verify the effectiveness of our method, we have conducted extensive experiments on multiple tabular and time-series datasets, showing that risk-sensitive SDE permits a robust optimization of diffusion models with noisy samples and significantly outperforms previous baselines.
• Abstract（参考訳）: 拡散モデルは主に画像データについて研究されている。 しかし、非画像データ(例:表型データ)も実際のアプリケーションでも一般的であり、データ収集の段階では避けられない要因がいくつかあり、拡散モデルの生成品質が低下する傾向にある。 本稿では,データ品質を示すベクトルと,各サンプルをペアリングする新たな問題設定について考察する。 この設定は、ノイズデータを含む多くのシナリオに適用され、リスクベクトルによってパラメータ化された確率微分方程式(SDE)の一種であるリスク感受性SDEを提案する。 いくつかの適切な係数で、リスクに敏感なSDEは拡散モデルの最適化に対するノイズサンプルの負の効果を最小限に抑えることができる。 我々はガウス雑音分布と非ガウス雑音分布の両方について系統的研究を行い、リスク感応性SDEの分析形式を提供する。 提案手法の有効性を検証するため,複数の表や時系列データセットに対して広範囲に実験を行い,リスクに敏感なSDEにより,ノイズのあるサンプルを用いた拡散モデルのロバストな最適化が可能であり,従来のベースラインを著しく上回ることを示す。

関連論文リスト

• Identifying Drift, Diffusion, and Causal Structure from Temporal Snapshots [10.018568337210876]
  本稿では,SDEの時空間からのドリフトと拡散を共同で推定する,最初の包括的アプローチを提案する。 これらのステップのそれぞれが、Kullback-Leiblerデータセットに関して常に最適であることを示す。
  論文  参考訳（メタデータ） (2024-10-30T06:28:21Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
  Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。 暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。 提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-21T18:49:22Z)
• Exploring the Optimal Choice for Generative Processes in Diffusion Models: Ordinary vs Stochastic Differential Equations [6.2284442126065525]
  ゼロ拡散(ODE)の場合と大きな拡散の場合の2つの制限シナリオについて数学的に検討する。 その結果, 生成過程の終端に摂動が発生すると, ODEモデルは大きな拡散係数でSDEモデルより優れることがわかった。
  論文  参考訳（メタデータ） (2023-06-03T09:27:15Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Solving Diffusion ODEs with Optimal Boundary Conditions for Better Image Super-Resolution [82.50210340928173]
  拡散モデルのランダム性は非効率性と不安定性をもたらすため、SR結果の品質を保証することは困難である。 本稿では,一連の拡散型SR手法の恩恵を受ける可能性を持つプラグアンドプレイサンプリング手法を提案する。 提案手法によりサンプリングされたSR結果の質は, 学習前の拡散ベースSRモデルと同一のランダム性を有する現在の手法でサンプリングされた結果の質より優れる。
  論文  参考訳（メタデータ） (2023-05-24T17:09:54Z)
• Diffusion Normalizing Flow [4.94950858749529]
  本稿では微分方程式(SDE)に基づく拡散正規化フローという新しい生成モデルを提案する。 このアルゴリズムは、2つのニューラルSDEで構成されており、データに徐々にノイズを加えてガウスランダムノイズに変換するフォワードSDEと、データ分布からサンプルへのノイズを徐々に除去する後方SDEである。 提案アルゴリズムは,高次元データ密度推定と画像生成の両タスクにおける競合性能を示す。
  論文  参考訳（メタデータ） (2021-10-14T17:41:12Z)
• Score-Based Generative Modeling through Stochastic Differential Equations [114.39209003111723]
  複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。 対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。 スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。 スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
  論文  参考訳（メタデータ） (2020-11-26T19:39:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。