論文の概要: Risk-Sensitive Diffusion for Perturbation-Robust Optimization

• arxiv url: http://arxiv.org/abs/2402.02081v2
• Date: Fri, 5 Apr 2024 10:19:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 00:47:36.825614
• Title: Risk-Sensitive Diffusion for Perturbation-Robust Optimization
• Title（参考訳）: 摂動-ロバスト最適化のためのリスク感性拡散
• Authors: Yangming Li, Max Ruiz Luyten, Mihaela van der Schaar,
• Abstract要約: スコア関数を持つものよりも、雑音のあるサンプルが別の目的関数を発生させることで、モデルが誤って最適化されることが示される。 リスクベクトルによってパラメータ化された微分方程式(SDE)の一種であるリスク感受性SDEを導入する。 ノイズのあるサンプルがガウス摂動によって引き起こされる場合のみ、ゼロ不安定測度が達成可能であることを証明する。
• 参考スコア（独自算出の注目度）: 58.68233326265417
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The essence of score-based generative models (SGM) is to optimize a score-based model towards the score function. However, we show that noisy samples incur another objective function, rather than the one with score function, which will wrongly optimize the model. To address this problem, we first consider a new setting where every noisy sample is paired with a risk vector, indicating the data quality (e.g., noise level). This setting is very common in real-world applications, especially for medical and sensor data. Then, we introduce risk-sensitive SDE, a type of stochastic differential equation (SDE) parameterized by the risk vector. With this tool, we aim to minimize a measure called perturbation instability, which we define to quantify the negative impact of noisy samples on optimization. We will prove that zero instability measure is only achievable in the case where noisy samples are caused by Gaussian perturbation. For non-Gaussian cases, we will also provide its optimal coefficients that minimize the misguidance of noisy samples. To apply risk-sensitive SDE in practice, we extend widely used diffusion models to their risk-sensitive versions and derive a risk-free loss that is efficient for computation. We also have conducted numerical experiments to confirm the validity of our theorems and show that they let SGM be robust to noisy samples for optimization.
• Abstract（参考訳）: スコアベース生成モデル(SGM)の本質は、スコアベースモデルをスコア関数に最適化することである。 しかし,ノイズのあるサンプルはスコア関数ではなく,別の目的関数を発生させることで,モデルが誤って最適化されることを示す。 この問題に対処するために、まず、各ノイズサンプルがリスクベクトルとペアリングされ、データ品質(例えば、ノイズレベル)を示す新しい設定について検討する。 この設定は現実世界の応用、特に医療やセンサーのデータにおいて非常に一般的である。 次に、リスクベクトルによってパラメータ化された確率微分方程式(SDE)の一種であるリスク感受性SDEを紹介する。 このツールでは摂動不安定性(perturbation instability)と呼ばれる尺度を最小化することを目的としており、これは雑音サンプルの最適化に対する負の影響を定量化するために定義される。 ノイズのあるサンプルがガウス摂動によって引き起こされる場合のみ、ゼロ不安定測度が達成可能であることを証明します。 非ガウスの場合には、ノイズサンプルの誤認を最小限に抑える最適係数も提供する。 リスクに敏感なSDEを実際に適用するために,リスクに敏感なバージョンに広く用いられている拡散モデルを拡張し,計算に効率的なリスクのない損失を導出する。 また、我々の定理の有効性を確認するために数値実験を行い、SGMが最適化のためにノイズの多いサンプルに対して頑健であることを示す。

関連論文リスト

• Identifying Drift, Diffusion, and Causal Structure from Temporal Snapshots [10.018568337210876]
  本稿では,SDEの時空間からのドリフトと拡散を共同で推定する,最初の包括的アプローチを提案する。 これらのステップのそれぞれが、Kullback-Leiblerデータセットに関して常に最適であることを示す。
  論文  参考訳（メタデータ） (2024-10-30T06:28:21Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
  Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。 暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。 提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-21T18:49:22Z)
• Exploring the Optimal Choice for Generative Processes in Diffusion Models: Ordinary vs Stochastic Differential Equations [6.2284442126065525]
  ゼロ拡散(ODE)の場合と大きな拡散の場合の2つの制限シナリオについて数学的に検討する。 その結果, 生成過程の終端に摂動が発生すると, ODEモデルは大きな拡散係数でSDEモデルより優れることがわかった。
  論文  参考訳（メタデータ） (2023-06-03T09:27:15Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Solving Diffusion ODEs with Optimal Boundary Conditions for Better Image Super-Resolution [82.50210340928173]
  拡散モデルのランダム性は非効率性と不安定性をもたらすため、SR結果の品質を保証することは困難である。 本稿では,一連の拡散型SR手法の恩恵を受ける可能性を持つプラグアンドプレイサンプリング手法を提案する。 提案手法によりサンプリングされたSR結果の質は, 学習前の拡散ベースSRモデルと同一のランダム性を有する現在の手法でサンプリングされた結果の質より優れる。
  論文  参考訳（メタデータ） (2023-05-24T17:09:54Z)
• Diffusion Normalizing Flow [4.94950858749529]
  本稿では微分方程式(SDE)に基づく拡散正規化フローという新しい生成モデルを提案する。 このアルゴリズムは、2つのニューラルSDEで構成されており、データに徐々にノイズを加えてガウスランダムノイズに変換するフォワードSDEと、データ分布からサンプルへのノイズを徐々に除去する後方SDEである。 提案アルゴリズムは,高次元データ密度推定と画像生成の両タスクにおける競合性能を示す。
  論文  参考訳（メタデータ） (2021-10-14T17:41:12Z)
• Score-Based Generative Modeling through Stochastic Differential Equations [114.39209003111723]
  複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。 対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。 スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。 スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
  論文  参考訳（メタデータ） (2020-11-26T19:39:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。