論文の概要: Risk-Sensitive Diffusion for Perturbation-Robust Optimization
- arxiv url: http://arxiv.org/abs/2402.02081v2
- Date: Fri, 5 Apr 2024 10:19:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-09 00:47:36.825614
- Title: Risk-Sensitive Diffusion for Perturbation-Robust Optimization
- Title(参考訳): 摂動-ロバスト最適化のためのリスク感性拡散
- Authors: Yangming Li, Max Ruiz Luyten, Mihaela van der Schaar,
- Abstract要約: スコア関数を持つものよりも、雑音のあるサンプルが別の目的関数を発生させることで、モデルが誤って最適化されることが示される。
リスクベクトルによってパラメータ化された微分方程式(SDE)の一種であるリスク感受性SDEを導入する。
ノイズのあるサンプルがガウス摂動によって引き起こされる場合のみ、ゼロ不安定測度が達成可能であることを証明する。
- 参考スコア(独自算出の注目度): 58.68233326265417
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The essence of score-based generative models (SGM) is to optimize a score-based model towards the score function. However, we show that noisy samples incur another objective function, rather than the one with score function, which will wrongly optimize the model. To address this problem, we first consider a new setting where every noisy sample is paired with a risk vector, indicating the data quality (e.g., noise level). This setting is very common in real-world applications, especially for medical and sensor data. Then, we introduce risk-sensitive SDE, a type of stochastic differential equation (SDE) parameterized by the risk vector. With this tool, we aim to minimize a measure called perturbation instability, which we define to quantify the negative impact of noisy samples on optimization. We will prove that zero instability measure is only achievable in the case where noisy samples are caused by Gaussian perturbation. For non-Gaussian cases, we will also provide its optimal coefficients that minimize the misguidance of noisy samples. To apply risk-sensitive SDE in practice, we extend widely used diffusion models to their risk-sensitive versions and derive a risk-free loss that is efficient for computation. We also have conducted numerical experiments to confirm the validity of our theorems and show that they let SGM be robust to noisy samples for optimization.
- Abstract(参考訳): スコアベース生成モデル(SGM)の本質は、スコアベースモデルをスコア関数に最適化することである。
しかし,ノイズのあるサンプルはスコア関数ではなく,別の目的関数を発生させることで,モデルが誤って最適化されることを示す。
この問題に対処するために、まず、各ノイズサンプルがリスクベクトルとペアリングされ、データ品質(例えば、ノイズレベル)を示す新しい設定について検討する。
この設定は現実世界の応用、特に医療やセンサーのデータにおいて非常に一般的である。
次に、リスクベクトルによってパラメータ化された確率微分方程式(SDE)の一種であるリスク感受性SDEを紹介する。
このツールでは摂動不安定性(perturbation instability)と呼ばれる尺度を最小化することを目的としており、これは雑音サンプルの最適化に対する負の影響を定量化するために定義される。
ノイズのあるサンプルがガウス摂動によって引き起こされる場合のみ、ゼロ不安定測度が達成可能であることを証明します。
非ガウスの場合には、ノイズサンプルの誤認を最小限に抑える最適係数も提供する。
リスクに敏感なSDEを実際に適用するために,リスクに敏感なバージョンに広く用いられている拡散モデルを拡張し,計算に効率的なリスクのない損失を導出する。
また、我々の定理の有効性を確認するために数値実験を行い、SGMが最適化のためにノイズの多いサンプルに対して頑健であることを示す。
関連論文リスト
- Risk-averse Learning with Non-Stationary Distributions [18.15046585146849]
本稿では,ランダムなコスト分布が時間とともに変化するリスク-逆オンライン最適化について検討する。
リスクの条件値(CVaR)をリスク尺度として用いたリスク逆目的関数を最小化する。
設計した学習アルゴリズムは,凸関数と凸関数の両方に対して高い確率で線形動的後悔を実現する。
論文 参考訳(メタデータ) (2024-04-03T18:16:47Z) - Robust Estimation of Causal Heteroscedastic Noise Models [7.568978862189266]
学生の$t$-distributionは、より小さなサンプルサイズと極端な値で、全体の分布形態を著しく変えることなく、サンプル変数をサンプリングすることの堅牢さで知られている。
我々の経験的評価は、我々の推定器はより堅牢で、合成ベンチマークと実ベンチマークの総合的な性能が向上していることを示している。
論文 参考訳(メタデータ) (2023-12-15T02:26:35Z) - Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。
両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。
転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
論文 参考訳(メタデータ) (2023-10-10T10:48:52Z) - Geometry of Sensitivity: Twice Sampling and Hybrid Clipping in Differential Privacy with Optimal Gaussian Noise and Application to Deep Learning [18.92302645198466]
微分プライバシーにおける最適ランダム化の構成問題について検討する。
適切な選択された感度集合に対する最小摂動を求めることは、DP研究の中心的な問題である。
論文 参考訳(メタデータ) (2023-09-06T02:45:08Z) - Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル
GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。
本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
論文 参考訳(メタデータ) (2023-04-22T15:32:59Z) - Out-of-sample scoring and automatic selection of causal estimators [0.0]
本稿では,CATEの場合と器楽変数問題の重要な部分集合に対する新しいスコアリング手法を提案する。
私たちはそれを、DoWhyとEconMLライブラリに依存するオープンソースパッケージで実装しています。
論文 参考訳(メタデータ) (2022-12-20T08:29:18Z) - Partial Identification with Noisy Covariates: A Robust Optimization
Approach [94.10051154390237]
観測データセットからの因果推論は、しばしば共変量の測定と調整に依存する。
このロバストな最適化手法により、広範囲な因果調整法を拡張し、部分的同定を行うことができることを示す。
合成および実データセット全体で、このアプローチは既存の手法よりも高いカバレッジ確率でATEバウンダリを提供する。
論文 参考訳(メタデータ) (2022-02-22T04:24:26Z) - Autoregressive Score Matching [113.4502004812927]
自動回帰条件スコアモデル(AR-CSM)を提案する。
AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。
本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
論文 参考訳(メタデータ) (2020-10-24T07:01:24Z) - Shape Matters: Understanding the Implicit Bias of the Noise Covariance [76.54300276636982]
勾配降下のノイズはパラメータ化モデルに対するトレーニングにおいて重要な暗黙の正則化効果をもたらす。
ミニバッチやラベルの摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。
分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
論文 参考訳(メタデータ) (2020-06-15T18:31:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。