論文の概要: Soft Diffusion: Score Matching for General Corruptions
- arxiv url: http://arxiv.org/abs/2209.05442v1
- Date: Mon, 12 Sep 2022 17:45:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-13 12:13:25.465243
- Title: Soft Diffusion: Score Matching for General Corruptions
- Title(参考訳): ソフト拡散: 一般的な崩壊に対するスコアマッチング
- Authors: Giannis Daras, Mauricio Delbracio, Hossein Talebi, Alexandros G.
Dimakis, Peyman Milanfar
- Abstract要約: 我々は,任意の線形汚職過程のスコア関数を確実に学習するSoft Score Matchingと呼ばれる新しい目的を提案する。
本研究の目的は, 汚職過程の家族に対して, 適正な規則性条件下での確率の勾配を学習することである。
提案手法はCelebA-64上でのFIDスコアを1.85ドルで達成し,従来の線形拡散モデルよりも優れていた。
- 参考スコア(独自算出の注目度): 84.26037497404195
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We define a broader family of corruption processes that generalizes
previously known diffusion models. To reverse these general diffusions, we
propose a new objective called Soft Score Matching that provably learns the
score function for any linear corruption process and yields state of the art
results for CelebA. Soft Score Matching incorporates the degradation process in
the network and trains the model to predict a clean image that after corruption
matches the diffused observation. We show that our objective learns the
gradient of the likelihood under suitable regularity conditions for the family
of corruption processes. We further develop a principled way to select the
corruption levels for general diffusion processes and a novel sampling method
that we call Momentum Sampler. We evaluate our framework with the corruption
being Gaussian Blur and low magnitude additive noise. Our method achieves
state-of-the-art FID score $1.85$ on CelebA-64, outperforming all previous
linear diffusion models. We also show significant computational benefits
compared to vanilla denoising diffusion.
- Abstract(参考訳): 我々は、以前知られていた拡散モデルを一般化したより広範な腐敗過程を定義する。
これらの一般的な拡散を逆転するために,任意の線形腐敗過程のスコア関数を確実に学習し,celebaのアート結果の状態を得るソフトスコアマッチング(soft score matching)という新しい目的を提案する。
ソフトスコアマッチングは、ネットワークの劣化過程を組み込んでモデルを訓練し、腐敗後のクリーンイメージが拡散観察と一致することを予測します。
本研究の目的は,腐敗過程の家族に対して適切な規則性条件下での確率の勾配を学習することである。
さらに,一般拡散過程の汚職レベルを選択するための基本的手法と,モメンタムサンプリングと呼ばれる新しいサンプリング手法を開発する。
汚職はガウスのぼやけと低等級の付加雑音を伴って評価した。
提案手法はCelebA-64上でのFIDスコアを1.85ドルで達成し,従来の線形拡散モデルよりも優れていた。
また,バニラ雑音拡散に比べ,計算量的に有意な効果を示した。
関連論文リスト
- Corruption-Robust Linear Bandits: Minimax Optimality and Gap-Dependent Misspecification [17.288347876319126]
線形バンディットでは、学習者が腐敗した報酬に直面するとき、効果的に学習できるのか?
汚職レベルは学習者が選択した行動に依存するが、汚職レベルは学習者が選択した行動に依存しない。
線形包帯については, 強い汚職と弱い汚職下でのミニマックス後悔のギャップを, 完全に特徴づける。
論文 参考訳(メタデータ) (2024-10-10T02:01:46Z) - A Mirror Descent-Based Algorithm for Corruption-Tolerant Distributed Gradient Descent [57.64826450787237]
本研究では, 分散勾配降下アルゴリズムの挙動を, 敵対的腐敗の有無で解析する方法を示す。
汚職耐性の分散最適化アルゴリズムを設計するために、(怠慢な)ミラー降下からアイデアをどう使うかを示す。
MNISTデータセットの線形回帰、サポートベクトル分類、ソフトマックス分類に基づく実験は、我々の理論的知見を裏付けるものである。
論文 参考訳(メタデータ) (2024-07-19T08:29:12Z) - Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳(メタデータ) (2024-05-29T01:32:17Z) - Consistent Diffusion Meets Tweedie: Training Exact Ambient Diffusion Models with Noisy Data [74.2507346810066]
アンビエント拡散(アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散
本稿では,ノイズの多い学習データのみを考慮し,故障のない分布から確実にサンプルを採取する拡散モデルのトレーニングのための最初のフレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-20T14:22:12Z) - Dynamic Batch Norm Statistics Update for Natural Robustness [5.366500153474747]
本稿では,汚職検出モデルとBN統計更新からなる統合フレームワークを提案する。
CIFAR10-CとImageNet-Cの精度は8%, 4%向上した。
論文 参考訳(メタデータ) (2023-10-31T17:20:30Z) - Image generation with shortest path diffusion [10.041144269046693]
最短経路拡散(SPD)が汚職の全体構造を決定することを示す。
画像のぼかしに基づいて,SPDは時間的調整を一切行わず,強いベースラインを改良し,従来の拡散モデルよりも優れていることを示す。
我々の研究は、最近の研究における観察に新たな光を当て、画像やその他の種類のデータの拡散モデルを改善するための新しいアプローチを提供する。
論文 参考訳(メタデータ) (2023-06-01T09:53:35Z) - Ambient Diffusion: Learning Clean Distributions from Corrupted Data [77.34772355241901]
本稿では,高度に破損したサンプルのみを用いて未知の分布を学習できる拡散型フレームワークを提案する。
このアプローチのもうひとつのメリットは、個々のトレーニングサンプルを記憶しにくい生成モデルをトレーニングできることです。
論文 参考訳(メタデータ) (2023-05-30T17:43:33Z) - Corruption-Robust Algorithms with Uncertainty Weighting for Nonlinear
Contextual Bandits and Markov Decision Processes [59.61248760134937]
本稿では,$tildeO(sqrtT+zeta)$を後悔するアルゴリズムを提案する。
提案アルゴリズムは、最近開発された線形文脈帯域からの不確実性重み付き最小二乗回帰に依存する。
本稿では,提案アルゴリズムをエピソディックなMDP設定に一般化し,まず汚職レベル$zeta$への付加的依存を実現する。
論文 参考訳(メタデータ) (2022-12-12T15:04:56Z) - A simple way to make neural networks robust against diverse image
corruptions [29.225922892332342]
加法ガウスノイズとスペククルノイズを用いた簡易だが適切に調整されたトレーニングが、予期せぬ汚職に対して驚くほどうまく一般化することを示す。
非相関な最悪の雑音に対する認識モデルの逆トレーニングは、さらなる性能向上につながる。
論文 参考訳(メタデータ) (2020-01-16T20:10:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。