論文の概要: Soft Diffusion: Score Matching for General Corruptions
- arxiv url: http://arxiv.org/abs/2209.05442v1
- Date: Mon, 12 Sep 2022 17:45:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-13 12:13:25.465243
- Title: Soft Diffusion: Score Matching for General Corruptions
- Title(参考訳): ソフト拡散: 一般的な崩壊に対するスコアマッチング
- Authors: Giannis Daras, Mauricio Delbracio, Hossein Talebi, Alexandros G.
Dimakis, Peyman Milanfar
- Abstract要約: 我々は,任意の線形汚職過程のスコア関数を確実に学習するSoft Score Matchingと呼ばれる新しい目的を提案する。
本研究の目的は, 汚職過程の家族に対して, 適正な規則性条件下での確率の勾配を学習することである。
提案手法はCelebA-64上でのFIDスコアを1.85ドルで達成し,従来の線形拡散モデルよりも優れていた。
- 参考スコア(独自算出の注目度): 84.26037497404195
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We define a broader family of corruption processes that generalizes
previously known diffusion models. To reverse these general diffusions, we
propose a new objective called Soft Score Matching that provably learns the
score function for any linear corruption process and yields state of the art
results for CelebA. Soft Score Matching incorporates the degradation process in
the network and trains the model to predict a clean image that after corruption
matches the diffused observation. We show that our objective learns the
gradient of the likelihood under suitable regularity conditions for the family
of corruption processes. We further develop a principled way to select the
corruption levels for general diffusion processes and a novel sampling method
that we call Momentum Sampler. We evaluate our framework with the corruption
being Gaussian Blur and low magnitude additive noise. Our method achieves
state-of-the-art FID score $1.85$ on CelebA-64, outperforming all previous
linear diffusion models. We also show significant computational benefits
compared to vanilla denoising diffusion.
- Abstract(参考訳): 我々は、以前知られていた拡散モデルを一般化したより広範な腐敗過程を定義する。
これらの一般的な拡散を逆転するために,任意の線形腐敗過程のスコア関数を確実に学習し,celebaのアート結果の状態を得るソフトスコアマッチング(soft score matching)という新しい目的を提案する。
ソフトスコアマッチングは、ネットワークの劣化過程を組み込んでモデルを訓練し、腐敗後のクリーンイメージが拡散観察と一致することを予測します。
本研究の目的は,腐敗過程の家族に対して適切な規則性条件下での確率の勾配を学習することである。
さらに,一般拡散過程の汚職レベルを選択するための基本的手法と,モメンタムサンプリングと呼ばれる新しいサンプリング手法を開発する。
汚職はガウスのぼやけと低等級の付加雑音を伴って評価した。
提案手法はCelebA-64上でのFIDスコアを1.85ドルで達成し,従来の線形拡散モデルよりも優れていた。
また,バニラ雑音拡散に比べ,計算量的に有意な効果を示した。
関連論文リスト
- Dynamic Batch Norm Statistics Update for Natural Robustness [5.366500153474747]
本稿では,汚職検出モデルとBN統計更新からなる統合フレームワークを提案する。
CIFAR10-CとImageNet-Cの精度は8%, 4%向上した。
論文 参考訳(メタデータ) (2023-10-31T17:20:30Z) - Frequency-Based Vulnerability Analysis of Deep Learning Models against
Image Corruptions [48.34142457385199]
MUFIAは、モデルが失敗する可能性のある特定の種類の汚職を特定するために設計されたアルゴリズムである。
最先端のモデルでさえ、既知の一般的な汚職に対して堅牢であるように訓練されたモデルでさえ、MUFIAによって作られた低視認性ベースの汚職と戦っている。
論文 参考訳(メタデータ) (2023-06-12T15:19:13Z) - Image generation with shortest path diffusion [10.041144269046693]
最短経路拡散(SPD)が汚職の全体構造を決定することを示す。
画像のぼかしに基づいて,SPDは時間的調整を一切行わず,強いベースラインを改良し,従来の拡散モデルよりも優れていることを示す。
我々の研究は、最近の研究における観察に新たな光を当て、画像やその他の種類のデータの拡散モデルを改善するための新しいアプローチを提供する。
論文 参考訳(メタデータ) (2023-06-01T09:53:35Z) - Ambient Diffusion: Learning Clean Distributions from Corrupted Data [77.34772355241901]
本稿では,高度に破損したサンプルのみを用いて未知の分布を学習できる拡散型フレームワークを提案する。
このアプローチのもうひとつのメリットは、個々のトレーニングサンプルを記憶しにくい生成モデルをトレーニングできることです。
論文 参考訳(メタデータ) (2023-05-30T17:43:33Z) - Corruption-Robust Algorithms with Uncertainty Weighting for Nonlinear
Contextual Bandits and Markov Decision Processes [59.61248760134937]
本稿では,$tildeO(sqrtT+zeta)$を後悔するアルゴリズムを提案する。
提案アルゴリズムは、最近開発された線形文脈帯域からの不確実性重み付き最小二乗回帰に依存する。
本稿では,提案アルゴリズムをエピソディックなMDP設定に一般化し,まず汚職レベル$zeta$への付加的依存を実現する。
論文 参考訳(メタデータ) (2022-12-12T15:04:56Z) - Diffusion Models for Adversarial Purification [69.1882221038846]
対人浄化(Adrial purification)とは、生成モデルを用いて敵の摂動を除去する防衛方法の分類である。
そこで我々は,拡散モデルを用いたDiffPureを提案する。
提案手法は,現在の対人訓練および対人浄化方法よりも優れ,最先端の成果を達成する。
論文 参考訳(メタデータ) (2022-05-16T06:03:00Z) - Diverse Gaussian Noise Consistency Regularization for Robustness and
Uncertainty Calibration [7.310043452300738]
深層ニューラルネットワークは、列車と試験分布が一致したときに高い予測精度を達成する。
この設定から逸脱し、深刻なパフォーマンス劣化を引き起こす、さまざまな種類の汚職が発生する。
本稿では,画像分類器の多種多様な汚損下での堅牢性向上のための多種多様なガウス雑音整合正則化法を提案する。
論文 参考訳(メタデータ) (2021-04-02T20:25:53Z) - Improving robustness against common corruptions with frequency biased
models [112.65717928060195]
目に見えない画像の腐敗は 驚くほど大きなパフォーマンス低下を引き起こします
画像の破損タイプは周波数スペクトルで異なる特性を持ち、ターゲットタイプのデータ拡張の恩恵を受けます。
畳み込み特徴マップの総変動(TV)を最小限に抑え、高周波堅牢性を高める新しい正規化方式を提案する。
論文 参考訳(メタデータ) (2021-03-30T10:44:50Z) - On the effectiveness of adversarial training against common corruptions [29.596070201105277]
敵の訓練は、共通の腐敗に対する強力なベースラインとなり得ることを実証する。
提案手法は,$ell_p$ の学習ベースラインを改良するだけでなく,データ拡張法で累積的に向上することを示す。
論文 参考訳(メタデータ) (2021-03-03T11:04:09Z) - A simple way to make neural networks robust against diverse image
corruptions [29.225922892332342]
加法ガウスノイズとスペククルノイズを用いた簡易だが適切に調整されたトレーニングが、予期せぬ汚職に対して驚くほどうまく一般化することを示す。
非相関な最悪の雑音に対する認識モデルの逆トレーニングは、さらなる性能向上につながる。
論文 参考訳(メタデータ) (2020-01-16T20:10:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。