論文の概要: Your Diffusion Model is Secretly a Certifiably Robust Classifier
- arxiv url: http://arxiv.org/abs/2402.02316v1
- Date: Sun, 4 Feb 2024 02:09:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 20:37:04.022321
- Title: Your Diffusion Model is Secretly a Certifiably Robust Classifier
- Title(参考訳): あなたの拡散モデルは 秘密裏に頑健な分類器です
- Authors: Huanran Chen, Yinpeng Dong, Shitong Shao, Zhongkai Hao, Xiao Yang,
Hang Su, Jun Zhu
- Abstract要約: 我々はノイズ拡散(NDC)と呼ばれる新しい拡散分類器群を提案する。
NDCは、破損したデータの低いバウンダリの証拠を導き、国家技術に認定されたロバスト性を持っている。
我々は、それぞれ 0.25 と 0.5 未満の敵ノルムの下で、CIFAR-10 で80%以上、70%以上認証されたロバスト性を達成した最初の人物である。
- 参考スコア(独自算出の注目度): 42.336970847532754
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models are recently employed as generative classifiers for robust
classification. However, a comprehensive theoretical understanding of the
robustness of diffusion classifiers is still lacking, leading us to question
whether they will be vulnerable to future stronger attacks. In this study, we
propose a new family of diffusion classifiers, named Noised Diffusion
Classifiers~(NDCs), that possess state-of-the-art certified robustness.
Specifically, we generalize the diffusion classifiers to classify
Gaussian-corrupted data by deriving the evidence lower bounds (ELBOs) for these
distributions, approximating the likelihood using the ELBO, and calculating
classification probabilities via Bayes' theorem. We integrate these generalized
diffusion classifiers with randomized smoothing to construct smoothed
classifiers possessing non-constant Lipschitzness. Experimental results
demonstrate the superior certified robustness of our proposed NDCs. Notably, we
are the first to achieve 80\%+ and 70\%+ certified robustness on CIFAR-10 under
adversarial perturbations with $\ell_2$ norm less than 0.25 and 0.5,
respectively, using a single off-the-shelf diffusion model without any
additional data.
- Abstract(参考訳): 拡散モデルは最近、ロバスト分類のための生成的分類器として採用されている。
しかし、拡散分類器の堅牢性に関する包括的な理論的理解はいまだに欠けており、将来のより強力な攻撃に弱いかどうか疑問視する。
本研究では,最先端認定ロバスト性を有する新しい拡散分類器であるノイズ拡散分類器~(ndcs)を提案する。
具体的には、拡散分類器を一般化し、これらの分布に対する証拠の下限(ELBO)を導出し、ELBOを用いて確率を近似し、ベイズの定理による分類確率を計算する。
これらの一般化拡散分類器をランダム化平滑化と統合し,非定数リプシッツ性を有する平滑化分類器を構成する。
実験の結果,提案したNDCの信頼性は良好であった。
特に,CIFAR-10では,それぞれ0.25および0.5未満の標準値を持つ逆摂動下で,80\%+と70\%+の確証されたロバスト性を,追加データを持たない単一オフザシェルフ拡散モデルを用いて達成した。
関連論文リスト
- Struggle with Adversarial Defense? Try Diffusion [8.274506117450628]
アドリア攻撃は微妙な摂動を導入して誤分類を引き起こす。
拡散に基づく敵の訓練は、しばしば収束の課題と高い計算費用に遭遇する。
本稿では,これらの問題を克服するために,真性最大化拡散(TMDC)を提案する。
論文 参考訳(メタデータ) (2024-04-12T06:52:40Z) - The Lipschitz-Variance-Margin Tradeoff for Enhanced Randomized Smoothing [85.85160896547698]
ディープニューラルネットワークの現実的な応用は、ノイズの多い入力や敵攻撃に直面した場合、その不安定な予測によって妨げられる。
入力にノイズ注入を頼りに、認証された半径を持つ効率的な分類器を設計する方法を示す。
新たな認証手法により、ランダムな平滑化による事前学習モデルの使用が可能となり、ゼロショット方式で現在の認証半径を効果的に改善できる。
論文 参考訳(メタデータ) (2023-09-28T22:41:47Z) - Robust Classification via a Single Diffusion Model [35.7344811522553]
ロバスト拡散(RDC)は、事前訓練された拡散モデルから構築され、逆向きに堅牢である。
RDCはそれまでの最先端の対人訓練モデルを2.34%以上上回っている。
本研究は, 逆方向の堅牢性に拡散モデルを用いることにより, 生成型分類器の可能性を明らかにするものである。
論文 参考訳(メタデータ) (2023-05-24T15:25:19Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳(メタデータ) (2023-05-17T17:47:19Z) - Your Diffusion Model is Secretly a Zero-Shot Classifier [90.40799216880342]
大規模テキスト・画像拡散モデルからの密度推定をゼロショット分類に活用できることを示す。
分類に対する我々の生成的アプローチは、様々なベンチマークで強い結果が得られる。
我々の結果は、下流タスクにおける差別的モデルよりも生成的な利用に向けての一歩である。
論文 参考訳(メタデータ) (2023-03-28T17:59:56Z) - DensePure: Understanding Diffusion Models towards Adversarial Robustness [110.84015494617528]
拡散モデルの特性を解析し,それらが証明された堅牢性を高める条件を確立する。
事前訓練されたモデル(すなわち分類器)の信頼性向上を目的とした新しいDensePure法を提案する。
このロバストな領域は多重凸集合の和であり、以前の研究で特定されたロバストな領域よりもはるかに大きい可能性が示されている。
論文 参考訳(メタデータ) (2022-11-01T08:18:07Z) - On the robustness of randomized classifiers to adversarial examples [11.359085303200981]
確率指標を用いて局所リプシッツ性を強制するランダム化分類器の堅牢性の新しい概念を紹介する。
本研究の結果は,温和な仮説下での幅広い機械学習モデルに適用可能であることを示す。
トレーニングしたすべての堅牢なモデルは、最新の精度を同時に達成できます。
論文 参考訳(メタデータ) (2021-02-22T10:16:58Z) - Consistency Regularization for Certified Robustness of Smoothed
Classifiers [89.72878906950208]
最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。
その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
論文 参考訳(メタデータ) (2020-06-07T06:57:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。