論文の概要: Releasing Inequlity Phenomena in $L_{\infty}$-Adversarial Training via
Input Gradient Distillation
- arxiv url: http://arxiv.org/abs/2305.09305v1
- Date: Tue, 16 May 2023 09:23:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-17 15:25:37.398200
- Title: Releasing Inequlity Phenomena in $L_{\infty}$-Adversarial Training via
Input Gradient Distillation
- Title(参考訳): 入力勾配蒸留によるl_{\infty}$-adversarial trainingにおける不等式現象の放出
- Authors: Junxi Chen, Junhao Dong, Xiaohua Xie
- Abstract要約: 本稿では,l_infty$-adversarial trainingにおいて,不等式を解放する簡単な方法を提案する。
実験により、モデルの対向的ロバスト性を維持する一方で、入力勾配蒸留はモデルのロバスト性を改善することが示されている。
- 参考スコア(独自算出の注目度): 25.114226103863487
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Since adversarial examples appeared and showed the catastrophic degradation
they brought to DNN, many adversarial defense methods have been devised, among
which adversarial training is considered the most effective. However, a recent
work showed the inequality phenomena in $l_{\infty}$-adversarial training and
revealed that the $l_{\infty}$-adversarially trained model is vulnerable when a
few important pixels are perturbed by i.i.d. noise or occluded. In this paper,
we propose a simple yet effective method called Input Gradient Distillation to
release the inequality phenomena in $l_{\infty}$-adversarial training.
Experiments show that while preserving the model's adversarial robustness,
Input Gradient Distillation improves the model's robustness to i.i.d. noise and
occlusion. Moreover, we formally explain why the equality of the model's
saliency map can improve the model's robustness to i.i.d. noise or occlusion.
Github:https://github.com/fhdnskfbeuv/Inuput-Gradient-Distillation
- Abstract(参考訳): 敵の例が出現し, DNNにたらされた破滅的な劣化を示すことから, 多くの敵の防御法が考案され, 敵の訓練が最も効果的と考えられる。
しかし、最近の研究は、$l_{\infty}$-adversarial trainingにおける不等式現象を示し、$l_{\infty}$-adversarially trained modelは、いくつかの重要なピクセルがノイズや閉塞によって乱されるときに脆弱であることを示した。
本稿では,$l_{\infty}$-adversarial trainingにおける不等式現象を解放するために,入力勾配蒸留と呼ばれる簡便かつ効果的な方法を提案する。
実験により、モデルの対向的ロバスト性を維持する一方で、入力勾配蒸留はモデルのロバスト性を改善する。
さらに,モデルの塩分マップの等式が,騒音や咬合に対するモデルのロバスト性を向上させる理由を形式的に説明する。
Github:https://github.com/fhdnskfbeuv/Inuput-Gradient-Distillation
関連論文リスト
- The Bad Batches: Enhancing Self-Supervised Learning in Image Classification Through Representative Batch Curation [1.519321208145928]
人間の監督なしに堅牢な表現を学ぶことの追求は、長年にわたる課題である。
本稿では,Fr'echet ResNet Distance(FRD)によるペアワイズ類似性計算を用いて,偽正負負対と偽負対の影響を緩和する。
提案手法の有効性は,STL10で87.74%,Flower102データセットで99.31%,自己教師付きコントラスト表現で訓練された線形分類器によって実証された。
論文 参考訳(メタデータ) (2024-03-28T17:04:07Z) - Stable Unlearnable Example: Enhancing the Robustness of Unlearnable
Examples via Stable Error-Minimizing Noise [31.586389548657205]
データにある種の知覚不能ノイズを加えることにより、モデルの一般化性能を著しく低下させる非学習不可能な例を提案する。
本稿では,時間を要する対向的摂動ではなく,ランダムな摂動に対する防御音を訓練する安定型誤り最小化ノイズ(SEM)を導入する。
SEMは、CIFAR-10、CIFAR-100、ImageNet Subset上で、最先端の新たなパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-11-22T01:43:57Z) - Reducing Spatial Fitting Error in Distillation of Denoising Diffusion
Models [13.364271265023953]
拡散モデルの知識蒸留は、この制限に短いサンプリングプロセスで対処する有効な方法である。
本研究は,教師モデルと学生モデルの両方のトレーニングにおいて発生する空間的適合誤差に起因する。
SFERDは教師モデルと設計した意味的勾配予測器からの注意誘導を利用して、学生の適合誤差を低減する。
CIFAR-10で5.31、ImageNet 64$times$64で9.39のFIDを実現する。
論文 参考訳(メタデータ) (2023-11-07T09:19:28Z) - Gradpaint: Gradient-Guided Inpainting with Diffusion Models [71.47496445507862]
Denoising Diffusion Probabilistic Models (DDPM) は近年,条件付きおよび非条件付き画像生成において顕著な成果を上げている。
我々はGradPaintを紹介し、グローバルな一貫性のあるイメージに向けて世代を操る。
我々は、様々なデータセットで訓練された拡散モデルによく適応し、現在最先端の教師付きおよび教師なしの手法を改善している。
論文 参考訳(メタデータ) (2023-09-18T09:36:24Z) - Reducing Adversarial Training Cost with Gradient Approximation [0.3916094706589679]
そこで本研究では,厳密なモデル構築に要するコストを削減するために,GAAT(グラディエント近似)を用いた対戦訓練法を提案する。
提案手法は,データセット上でのモデルテスト精度に比較して,トレーニング時間の最大60%を節約する。
論文 参考訳(メタデータ) (2023-09-18T03:55:41Z) - Evaluating Similitude and Robustness of Deep Image Denoising Models via
Adversarial Attack [60.40356882897116]
ディープニューラルネットワーク(DNN)は、従来の画像復調アルゴリズムよりも優れたパフォーマンスを示している。
本稿では,現在のディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディナイジング・PGD(Denoising-PGD)と名づけられた敵攻撃手法を提案する。
論文 参考訳(メタデータ) (2023-06-28T09:30:59Z) - Robust Classification via a Single Diffusion Model [35.7344811522553]
ロバスト拡散(RDC)は、事前訓練された拡散モデルから構築され、逆向きに堅牢である。
RDCはそれまでの最先端の対人訓練モデルを2.34%以上上回っている。
本研究は, 逆方向の堅牢性に拡散モデルを用いることにより, 生成型分類器の可能性を明らかにするものである。
論文 参考訳(メタデータ) (2023-05-24T15:25:19Z) - Beyond Pretrained Features: Noisy Image Modeling Provides Adversarial
Defense [52.66971714830943]
マスク付き画像モデリング(MIM)は、自己教師付き視覚表現学習のフレームワークとして普及している。
本稿では,この強力な自己教師型学習パラダイムが,下流の分類器に対して対角的ロバスト性を提供する方法について検討する。
本稿では,デノナイジングのためのデコーダを用いて,デノナイジングのための対角防御手法を提案する。
論文 参考訳(メタデータ) (2023-02-02T12:37:24Z) - Guided Diffusion Model for Adversarial Purification [103.4596751105955]
敵攻撃は、様々なアルゴリズムやフレームワークでディープニューラルネットワーク(DNN)を妨害する。
本稿では,GDMP ( Guided diffusion model for purification) と呼ばれる新しい精製法を提案する。
様々なデータセットにわたる包括的実験において,提案したGDMPは,敵対的攻撃によって引き起こされた摂動を浅い範囲に減少させることを示した。
論文 参考訳(メタデータ) (2022-05-30T10:11:15Z) - Diffusion Models for Adversarial Purification [69.1882221038846]
対人浄化(Adrial purification)とは、生成モデルを用いて敵の摂動を除去する防衛方法の分類である。
そこで我々は,拡散モデルを用いたDiffPureを提案する。
提案手法は,現在の対人訓練および対人浄化方法よりも優れ,最先端の成果を達成する。
論文 参考訳(メタデータ) (2022-05-16T06:03:00Z) - Towards Adversarial Patch Analysis and Certified Defense against Crowd
Counting [61.99564267735242]
安全クリティカルな監視システムの重要性から、群衆のカウントは多くの注目を集めています。
近年の研究では、ディープニューラルネットワーク(DNN)の手法が敵の攻撃に弱いことが示されている。
群衆カウントモデルのロバスト性を評価するために,Momentumを用いた攻撃戦略としてAdversarial Patch Attackを提案する。
論文 参考訳(メタデータ) (2021-04-22T05:10:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。