Fugu-MT 論文翻訳(概要): Releasing Inequality Phenomena in $L_{\infty}$-Adversarial Training via Input Gradient Distillation

論文の概要: Releasing Inequality Phenomena in $L_{\infty}$-Adversarial Training via Input Gradient Distillation

arxiv url: http://arxiv.org/abs/2305.09305v2
Date: Wed, 17 May 2023 15:03:17 GMT
ステータス: 処理完了
システム内更新日: 2023-05-18 11:31:15.014849
Title: Releasing Inequality Phenomena in $L_{\infty}$-Adversarial Training via Input Gradient Distillation
Title（参考訳）: 入力勾配蒸留によるl_{\infty}$-adversarial trainingにおける不等式現象の放出
Authors: Junxi Chen, Junhao Dong, Xiaohua Xie
Abstract要約: 本稿では,l_infty$-adversarial training において不等式を解放する IGD (Input Gradient Distillation) という簡単な方法を提案する。実験の結果、IGD は $l_infty$-adversarially のモデルの誤差率を 60% から 16.53% まで下げ、Imagenet-C のノイズの多い画像は 21.11% まで下げた。
参考スコア（独自算出の注目度）: 25.114226103863487
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Since adversarial examples appeared and showed the catastrophic degradation they brought to DNN, many adversarial defense methods have been devised, among which adversarial training is considered the most effective. However, a recent work showed the inequality phenomena in $l_{\infty}$-adversarial training and revealed that the $l_{\infty}$-adversarially trained model is vulnerable when a few important pixels are perturbed by i.i.d. noise or occluded. In this paper, we propose a simple yet effective method called Input Gradient Distillation (IGD) to release the inequality phenomena in $l_{\infty}$-adversarial training. Experiments show that while preserving the model's adversarial robustness, compared to PGDAT, IGD decreases the $l_{\infty}$-adversarially trained model's error rate to inductive noise and inductive occlusion by up to 60\% and 16.53\%, and to noisy images in Imagenet-C by up to 21.11\%. Moreover, we formally explain why the equality of the model's saliency map can improve such robustness.
Abstract（参考訳）: 敵の例が出現し, DNNにたらされた破滅的な劣化を示すことから, 多くの敵の防御法が考案され, 敵の訓練が最も効果的と考えられる。しかし、最近の研究は、$l_{\infty}$-adversarial trainingにおける不等式現象を示し、$l_{\infty}$-adversarially trained modelは、いくつかの重要なピクセルがノイズや閉塞によって乱されるときに脆弱であることを示した。本稿では,l_{\infty}$-adversarial trainingにおける不等式現象を解放する,IGD (Input Gradient Distillation) と呼ばれる簡易かつ効果的な手法を提案する。実験により、PGDATと比較して、モデルの対向ロバスト性を維持する一方で、IGDは$l_{\infty}$-adversariallyトレーニングされたモデルの誤差率を最大60\%と16.53\%に下げ、Imagenet-Cのノイズ画像は最大21.11\%に下げることが示された。さらに,モデルの正当性マップの等しさがこのような堅牢性を向上させる理由を正式に説明する。

関連論文リスト

Robust Representation Consistency Model via Contrastive Denoising [83.47584074390842]
ランダムな平滑化は、敵の摂動に対する堅牢性を証明する理論的保証を提供する。拡散モデルは、ノイズ摂動サンプルを浄化するためにランダムな平滑化に成功している。我々は,画素空間における拡散軌跡に沿った生成的モデリングタスクを,潜在空間における識別的タスクとして再構成する。
論文参考訳（メタデータ） (2025-01-22T18:52:06Z)
Representation Alignment for Generation: Training Diffusion Transformers Is Easier Than You Think [72.48325960659822]
生成のための大規模拡散モデルの訓練における主要なボトルネックは、これらの表現を効果的に学習することにある。本稿では,RePresentation Alignment (REPA) と呼ばれる単純な正規化を導入し,ノイズの多い入力隠れ状態の投影を,外部の事前学習された視覚エンコーダから得られるクリーンな画像表現と整合させる手法を提案する。我々の単純な戦略は、一般的な拡散やDiTsやSiTsといったフローベースのトランスフォーマーに適用した場合、トレーニング効率と生成品質の両方に大きな改善をもたらす。
論文参考訳（メタデータ） (2024-10-09T14:34:53Z)
The Bad Batches: Enhancing Self-Supervised Learning in Image Classification Through Representative Batch Curation [1.519321208145928]
人間の監督なしに堅牢な表現を学ぶことの追求は、長年にわたる課題である。本稿では,Fr'echet ResNet Distance(FRD)によるペアワイズ類似性計算を用いて,偽正負負対と偽負対の影響を緩和する。提案手法の有効性は,STL10で87.74%,Flower102データセットで99.31%,自己教師付きコントラスト表現で訓練された線形分類器によって実証された。
論文参考訳（メタデータ） (2024-03-28T17:04:07Z)
Stable Unlearnable Example: Enhancing the Robustness of Unlearnable Examples via Stable Error-Minimizing Noise [31.586389548657205]
データにある種の知覚不能ノイズを加えることにより、モデルの一般化性能を著しく低下させる非学習不可能な例を提案する。本稿では,時間を要する対向的摂動ではなく,ランダムな摂動に対する防御音を訓練する安定型誤り最小化ノイズ(SEM)を導入する。 SEMは、CIFAR-10、CIFAR-100、ImageNet Subset上で、最先端の新たなパフォーマンスを実現する。
論文参考訳（メタデータ） (2023-11-22T01:43:57Z)
Reducing Spatial Fitting Error in Distillation of Denoising Diffusion Models [13.364271265023953]
拡散モデルの知識蒸留は、この制限に短いサンプリングプロセスで対処する有効な方法である。本研究は,教師モデルと学生モデルの両方のトレーニングにおいて発生する空間的適合誤差に起因する。 SFERDは教師モデルと設計した意味的勾配予測器からの注意誘導を利用して、学生の適合誤差を低減する。 CIFAR-10で5.31、ImageNet 64$times$64で9.39のFIDを実現する。
論文参考訳（メタデータ） (2023-11-07T09:19:28Z)
Reducing Adversarial Training Cost with Gradient Approximation [0.3916094706589679]
そこで本研究では,厳密なモデル構築に要するコストを削減するために,GAAT(グラディエント近似)を用いた対戦訓練法を提案する。提案手法は,データセット上でのモデルテスト精度に比較して,トレーニング時間の最大60%を節約する。
論文参考訳（メタデータ） (2023-09-18T03:55:41Z)
Evaluating Similitude and Robustness of Deep Image Denoising Models via Adversarial Attack [60.40356882897116]
ディープニューラルネットワーク(DNN)は、従来の画像復調アルゴリズムよりも優れたパフォーマンスを示している。本稿では,現在のディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディナイジング・PGD(Denoising-PGD)と名づけられた敵攻撃手法を提案する。
論文参考訳（メタデータ） (2023-06-28T09:30:59Z)
Beyond Pretrained Features: Noisy Image Modeling Provides Adversarial Defense [52.66971714830943]
マスク付き画像モデリング(MIM)は、自己教師付き視覚表現学習のフレームワークとして普及している。本稿では,この強力な自己教師型学習パラダイムが,下流の分類器に対して対角的ロバスト性を提供する方法について検討する。本稿では,デノナイジングのためのデコーダを用いて,デノナイジングのための対角防御手法を提案する。
論文参考訳（メタデータ） (2023-02-02T12:37:24Z)
Diffusion Models for Adversarial Purification [69.1882221038846]
対人浄化(Adrial purification)とは、生成モデルを用いて敵の摂動を除去する防衛方法の分類である。そこで我々は,拡散モデルを用いたDiffPureを提案する。提案手法は,現在の対人訓練および対人浄化方法よりも優れ,最先端の成果を達成する。
論文参考訳（メタデータ） (2022-05-16T06:03:00Z)
Towards Adversarial Patch Analysis and Certified Defense against Crowd Counting [61.99564267735242]
安全クリティカルな監視システムの重要性から、群衆のカウントは多くの注目を集めています。近年の研究では、ディープニューラルネットワーク(DNN)の手法が敵の攻撃に弱いことが示されている。群衆カウントモデルのロバスト性を評価するために,Momentumを用いた攻撃戦略としてAdversarial Patch Attackを提案する。
論文参考訳（メタデータ） (2021-04-22T05:10:55Z)
Robust Face Verification via Disentangled Representations [20.393894616979402]
顔認証のための頑健なアルゴリズムを導入し、同一人物か否かを判定する。我々は,学習中に生成モデルを,対向雑音を除去するテスト時間浄化装置の代わりに,オンライン増強法として利用する。逆行訓練と組み合わせることで,提案手法は弱内部解法と収束し,ホワイトボックスの物理的攻撃に対する評価において,最先端の工法よりもクリーンで堅牢な精度を有することを示す。
論文参考訳（メタデータ） (2020-06-05T19:17:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。