論文の概要: Ensemble everything everywhere: Multi-scale aggregation for adversarial robustness
- arxiv url: http://arxiv.org/abs/2408.05446v1
- Date: Thu, 8 Aug 2024 14:21:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-13 19:01:07.704692
- Title: Ensemble everything everywhere: Multi-scale aggregation for adversarial robustness
- Title（参考訳）: あらゆるものをアンサンブルする:敵対的堅牢性のためのマルチスケールアグリゲーション
- Authors: Stanislav Fort, Balaji Lakshminarayanan,
- Abstract要約: アドリアリの例は、ディープニューラルネットワークの堅牢性、信頼性、アライメントに重大な課題を提起している。
本稿では,敵の強靭性に繋がる高品質な表現を実現するための,新しい,使い易いアプローチを提案する。
- 参考スコア（独自算出の注目度）: 16.7973141655137
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Adversarial examples pose a significant challenge to the robustness, reliability and alignment of deep neural networks. We propose a novel, easy-to-use approach to achieving high-quality representations that lead to adversarial robustness through the use of multi-resolution input representations and dynamic self-ensembling of intermediate layer predictions. We demonstrate that intermediate layer predictions exhibit inherent robustness to adversarial attacks crafted to fool the full classifier, and propose a robust aggregation mechanism based on Vickrey auction that we call \textit{CrossMax} to dynamically ensemble them. By combining multi-resolution inputs and robust ensembling, we achieve significant adversarial robustness on CIFAR-10 and CIFAR-100 datasets without any adversarial training or extra data, reaching an adversarial accuracy of $\approx$72% (CIFAR-10) and $\approx$48% (CIFAR-100) on the RobustBench AutoAttack suite ($L_\infty=8/255)$ with a finetuned ImageNet-pretrained ResNet152. This represents a result comparable with the top three models on CIFAR-10 and a +5 % gain compared to the best current dedicated approach on CIFAR-100. Adding simple adversarial training on top, we get $\approx$78% on CIFAR-10 and $\approx$51% on CIFAR-100, improving SOTA by 5 % and 9 % respectively and seeing greater gains on the harder dataset. We validate our approach through extensive experiments and provide insights into the interplay between adversarial robustness, and the hierarchical nature of deep representations. We show that simple gradient-based attacks against our model lead to human-interpretable images of the target classes as well as interpretable image changes. As a byproduct, using our multi-resolution prior, we turn pre-trained classifiers and CLIP models into controllable image generators and develop successful transferable attacks on large vision language models.
- Abstract（参考訳）: 敵対的な例は、ディープニューラルネットワークの堅牢性、信頼性、アライメントに重大な課題をもたらす。
本稿では,マルチレゾリューション入力表現と中間層予測の動的自己認識を用いて,高品位表現を実現するための,新しい,使い易いアプローチを提案する。
中間層予測は、全分類器を騙すために作られた敵攻撃に固有の堅牢性を示すことを示すとともに、それらを動的にアンサンブルするために「textit{CrossMax}」と呼ぶVickreyオークションに基づくロバスト集約機構を提案する。
マルチレゾリューション入力とロバストなアンサンブルを組み合わせることで、CIFAR-10とCIFAR-100データセットに対して、敵のトレーニングや余分なデータなしで相当な敵のロバストベンチオートアタックスイート(L_\infty=8/255)の逆の精度が$\approx$72%(CIFAR-10)と$\approx$48%(CIFAR-100)に達する。
これは、CIFAR-10の上位3モデルに匹敵する結果であり、CIFAR-100の現在のベストな専用アプローチと比べて+5%の利得である。
CIFAR-10で$\approx$78%、CIFAR-100で$\approx$51%、SOTAをそれぞれ5%、9%改善し、より難しいデータセットでさらに向上しています。
我々は、広範囲な実験を通してアプローチを検証するとともに、敵の頑健さと深い表現の階層的な性質の間の相互作用についての洞察を提供する。
我々のモデルに対する単純な勾配に基づく攻撃は、対象クラスの人間解釈可能な画像と、解釈可能な画像変化をもたらすことを示す。
副産物として、事前学習した分類器とCLIPモデルを制御可能な画像生成器に変換し、大きな視覚言語モデルに対するトランスファー可能な攻撃を成功させる。
関連論文リスト
- A Hybrid Defense Strategy for Boosting Adversarial Robustness in Vision-Language Models [9.304845676825584]
本稿では,複数の攻撃戦略と高度な機械学習技術を統合した,新たな敵訓練フレームワークを提案する。
CIFAR-10 や CIFAR-100 などの実世界のデータセットで行った実験により,提案手法がモデルロバスト性を大幅に向上することを示した。
論文 参考訳（メタデータ） (2024-10-18T23:47:46Z) - Carefully Blending Adversarial Training and Purification Improves Adversarial Robustness [1.2289361708127877]
CARSOは、防御のために考案された適応的なエンドツーエンドのホワイトボックス攻撃から自身を守ることができる。
提案手法はCIFAR-10, CIFAR-100, TinyImageNet-200の最先端技術により改善されている。
論文 参考訳（メタデータ） (2023-05-25T09:04:31Z) - Two Heads are Better than One: Robust Learning Meets Multi-branch Models [14.72099568017039]
本稿では,従来の対人訓練用データセットのみを用いて,最先端のパフォーマンスを得るために,分岐直交補助訓練(BORT)を提案する。
我々は, CIFAR-10, CIFAR-100, SVHN に対する Epsilon = 8/255 の ell_infty ノルム束縛摂動に対するアプローチを評価した。
論文 参考訳（メタデータ） (2022-08-17T05:42:59Z) - Sparsity Winning Twice: Better Robust Generalization from More Efficient
Training [94.92954973680914]
スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。
いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。
我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
論文 参考訳（メタデータ） (2022-02-20T15:52:08Z) - Interpolated Joint Space Adversarial Training for Robust and
Generalizable Defenses [82.3052187788609]
敵の訓練(AT)は、敵の攻撃に対する最も信頼できる防御の1つと考えられている。
近年の研究では、新たな脅威モデルの下での対向サンプルによる一般化の改善が示されている。
我々は、JSTM(Joint Space Threat Model)と呼ばれる新しい脅威モデルを提案する。
JSTMでは,新たな敵攻撃・防衛手法が開発されている。
論文 参考訳（メタデータ） (2021-12-12T21:08:14Z) - Mutual Adversarial Training: Learning together is better than going
alone [82.78852509965547]
モデル間の相互作用が知識蒸留による堅牢性に与える影響について検討する。
本稿では,複数のモデルを同時に訓練する相互対人訓練(MAT)を提案する。
MATは、ホワイトボックス攻撃下で、モデル堅牢性と最先端メソッドを効果的に改善することができる。
論文 参考訳（メタデータ） (2021-12-09T15:59:42Z) - Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。
任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。
本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
論文 参考訳（メタデータ） (2021-05-31T17:01:05Z) - Analysis and Applications of Class-wise Robustness in Adversarial
Training [92.08430396614273]
敵の訓練は、敵の例に対するモデルロバスト性を改善するための最も効果的な手法の1つである。
従来の研究は主にモデルの全体的な堅牢性に焦点を当てており、各クラスの役割に関する詳細な分析はいまだに欠落している。
MNIST, CIFAR-10, CIFAR-100, SVHN, STL-10, ImageNetの6つのベンチマークデータセットに対して, 逆トレーニングの詳細な診断を行う。
対戦型学習におけるより強力な攻撃手法は、主に脆弱なクラスに対するより成功した攻撃から、性能の向上を達成することを観察する。
論文 参考訳（メタデータ） (2021-05-29T07:28:35Z) - Combating Adversaries with Anti-Adversaries [118.70141983415445]
特に、我々の層は、逆の層とは反対の方向に入力摂動を生成します。
我々は,我々の階層と名目および頑健に訓練されたモデルを組み合わせることで,我々のアプローチの有効性を検証する。
我々の対向層は、クリーンな精度でコストを伴わずにモデルロバスト性を著しく向上させる。
論文 参考訳（メタデータ） (2021-03-26T09:36:59Z) - Adversarial Feature Stacking for Accurate and Robust Predictions [4.208059346198116]
Adversarial Feature Stacking (AFS)モデルは、さまざまなレベルの堅牢性と精度を持つ機能を共同で活用することができる。
CIFAR-10およびCIFAR-100データセット上でのAFSモデルの評価を行った。
論文 参考訳（メタデータ） (2021-03-24T12:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。