論文の概要: Boosting Adversarial Training via Fisher-Rao Norm-based Regularization
- arxiv url: http://arxiv.org/abs/2403.17520v1
- Date: Tue, 26 Mar 2024 09:22:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-27 16:06:48.673635
- Title: Boosting Adversarial Training via Fisher-Rao Norm-based Regularization
- Title(参考訳): Fisher-Rao Norm-based Regularization による対人訓練の強化
- Authors: Xiangyu Yin, Wenjie Ruan,
- Abstract要約: 本稿では,ロバスト性と精度のトレードオフを軽減するため,LOAT(Logit-Oriented Adversarial Training)と呼ばれる新たな正規化フレームワークを提案する。
実験により,提案した正規化戦略により,有意な対向学習アルゴリズムの性能が向上することを示した。
- 参考スコア(独自算出の注目度): 9.975998980413301
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial training is extensively utilized to improve the adversarial robustness of deep neural networks. Yet, mitigating the degradation of standard generalization performance in adversarial-trained models remains an open problem. This paper attempts to resolve this issue through the lens of model complexity. First, We leverage the Fisher-Rao norm, a geometrically invariant metric for model complexity, to establish the non-trivial bounds of the Cross-Entropy Loss-based Rademacher complexity for a ReLU-activated Multi-Layer Perceptron. Then we generalize a complexity-related variable, which is sensitive to the changes in model width and the trade-off factors in adversarial training. Moreover, intensive empirical evidence validates that this variable highly correlates with the generalization gap of Cross-Entropy loss between adversarial-trained and standard-trained models, especially during the initial and final phases of the training process. Building upon this observation, we propose a novel regularization framework, called Logit-Oriented Adversarial Training (LOAT), which can mitigate the trade-off between robustness and accuracy while imposing only a negligible increase in computational overhead. Our extensive experiments demonstrate that the proposed regularization strategy can boost the performance of the prevalent adversarial training algorithms, including PGD-AT, TRADES, TRADES (LSE), MART, and DM-AT, across various network architectures. Our code will be available at https://github.com/TrustAI/LOAT.
- Abstract(参考訳): 敵のトレーニングは、ディープニューラルネットワークの敵の堅牢性を改善するために広く利用されている。
しかし、逆学習モデルにおける標準一般化性能の低下を緩和することは未解決の問題である。
本稿では,モデル複雑性のレンズを用いてこの問題の解決を試みる。
まず、モデル複雑性の幾何学的不変量であるFisher-Raoノルムを用いて、ReLU活性化多層パーセプトロンに対するクロスエントロピーロスに基づくラデマッハ複雑性の非自明な境界を確立する。
次に,モデル幅の変化や,逆行訓練におけるトレードオフ要因に敏感な複雑性関連変数を一般化する。
さらに、集中的な経験的証拠は、この変数が、特に訓練過程の初期および最終段階において、対向訓練されたモデルと標準訓練されたモデルの間のクロスエントロピー損失の一般化ギャップと高い相関関係があることを証明している。
この観測に基づいて,ロジット指向逆行訓練(LOAT)と呼ばれる新たな正規化フレームワークを提案する。
提案手法は, PGD-AT, TRADES, TRADES (LSE), MART, DM-ATなど, 様々なネットワークアーキテクチャにおいて, 一般的な学習アルゴリズムの性能向上を図っている。
私たちのコードはhttps://github.com/TrustAI/LOAT.comで公開されます。
関連論文リスト
- Split-Boost Neural Networks [1.1549572298362787]
本稿では,スプリットブートと呼ばれるフィードフォワードアーキテクチャの革新的なトレーニング戦略を提案する。
このような新しいアプローチは、最終的に正規化項を明示的にモデル化することを避けることができる。
提案した戦略は、ベンチマーク医療保険設計問題内の実世界の(匿名化された)データセットでテストされる。
論文 参考訳(メタデータ) (2023-09-06T17:08:57Z) - Generalization and Estimation Error Bounds for Model-based Neural
Networks [78.88759757988761]
スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。
我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
論文 参考訳(メタデータ) (2023-04-19T16:39:44Z) - Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳(メタデータ) (2023-03-24T16:03:21Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳(メタデータ) (2023-03-20T14:12:55Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-13T15:39:43Z) - Convolutional Dictionary Learning by End-To-End Training of Iterative
Neural Networks [3.6280929178575994]
本研究では,教師付きおよび物理情報を用いたオンライン畳み込み辞書学習アルゴリズムとして利用可能な INN を構築する。
提案手法は,従来の2つのモデルに依存しない訓練法よりも改善され,深い INN と比較して競争結果が得られることを示す。
論文 参考訳(メタデータ) (2022-06-09T12:15:38Z) - Ensemble-in-One: Learning Ensemble within Random Gated Networks for
Enhanced Adversarial Robustness [18.514706498043214]
敵の攻撃は現代のディープラーニングシステムに高いセキュリティリスクをもたらしている。
ランダムゲートネットワーク(RGN)内でアンサンブルを訓練するためのアンサンブル・イン・ワン(EIO)を提案する。
EIOは、従来のアンサンブルトレーニング手法を一貫して上回り、計算オーバーヘッドがさらに少なくなります。
論文 参考訳(メタデータ) (2021-03-27T03:13:03Z) - Bridging the Gap Between Adversarial Robustness and Optimization Bias [28.56135898767349]
アドリアールの堅牢性はディープラーニングのオープンな課題であり、ほとんどの場合、敵対的なトレーニングを使用して対処されます。
トレードオフなしに、完全標準精度とある程度の堅牢性を両立させることが可能であることを示す。
特に、線形畳み込みモデルのロバスト性を特徴付け、フーリエ=$ell_infty$ノルムの制約を受ける攻撃に抵抗することを示す。
論文 参考訳(メタデータ) (2021-02-17T16:58:04Z) - Neural Complexity Measures [96.06344259626127]
本稿では,一般化を予測するメタラーニングフレームワークであるNeural Complexity(NC)を提案する。
我々のモデルは、データ駆動方式で、多くの異種タスクとの相互作用を通じてスカラー複雑性尺度を学習する。
論文 参考訳(メタデータ) (2020-08-07T02:12:10Z) - Total Deep Variation: A Stable Regularizer for Inverse Problems [71.90933869570914]
本稿では,データ駆動型汎用全深度変動正規化器について紹介する。
コアでは、畳み込みニューラルネットワークが複数のスケールや連続したブロックで局所的な特徴を抽出する。
我々は多数の画像処理タスクに対して最先端の結果を得る。
論文 参考訳(メタデータ) (2020-06-15T21:54:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。