論文の概要: Revisiting the Trade-off between Accuracy and Robustness via Weight Distribution of Filters

• arxiv url: http://arxiv.org/abs/2306.03430v4
• Date: Wed, 5 Jun 2024 09:46:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 04:36:49.819658
• Title: Revisiting the Trade-off between Accuracy and Robustness via Weight Distribution of Filters
• Title（参考訳）: フィルタの重み分布による精度とロバストさのトレードオフの再検討
• Authors: Xingxing Wei, Shiji Zhao, Bo li,
• Abstract要約: 敵対的攻撃はディープニューラルネットワーク(DNN)の潜在的な脅威であることが証明されている。 本稿では,Adversarial Weight-Varied Network (AW-Net) という,サンプルワイドな動的ネットワークアーキテクチャを提案する。 AW-Netは、敵ルータが生成する制御信号に基づいて、ネットワークの重みを適応的に調整する。
• 参考スコア（独自算出の注目度）: 17.316537476091867
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial attacks have been proven to be potential threats to Deep Neural Networks (DNNs), and many methods are proposed to defend against adversarial attacks. However, while enhancing the robustness, the clean accuracy will decline to a certain extent, implying a trade-off existed between the accuracy and robustness. In this paper, to meet the trade-off problem, we theoretically explore the underlying reason for the difference of the filters' weight distribution between standard-trained and robust-trained models and then argue that this is an intrinsic property for static neural networks, thus they are difficult to fundamentally improve the accuracy and adversarial robustness at the same time. Based on this analysis, we propose a sample-wise dynamic network architecture named Adversarial Weight-Varied Network (AW-Net), which focuses on dealing with clean and adversarial examples with a "divide and rule" weight strategy. The AW-Net adaptively adjusts the network's weights based on regulation signals generated by an adversarial router, which is directly influenced by the input sample. Benefiting from the dynamic network architecture, clean and adversarial examples can be processed with different network weights, which provides the potential to enhance both accuracy and adversarial robustness. A series of experiments demonstrate that our AW-Net is architecture-friendly to handle both clean and adversarial examples and can achieve better trade-off performance than state-of-the-art robust models.
• Abstract（参考訳）: 敵の攻撃はディープニューラルネットワーク(DNN)の潜在的な脅威であることが証明されており、敵の攻撃に対して多くの方法が提案されている。 しかし、ロバスト性を高める一方で、クリーンな精度はある程度低下し、精度とロバスト性の間にトレードオフがあったことを意味する。 本稿では, トレードオフ問題に対処するため, 標準学習モデルとロバスト学習モデルとのフィルタの重み分布の差について理論的に検討し, 静的ニューラルネットワークの本質的特性であると主張し, 精度と対向ロバスト性を同時に根本的に改善することが困難である。 そこで本研究では,AW-Net(Adversarial Weight-Varied Network)と呼ばれる動的ネットワークアーキテクチャを提案する。 AW-Netは、対向ルータが生成する制御信号に基づいて、ネットワークの重みを適応的に調整する。 動的ネットワークアーキテクチャの利点として、クリーンで逆の例は異なるネットワーク重みで処理できるため、精度と逆の堅牢性の両方を高める可能性がある。 一連の実験により、我々のAW-Netはクリーンな例と敵対的な例の両方を扱うのにアーキテクチャに優しいことが示され、最先端のロバストモデルよりも優れたトレードオフ性能が得られる。

関連論文リスト

• Beyond Pruning Criteria: The Dominant Role of Fine-Tuning and Adaptive Ratios in Neural Network Robustness [7.742297876120561]
  ディープニューラルネットワーク(DNN)は、画像認識や自然言語処理といったタスクに優れています。 従来のプルーニング手法は、微妙な摂動に耐えるネットワークの能力を損なう。 本稿では,プライドネットワークの性能決定要因として,従来の重み付け重み付けの重視に挑戦する。
  論文  参考訳（メタデータ） (2024-10-19T18:35:52Z)
• From Environmental Sound Representation to Robustness of 2D CNN Models Against Adversarial Attacks [82.21746840893658]
  本稿では, 各種環境音響表現(スペクトログラム)が, 被害者残差畳み込みニューラルネットワークの認識性能と対角攻撃性に与える影響について検討する。 DWTスペクトログラムでトレーニングしたResNet-18モデルでは高い認識精度が得られたが、このモデルに対する攻撃は敵にとって比較的コストがかかる。
  論文  参考訳（メタデータ） (2022-04-14T15:14:08Z)
• Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
  CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。 任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。 本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
  論文  参考訳（メタデータ） (2021-05-31T17:01:05Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• Do Wider Neural Networks Really Help Adversarial Robustness? [92.8311752980399]
  モデルロバスト性は自然精度と摂動安定性のトレードオフと密接に関係していることを示す。 本稿では,ワイドモデル上でラムダ$を適応的に拡大するWidth Adjusted Regularization(WAR)手法を提案する。
  論文  参考訳（メタデータ） (2020-10-03T04:46:17Z)
• Achieving Adversarial Robustness via Sparsity [33.11581532788394]
  ネットワーク重みの空間性はモデルロバスト性と密接に関連していることを示す。 本稿では,逆重み継承という新たな逆トレーニング手法を提案する。
  論文  参考訳（メタデータ） (2020-09-11T13:15:43Z)
• Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness [97.67477497115163]
  我々は、モード接続を用いて、ディープニューラルネットワークの対角的堅牢性を研究する。 実験では、異なるネットワークアーキテクチャやデータセットに適用される様々な種類の敵攻撃について取り上げる。 以上の結果から,モード接続は,敵の強靭性を評価・改善するための総合的なツールであり,実用的な手段であることが示唆された。
  論文  参考訳（メタデータ） (2020-04-30T19:12:50Z)
• Defense Through Diverse Directions [24.129270094757587]
  我々は,強い対向性を実現するための新しいベイズニューラルネットワーク手法を開発した。 ネットワークが入力を均等に分散するように促すことによって、ネットワークは局所的かつ脆い機能の影響を受けにくくなっていることを実証する。 いくつかのベンチマークデータセットに経験的ロバスト性を示す。
  論文  参考訳（メタデータ） (2020-03-24T01:22:03Z)
• Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by Enabling Input-Adaptive Inference [119.19779637025444]
  深層ネットワークは、(クリーンな自然画像の場合)正確さと(敵対的な摂動画像の場合)頑健さの相違に直面することを最近提案された。 本稿では,入力適応推論に関連するマルチエグジットネットワークについて検討し,モデル精度,ロバスト性,効率の最適化において「スイートポイント」を達成する上での強い期待を示す。
  論文  参考訳（メタデータ） (2020-02-24T00:40:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。