論文の概要: Revisiting the Trade-off between Accuracy and Robustness via Weight
Distribution of Filters
- arxiv url: http://arxiv.org/abs/2306.03430v3
- Date: Mon, 31 Jul 2023 07:05:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-01 20:42:19.167308
- Title: Revisiting the Trade-off between Accuracy and Robustness via Weight
Distribution of Filters
- Title(参考訳): フィルタの重量分布による精度とロバストさのトレードオフの再検討
- Authors: Xingxing Wei, and Shiji Zhao
- Abstract要約: 敵対的攻撃はディープニューラルネットワーク(DNN)の潜在的な脅威であることが証明されている。
本稿では,同じアーキテクチャのフィルタの重み分布における標準モデルとロバストモデルとの明確な区別を経験的に見出す。
本稿では,AW-Net (Adversarial Weight-Varied Network) という名前の動的ネットワークアーキテクチャを提案する。
- 参考スコア(独自算出の注目度): 8.848895036534769
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial attacks have been proven to be potential threats to Deep Neural
Networks (DNNs), and many methods are proposed to defend against adversarial
attacks. However, while enhancing the robustness, the clean accuracy will
decline to a certain extent, implying a trade-off existed between the accuracy
and robustness. In this paper, we firstly empirically find an obvious
distinction between standard and robust models in the filters' weight
distribution of the same architecture, and then theoretically explain this
phenomenon in terms of the gradient regularization, which shows this difference
is an intrinsic property for DNNs, and thus a static network architecture is
difficult to improve the accuracy and robustness at the same time. Secondly,
based on this observation, we propose a sample-wise dynamic network
architecture named Adversarial Weight-Varied Network (AW-Net), which focuses on
dealing with clean and adversarial examples with a ``divide and rule" weight
strategy. The AW-Net dynamically adjusts network's weights based on regulation
signals generated by an adversarial detector, which is directly influenced by
the input sample. Benefiting from the dynamic network architecture, clean and
adversarial examples can be processed with different network weights, which
provides the potentiality to enhance the accuracy and robustness
simultaneously. A series of experiments demonstrate that our AW-Net is
architecture-friendly to handle both clean and adversarial examples and can
achieve better trade-off performance than state-of-the-art robust models.
- Abstract(参考訳): 敵の攻撃はディープニューラルネットワーク(DNN)の潜在的な脅威であることが証明されており、敵の攻撃に対して多くの方法が提案されている。
しかし、ロバスト性を高める一方で、クリーンな精度はある程度低下し、精度とロバスト性の間にトレードオフがあったことを意味する。
本稿では,まず,同一アーキテクチャのフィルタの重み分布における標準モデルとロバストモデルとの明らかな区別を見出した上で,この現象を勾配正規化の観点から理論的に説明し,この差がdnnに固有の特性であることを示し,静的ネットワークアーキテクチャは,同時に精度と頑健性を向上させることは困難である。
第二に,本研究では,「分割と規則」の重み戦略を用いて,クリーンかつ逆の例を扱うことに焦点を当てた,Adversarial Weight-Varied Network (AW-Net) という動的ネットワークアーキテクチャを提案する。
AW-Netは、入力サンプルに直接影響される対向検出器によって生成された制御信号に基づいて、ネットワークの重みを動的に調整する。
動的ネットワークアーキテクチャの利点は、クリーンで逆の例を異なるネットワーク重みで処理することで、精度と堅牢性を同時に向上する可能性を提供する。
一連の実験により、我々のAW-Netはクリーンな例と敵対的な例の両方を扱うのにアーキテクチャに優しいことが示され、最先端のロバストモデルよりも優れたトレードオフ性能が得られる。
関連論文リスト
- From Environmental Sound Representation to Robustness of 2D CNN Models
Against Adversarial Attacks [82.21746840893658]
本稿では, 各種環境音響表現(スペクトログラム)が, 被害者残差畳み込みニューラルネットワークの認識性能と対角攻撃性に与える影響について検討する。
DWTスペクトログラムでトレーニングしたResNet-18モデルでは高い認識精度が得られたが、このモデルに対する攻撃は敵にとって比較的コストがかかる。
論文 参考訳(メタデータ) (2022-04-14T15:14:08Z) - Unveiling the potential of Graph Neural Networks for robust Intrusion
Detection [2.21481607673149]
本稿では,グラフとして構造化された攻撃の流れパターンを学習するための新しいグラフニューラルネットワーク(GNN)モデルを提案する。
我々のモデルは従来の実験と同等の精度を維持することができる一方、最先端のML技術は敵攻撃下で50%の精度(F1スコア)を低下させる。
論文 参考訳(メタデータ) (2021-07-30T16:56:39Z) - Dynamic Slimmable Network [105.74546828182834]
ダイナミックスリム化システム「ダイナミックスリム化ネットワーク(DS-Net)」を開発。
ds-netは,提案するダブルヘッド動的ゲートによる動的推論機能を備えている。
静的圧縮法と最先端の静的および動的モデル圧縮法を一貫して上回っている。
論文 参考訳(メタデータ) (2021-03-24T15:25:20Z) - Do Wider Neural Networks Really Help Adversarial Robustness? [92.8311752980399]
モデルロバスト性は自然精度と摂動安定性のトレードオフと密接に関係していることを示す。
本稿では,ワイドモデル上でラムダ$を適応的に拡大するWidth Adjusted Regularization(WAR)手法を提案する。
論文 参考訳(メタデータ) (2020-10-03T04:46:17Z) - Achieving Adversarial Robustness via Sparsity [33.11581532788394]
ネットワーク重みの空間性はモデルロバスト性と密接に関連していることを示す。
本稿では,逆重み継承という新たな逆トレーニング手法を提案する。
論文 参考訳(メタデータ) (2020-09-11T13:15:43Z) - Improve Generalization and Robustness of Neural Networks via Weight
Scale Shifting Invariant Regularizations [52.493315075385325]
重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。
そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
論文 参考訳(メタデータ) (2020-08-07T02:55:28Z) - Interpolation between Residual and Non-Residual Networks [24.690238357686134]
ダンピング項を追加することで,新しいODEモデルを提案する。
提案モデルでは係数を調整してResNetとCNNの両方を復元可能であることを示す。
複数の画像分類ベンチマーク実験により,提案手法はResNetとResNeXtの精度を大幅に向上することが示された。
論文 参考訳(メタデータ) (2020-06-10T09:36:38Z) - Self-Supervised Dynamic Networks for Covariate Shift Robustness [9.542023122304098]
Self-Supervised Dynamic Networks (SSDN) は、自己教師ネットワークがメインネットワークの重みを予測できる入力依存のメカニズムである。
本稿では,画像分類問題における提案手法の概念的および実証的利点について述べる。
論文 参考訳(メタデータ) (2020-06-06T19:37:20Z) - Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness [97.67477497115163]
我々は、モード接続を用いて、ディープニューラルネットワークの対角的堅牢性を研究する。
実験では、異なるネットワークアーキテクチャやデータセットに適用される様々な種類の敵攻撃について取り上げる。
以上の結果から,モード接続は,敵の強靭性を評価・改善するための総合的なツールであり,実用的な手段であることが示唆された。
論文 参考訳(メタデータ) (2020-04-30T19:12:50Z) - Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by
Enabling Input-Adaptive Inference [119.19779637025444]
深層ネットワークは、(クリーンな自然画像の場合)正確さと(敵対的な摂動画像の場合)頑健さの相違に直面することを最近提案された。
本稿では,入力適応推論に関連するマルチエグジットネットワークについて検討し,モデル精度,ロバスト性,効率の最適化において「スイートポイント」を達成する上での強い期待を示す。
論文 参考訳(メタデータ) (2020-02-24T00:40:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。