論文の概要: Do Wider Neural Networks Really Help Adversarial Robustness?
- arxiv url: http://arxiv.org/abs/2010.01279v3
- Date: Sat, 14 Aug 2021 06:30:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-11 08:35:54.889808
- Title: Do Wider Neural Networks Really Help Adversarial Robustness?
- Title（参考訳）: より広いニューラルネットワークは、敵のロバスト性に役立つか?
- Authors: Boxi Wu and Jinghui Chen and Deng Cai and Xiaofei He and Quanquan Gu
- Abstract要約: モデルロバスト性は自然精度と摂動安定性のトレードオフと密接に関係していることを示す。
本稿では,ワイドモデル上でラムダ$を適応的に拡大するWidth Adjusted Regularization(WAR)手法を提案する。
- 参考スコア（独自算出の注目度）: 92.8311752980399
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial training is a powerful type of defense against adversarial
examples. Previous empirical results suggest that adversarial training requires
wider networks for better performances. However, it remains elusive how neural
network width affects model robustness. In this paper, we carefully examine the
relationship between network width and model robustness. Specifically, we show
that the model robustness is closely related to the tradeoff between natural
accuracy and perturbation stability, which is controlled by the robust
regularization parameter $\lambda$. With the same $\lambda$, wider networks can
achieve better natural accuracy but worse perturbation stability, leading to a
potentially worse overall model robustness. To understand the origin of this
phenomenon, we further relate the perturbation stability with the network's
local Lipschitzness. By leveraging recent results on neural tangent kernels, we
theoretically show that wider networks tend to have worse perturbation
stability. Our analyses suggest that: 1) the common strategy of first
fine-tuning $\lambda$ on small networks and then directly use it for wide model
training could lead to deteriorated model robustness; 2) one needs to properly
enlarge $\lambda$ to unleash the robustness potential of wider models fully.
Finally, we propose a new Width Adjusted Regularization (WAR) method that
adaptively enlarges $\lambda$ on wide models and significantly saves the tuning
time.
- Abstract（参考訳）: 敵の訓練は、敵の例に対する強力な防御手段である。
以前の実験結果から、敵のトレーニングはパフォーマンスを改善するためにより広いネットワークを必要とすることが示唆された。
しかし、ニューラルネットワークの幅がモデルロバスト性にどのように影響するかは、いまだ解明されていない。
本稿では,ネットワーク幅とモデルロバスト性との関係を慎重に検討する。
具体的には、モデルロバスト性は、ロバスト正規化パラメータ $\lambda$ によって制御される自然精度と摂動安定性のトレードオフと密接に関連していることを示す。
同じ$\lambda$で、より広いネットワークはより優れた自然な精度を実現することができるが、摂動安定性が悪くなり、モデル全体の堅牢性が悪化する可能性がある。
この現象の起源を理解するため、摂動安定性はネットワークの局所リプシッツ性とも関係している。
ニューラルネットワークカーネルの最近の結果を活用することで、より広いネットワークが摂動安定性を悪くする傾向があることを示す。
私たちの分析は
1)小型ネットワーク上で最初に$\lambda$を微調整し,それをモデルトレーニングに直接使用するという一般的な戦略は,モデルの堅牢性を低下させる可能性がある。
2) より広いモデルの堅牢性の可能性を完全に解き放つためには、$\lambda$を適切に拡大する必要がある。
最後に、ワイドモデル上で$\lambda$を適応的に拡大し、チューニング時間を著しく短縮する新しい Width Adjusted Regularization (WAR) 法を提案する。
関連論文リスト
- Revisiting the Trade-off between Accuracy and Robustness via Weight Distribution of Filters [17.316537476091867]
敵対的攻撃はディープニューラルネットワーク(DNN)の潜在的な脅威であることが証明されている。
本稿では,Adversarial Weight-Varied Network (AW-Net) という,サンプルワイドな動的ネットワークアーキテクチャを提案する。
AW-Netは、敵ルータが生成する制御信号に基づいて、ネットワークの重みを適応的に調整する。
論文 参考訳（メタデータ） (2023-06-06T06:09:11Z) - Chaos Theory and Adversarial Robustness [0.0]
本稿では、カオス理論の考え方を用いて、ニューラルネットワークが敵対的攻撃に対してどのような影響を受けやすいか、あるいは堅牢であるかを説明し、分析し、定量化する。
我々は、与えられた入力に対する摂動によってモデルの出力がどれほど大きく変化するかをキャプチャする、$hat Psi(h,theta)$によって与えられる新しい計量である「感受性比」を示す。
論文 参考訳（メタデータ） (2022-10-20T03:39:44Z) - Explicit Tradeoffs between Adversarial and Natural Distributional
Robustness [48.44639585732391]
実際、モデルは信頼性を確保するために両方のタイプの堅牢さを享受する必要があります。
本研究では, 対角線と自然分布の強靭性の間には, 明らかなトレードオフが存在することを示す。
論文 参考訳（メタデータ） (2022-09-15T19:58:01Z) - Robustness Certificates for Implicit Neural Networks: A Mixed Monotone
Contractive Approach [60.67748036747221]
暗黙のニューラルネットワークは、競合性能とメモリ消費の削減を提供する。
入力逆流の摂動に関して、それらは不安定なままである。
本稿では,暗黙的ニューラルネットワークのロバスト性検証のための理論的および計算的枠組みを提案する。
論文 参考訳（メタデータ） (2021-12-10T03:08:55Z) - Pruning in the Face of Adversaries [0.0]
ニューラルネットワークのプルーニングがL-0,L-2,L-infinity攻撃に対する対向的ロバスト性に及ぼす影響を評価する。
その結果,ニューラルネットワークのプルーニングと対向ロバスト性は相互に排他的ではないことが確認された。
分析を敵のシナリオに付加的な仮定を取り入れた状況にまで拡張し、状況によって異なる戦略が最適であることを示す。
論文 参考訳（メタデータ） (2021-08-19T09:06:16Z) - Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。
我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文 参考訳（メタデータ） (2021-02-23T20:59:30Z) - Bridging the Gap Between Adversarial Robustness and Optimization Bias [28.56135898767349]
アドリアールの堅牢性はディープラーニングのオープンな課題であり、ほとんどの場合、敵対的なトレーニングを使用して対処されます。
トレードオフなしに、完全標準精度とある程度の堅牢性を両立させることが可能であることを示す。
特に、線形畳み込みモデルのロバスト性を特徴付け、フーリエ=$ell_infty$ノルムの制約を受ける攻撃に抵抗することを示す。
論文 参考訳（メタデータ） (2021-02-17T16:58:04Z) - Monotone operator equilibrium networks [97.86610752856987]
我々はモノトン作用素の理論に基づく新しい暗黙深度モデル、モノトン演算子平衡ネットワーク(monDEQ)を開発した。
暗黙的ネットワークの平衡点の発見と単調作用素分割問題の解法との密接な関係を示す。
次に、ネットワークのパラメータ化を開発し、全ての作用素が単調であり続けることを保証し、ユニークな平衡点の存在を保証する。
論文 参考訳（メタデータ） (2020-06-15T17:57:31Z) - Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by
Enabling Input-Adaptive Inference [119.19779637025444]
深層ネットワークは、(クリーンな自然画像の場合)正確さと(敵対的な摂動画像の場合)頑健さの相違に直面することを最近提案された。
本稿では,入力適応推論に関連するマルチエグジットネットワークについて検討し,モデル精度,ロバスト性,効率の最適化において「スイートポイント」を達成する上での強い期待を示す。
論文 参考訳（メタデータ） (2020-02-24T00:40:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。