論文の概要: Towards Understanding the Regularization of Adversarial Robustness on Neural Networks

• arxiv url: http://arxiv.org/abs/2011.07478v1
• Date: Sun, 15 Nov 2020 08:32:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-25 06:55:12.322203
• Title: Towards Understanding the Regularization of Adversarial Robustness on Neural Networks
• Title（参考訳）: ニューラルネットワークにおける逆ロバスト性の規則化の理解に向けて
• Authors: Yuxin Wen, Shuai Li, Kui Jia
• Abstract要約: 正規化の観点から, 劣化について検討する。 私たちは、信頼性の低いソリューションに対してNNを正規化/バイアス化することで、ARが実現されていることに気付きました。
• 参考スコア（独自算出の注目度）: 46.54437309608066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The problem of adversarial examples has shown that modern Neural Network (NN) models could be rather fragile. Among the more established techniques to solve the problem, one is to require the model to be {\it $\epsilon$-adversarially robust} (AR); that is, to require the model not to change predicted labels when any given input examples are perturbed within a certain range. However, it is observed that such methods would lead to standard performance degradation, i.e., the degradation on natural examples. In this work, we study the degradation through the regularization perspective. We identify quantities from generalization analysis of NNs; with the identified quantities we empirically find that AR is achieved by regularizing/biasing NNs towards less confident solutions by making the changes in the feature space (induced by changes in the instance space) of most layers smoother uniformly in all directions; so to a certain extent, it prevents sudden change in prediction w.r.t. perturbations. However, the end result of such smoothing concentrates samples around decision boundaries, resulting in less confident solutions, and leads to worse standard performance. Our studies suggest that one might consider ways that build AR into NNs in a gentler way to avoid the problematic regularization.
• Abstract（参考訳）: 敵の例の問題は、現代のニューラルネットワーク(NN)モデルは、かなり脆弱であることを示している。 この問題を解決するためのより確立された手法の1つは、モデルを {\it $\epsilon$-adversarially robust} (AR) であると要求することである。 しかし、そのような手法が標準的な性能劣化、すなわち自然例の劣化を引き起こすことが観察された。 本研究では,正規化の観点から劣化について検討する。 我々は、NNの一般化解析から量を特定するとともに、すべての方向において、ほとんどの層の特徴空間(インスタンス空間の変化によって引き起こされる)の変化をスムーズにすることで、NNをより信頼性の低い解に規則化/偏在させることによってARが達成されることを経験的に見出した。 しかし、そのような平滑化の最終的な結果は、決定境界に関するサンプルに集中し、信頼性の低いソリューションとなり、標準性能が悪化する。 我々の研究は、問題のある正規化を避けるために、NNにARを組み込む方法を考えるかもしれないことを示唆している。

関連論文リスト

• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• Causality Pursuit from Heterogeneous Environments via Neural Adversarial Invariance Learning [12.947265104477237]
  データから因果関係を抽出することは、科学的発見、治療介入、伝達学習における根本的な問題である。 Focused Adversial Invariant Regularization (FAIR) フレームワークは、革新的なミニマックス最適化アプローチを採用している。 FAIR-NNは最小の識別条件下で不変変数と準因果変数を見つけることができる。
  論文  参考訳（メタデータ） (2024-05-07T23:37:40Z)
• On the ISS Property of the Gradient Flow for Single Hidden-Layer Neural Networks with Linear Activations [0.0]
  本研究では,不確かさが勾配推定に及ぼす影響について検討した。 一般の過度にパラメータ化された定式化は、損失関数が最小化される集合の外側に配置されるスプリアス平衡の集合を導入することを示す。
  論文  参考訳（メタデータ） (2023-05-17T02:26:34Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Sparsely Changing Latent States for Prediction and Planning in Partially Observable Domains [11.371889042789219]
  GateL0RDは、安定した、わずかに変化する潜伏状態を維持するために誘導バイアスを組み込んだ、新しいリカレントアーキテクチャである。 GateL0RDは、様々な部分観測可能な予測および制御タスクにおいて、最先端のRNNと競合したり、性能を向上することができることを実証する。
  論文  参考訳（メタデータ） (2021-10-29T17:50:44Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
  科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。 既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。 これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
  論文  参考訳（メタデータ） (2021-09-02T16:06:45Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。