論文の概要: Non-Singular Adversarial Robustness of Neural Networks

• arxiv url: http://arxiv.org/abs/2102.11935v1
• Date: Tue, 23 Feb 2021 20:59:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-25 13:28:32.391244
• Title: Non-Singular Adversarial Robustness of Neural Networks
• Title（参考訳）: ニューラルネットワークの非特異逆ロバスト性
• Authors: Yu-Lin Tsai, Chia-Yi Hsu, Chia-Mu Yu, Pin-Yu Chen
• Abstract要約: 小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
• 参考スコア（独自算出の注目度）: 58.731070632586594
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial robustness has become an emerging challenge for neural network owing to its over-sensitivity to small input perturbations. While being critical, we argue that solving this singular issue alone fails to provide a comprehensive robustness assessment. Even worse, the conclusions drawn from singular robustness may give a false sense of overall model robustness. Specifically, our findings show that adversarially trained models that are robust to input perturbations are still (or even more) vulnerable to weight perturbations when compared to standard models. In this paper, we formalize the notion of non-singular adversarial robustness for neural networks through the lens of joint perturbations to data inputs as well as model weights. To our best knowledge, this study is the first work considering simultaneous input-weight adversarial perturbations. Based on a multi-layer feed-forward neural network model with ReLU activation functions and standard classification loss, we establish error analysis for quantifying the loss sensitivity subject to $\ell_\infty$-norm bounded perturbations on data inputs and model weights. Based on the error analysis, we propose novel regularization functions for robust training and demonstrate improved non-singular robustness against joint input-weight adversarial perturbations.
• Abstract（参考訳）: 敵対的堅牢性は、小さな入力摂動に対する過敏性のため、ニューラルネットワークにとって新たな課題となっている。 批判的ではあるが、この特異な問題を解決するだけでは、包括的な堅牢性評価は提供できないと論じている。 さらに悪いことに、特異な堅牢性から引き出された結論は、モデル全体の堅牢性の誤った感覚を与えるかもしれません。 特に,入力摂動に頑健な対向的に訓練されたモデルは,標準モデルと比較してもなお(あるいはそれ以上)重み摂動に対して脆弱であることが示された。 本稿では,データ入力とモデル重みに対する関節摂動のレンズを通して,ニューラルネットワークの非特異な対角ロバスト性の概念を定式化する。 本研究は,同時入力重み付き対向摂動を考慮した最初の研究である。 reluアクティベーション関数と標準分類損失を持つ多層フィードフォワードニューラルネットワークモデルに基づいて,データ入力とモデル重みに対する$\ell_\infty$-norm有界摂動の損失感度を定量化するための誤差解析を行う。 誤差解析に基づいて,ロバストトレーニングのための新しい正規化関数を提案し,入力重み付き摂動に対する非特異なロバスト性が向上することを示す。

関連論文リスト

• Cycle Consistency-based Uncertainty Quantification of Neural Networks in Inverse Imaging Problems [10.992084413881592]
  ディープニューラルネットワークの多くの応用には不確実性推定が不可欠である。 サイクル整合性に基づく逆問題に使用されるディープニューラルネットワークに対する不確実性定量化手法を示す。
  論文  参考訳（メタデータ） (2023-05-22T09:23:18Z)
• Chaos Theory and Adversarial Robustness [0.0]
  本稿では、カオス理論の考え方を用いて、ニューラルネットワークが敵対的攻撃に対してどのような影響を受けやすいか、あるいは堅牢であるかを説明し、分析し、定量化する。 我々は、与えられた入力に対する摂動によってモデルの出力がどれほど大きく変化するかをキャプチャする、$hat Psi(h,theta)$によって与えられる新しい計量である「感受性比」を示す。
  論文  参考訳（メタデータ） (2022-10-20T03:39:44Z)
• RoMA: a Method for Neural Network Robustness Measurement and Assessment [0.0]
  ロバストネス測定・評価(RoMA)と呼ばれる新しい統計手法を提案する。 RoMAは、ランダムな入力摂動が誤分類を引き起こす可能性を決定する。 この研究を通じて得られた興味深い洞察の1つは、分類ネットワークにおいて、異なる出力ラベルが全く異なる堅牢性レベルを示すことができることである。
  論文  参考訳（メタデータ） (2021-10-21T12:01:54Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• Pruning in the Face of Adversaries [0.0]
  ニューラルネットワークのプルーニングがL-0,L-2,L-infinity攻撃に対する対向的ロバスト性に及ぼす影響を評価する。 その結果,ニューラルネットワークのプルーニングと対向ロバスト性は相互に排他的ではないことが確認された。 分析を敵のシナリオに付加的な仮定を取り入れた状況にまで拡張し、状況によって異なる戦略が最適であることを示す。
  論文  参考訳（メタデータ） (2021-08-19T09:06:16Z)
• Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
  ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。 本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。 画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
  論文  参考訳（メタデータ） (2021-06-18T16:34:23Z)
• Formalizing Generalization and Robustness of Neural Networks to Weight Perturbations [58.731070632586594]
  非負のモノトーンアクティベーション機能を備えたフィードフォワードニューラルネットワークの重量変動に対する最初の形式解析を提供します。 また,重みの摂動に対して一般化し頑健なニューラルネットワークを訓練するための新しい理論駆動損失関数を設計した。
  論文  参考訳（メタデータ） (2021-03-03T06:17:03Z)
• Do Wider Neural Networks Really Help Adversarial Robustness? [92.8311752980399]
  モデルロバスト性は自然精度と摂動安定性のトレードオフと密接に関係していることを示す。 本稿では,ワイドモデル上でラムダ$を適応的に拡大するWidth Adjusted Regularization(WAR)手法を提案する。
  論文  参考訳（メタデータ） (2020-10-03T04:46:17Z)
• Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness [97.67477497115163]
  我々は、モード接続を用いて、ディープニューラルネットワークの対角的堅牢性を研究する。 実験では、異なるネットワークアーキテクチャやデータセットに適用される様々な種類の敵攻撃について取り上げる。 以上の結果から,モード接続は,敵の強靭性を評価・改善するための総合的なツールであり,実用的な手段であることが示唆された。
  論文  参考訳（メタデータ） (2020-04-30T19:12:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。