論文の概要: Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness

• arxiv url: http://arxiv.org/abs/2005.00060v2
• Date: Fri, 3 Jul 2020 03:49:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 02:53:57.272676
• Title: Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness
• Title（参考訳）: ロスランドスケープにおけるブリッジモード接続性と敵対的ロバスト性
• Authors: Pu Zhao, Pin-Yu Chen, Payel Das, Karthikeyan Natesan Ramamurthy, Xue Lin
• Abstract要約: 我々は、モード接続を用いて、ディープニューラルネットワークの対角的堅牢性を研究する。 実験では、異なるネットワークアーキテクチャやデータセットに適用される様々な種類の敵攻撃について取り上げる。 以上の結果から,モード接続は,敵の強靭性を評価・改善するための総合的なツールであり,実用的な手段であることが示唆された。
• 参考スコア（独自算出の注目度）: 97.67477497115163
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mode connectivity provides novel geometric insights on analyzing loss landscapes and enables building high-accuracy pathways between well-trained neural networks. In this work, we propose to employ mode connectivity in loss landscapes to study the adversarial robustness of deep neural networks, and provide novel methods for improving this robustness. Our experiments cover various types of adversarial attacks applied to different network architectures and datasets. When network models are tampered with backdoor or error-injection attacks, our results demonstrate that the path connection learned using limited amount of bonafide data can effectively mitigate adversarial effects while maintaining the original accuracy on clean data. Therefore, mode connectivity provides users with the power to repair backdoored or error-injected models. We also use mode connectivity to investigate the loss landscapes of regular and robust models against evasion attacks. Experiments show that there exists a barrier in adversarial robustness loss on the path connecting regular and adversarially-trained models. A high correlation is observed between the adversarial robustness loss and the largest eigenvalue of the input Hessian matrix, for which theoretical justifications are provided. Our results suggest that mode connectivity offers a holistic tool and practical means for evaluating and improving adversarial robustness.
• Abstract（参考訳）: モード接続は、損失ランドスケープの分析に関する新しい幾何学的な洞察を提供し、よく訓練されたニューラルネットワーク間の高精度な経路を構築することができる。 本研究では,ロスランドスケープにおけるモード接続を利用して,ディープニューラルネットワークの逆ロバスト性の研究を行い,このロバスト性を改善する新しい手法を提案する。 実験では、異なるネットワークアーキテクチャやデータセットに適用される様々な種類の敵攻撃について取り上げる。 ネットワークモデルにバックドアやミスインジェクション攻撃を施すと,ボナフィドデータの限られた量を用いて学習した経路接続が,クリーンなデータに対する元の精度を維持しつつ,敵の効果を効果的に軽減できることを示す。 したがって、モード接続により、バックドアまたはエラーインジェクションモデルを修正することができる。 また、モード接続を利用して、レギュラーモデルやロバストモデルによる回避攻撃に対する損失状況を調べる。 実験により、正規モデルと逆訓練モデルを結ぶ経路に、逆ロバスト性損失の障壁があることが示されている。 逆ロバスト性損失と入力ヘッシ行列の最大固有値との間に高い相関が観測され、理論的な正当性が与えられる。 以上の結果から,モデム接続は,敵対的ロバスト性の評価と改善のためのツールであり,実用的な手段であることが示唆された。

関連論文リスト

• Adversarial Training Can Provably Improve Robustness: Theoretical Analysis of Feature Learning Process Under Structured Data [38.44734564565478]
  本稿では, 特徴学習理論の観点から, 対角的例と対角的学習アルゴリズムの理論的理解を提供する。 本手法は,頑健な特徴学習を効果的に強化し,非ロバストな特徴学習を抑えることができることを示す。
  論文  参考訳（メタデータ） (2024-10-11T03:59:49Z)
• A Geometrical Approach to Evaluate the Adversarial Robustness of Deep Neural Networks [52.09243852066406]
  対向収束時間スコア(ACTS)は、対向ロバストネス指標として収束時間を測定する。 我々は,大規模画像Netデータセットに対する異なる敵攻撃に対して,提案したACTSメトリックの有効性と一般化を検証する。
  論文  参考訳（メタデータ） (2023-10-10T09:39:38Z)
• Masking Adversarial Damage: Finding Adversarial Saliency for Robust and Sparse Network [33.18197518590706]
  敵対的な例は、ディープニューラルネットワークの弱い信頼性と潜在的なセキュリティ問題を引き起こす。 本稿では, 対向的損失の2次情報を利用した新しい対向的プルーニング手法, Masking Adversarial damage (MAD)を提案する。 我々は,MADが敵の強靭性を損なうことなく敵の訓練網を効果的に突破し,従来の敵のプルーニング手法よりも優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2022-04-06T11:28:06Z)
• Improving robustness of jet tagging algorithms with adversarial training [56.79800815519762]
  本研究では,フレーバータグ付けアルゴリズムの脆弱性について,敵攻撃による検証を行った。 シミュレーション攻撃の影響を緩和する対人訓練戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-25T19:57:19Z)
• Pruning in the Face of Adversaries [0.0]
  ニューラルネットワークのプルーニングがL-0,L-2,L-infinity攻撃に対する対向的ロバスト性に及ぼす影響を評価する。 その結果,ニューラルネットワークのプルーニングと対向ロバスト性は相互に排他的ではないことが確認された。 分析を敵のシナリオに付加的な仮定を取り入れた状況にまで拡張し、状況によって異なる戦略が最適であることを示す。
  論文  参考訳（メタデータ） (2021-08-19T09:06:16Z)
• Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
  ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。 本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。 画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
  論文  参考訳（メタデータ） (2021-06-18T16:34:23Z)
• Explainable Adversarial Attacks in Deep Neural Networks Using Activation Profiles [69.9674326582747]
  本稿では,敵対的事例に基づくニューラルネットワークモデルを検討するためのビジュアルフレームワークを提案する。 これらの要素を観察することで、モデル内の悪用領域を素早く特定できることを示す。
  論文  参考訳（メタデータ） (2021-03-18T13:04:21Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• Improving Adversarial Robustness by Enforcing Local and Global Compactness [19.8818435601131]
  敵の訓練は、広範囲の攻撃に一貫して抵抗する最も成功した方法である。 本稿では,局所的・言語的コンパクト性とクラスタリングの仮定を強制する分散分散化ネットワークを提案する。 実験の結果,提案するコンポーネントによる対人訓練の強化は,ネットワークの堅牢性をさらに向上させる可能性が示唆された。
  論文  参考訳（メタデータ） (2020-07-10T00:43:06Z)
• Architectural Resilience to Foreground-and-Background Adversarial Noise [0.0]
  正常な画像の知覚不能な摂動の形でのアドリサイドアタックが広く研究されている。 本稿では,異なるネットワークアーキテクチャのレジリエンスとロバスト性を検討するために,画像の異なるモデルに依存しないベンチマーク摂動を提案する。
  論文  参考訳（メタデータ） (2020-03-23T01:38:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。