論文の概要: A Theoretical Perspective on Subnetwork Contributions to Adversarial Robustness

• arxiv url: http://arxiv.org/abs/2307.03803v1
• Date: Fri, 7 Jul 2023 19:16:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-11 17:26:15.124356
• Title: A Theoretical Perspective on Subnetwork Contributions to Adversarial Robustness
• Title（参考訳）: 逆ロバスト性に対するサブネットワーク貢献の理論的展望
• Authors: Jovon Craig, Josh Andle, Theodore S. Nowak, Salimeh Yasaei Sekeh
• Abstract要約: 本稿では,サブネットワークの対角的ロバスト性がネットワーク全体のロバスト性にどのように寄与するかを検討する。 実験では、ロバストなサブネットワークがフルネットワークのロバスト性を促進する能力を示し、このフルネットワークのロバスト性を実現するために必要なレイヤワイドな依存関係を調査する。
• 参考スコア（独自算出の注目度）: 2.064612766965483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The robustness of deep neural networks (DNNs) against adversarial attacks has been studied extensively in hopes of both better understanding how deep learning models converge and in order to ensure the security of these models in safety-critical applications. Adversarial training is one approach to strengthening DNNs against adversarial attacks, and has been shown to offer a means for doing so at the cost of applying computationally expensive training methods to the entire model. To better understand these attacks and facilitate more efficient adversarial training, in this paper we develop a novel theoretical framework that investigates how the adversarial robustness of a subnetwork contributes to the robustness of the entire network. To do so we first introduce the concept of semirobustness, which is a measure of the adversarial robustness of a subnetwork. Building on this concept, we then provide a theoretical analysis to show that if a subnetwork is semirobust and there is a sufficient dependency between it and each subsequent layer in the network, then the remaining layers are also guaranteed to be robust. We validate these findings empirically across multiple DNN architectures, datasets, and adversarial attacks. Experiments show the ability of a robust subnetwork to promote full-network robustness, and investigate the layer-wise dependencies required for this full-network robustness to be achieved.
• Abstract（参考訳）: ディープニューラルネットワーク(dnn)の敵対的攻撃に対するロバスト性は、ディープラーニングモデルの収束方法と、これらのモデルの安全性を安全クリティカルなアプリケーションにおいて確実に確保するための理解を深めるために、広く研究されてきた。 敵対的訓練は、DNNを敵対的攻撃に対して強化するアプローチのひとつであり、計算コストの高いトレーニング手法をモデル全体に適用するコストで実施する方法が示されている。 本稿では,これらの攻撃をよりよく理解し,より効率的な敵の訓練を促進するために,サブネットワークの敵のロバスト性がネットワーク全体のロバスト性にどのように寄与するかを考察する理論的枠組みを開発する。 そこで我々はまず,サブネットワークの対角的堅牢性の尺度であるセミロバストネスの概念を導入する。 この概念に基づいて、我々は、サブネットワークがセミロバストで、ネットワーク内の各層とそれに続く各層の間に十分な依存性がある場合、残りの層が堅牢であることを保証する理論的解析を行う。 本研究は,複数のDNNアーキテクチャ,データセット,敵攻撃に対して実験的に検証した。 実験は、フルネットワークのロバスト性を促進するためのロバストなサブネットワークの能力を示し、このフルネットワークのロバスト性を達成するために必要なレイヤ毎の依存関係を調べる。

関連論文リスト

• Robust NAS under adversarial training: benchmark, theory, and beyond [55.51199265630444]
  我々は、多数の敵に訓練されたネットワークに対して、クリーンな精度とロバストな精度の両方を含む包括的データセットをリリースする。 また,多目的対人訓練において,クリーンな精度とロバストな精度で探索アーキテクチャを一般化する理論を確立した。
  論文  参考訳（メタデータ） (2024-03-19T20:10:23Z)
• Understanding Robust Learning through the Lens of Representation Similarities [37.66877172364004]
  ディープニューラルネットワーク(DNN)の望ましい性質として、敵の例に対するロバストさが出現した 本稿では,頑健な学習によって学習される表現の性質が,標準的非破壊的学習から得られた表現とどのように異なるかを理解することを目的とする。
  論文  参考訳（メタデータ） (2022-06-20T16:06:20Z)
• Exploring Architectural Ingredients of Adversarially Robust Deep Neural Networks [98.21130211336964]
  ディープニューラルネットワーク(DNN)は敵の攻撃に弱いことが知られている。 本稿では,ネットワーク幅と深さがDNNの強靭性に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2021-10-07T23:13:33Z)
• SoK: Certified Robustness for Deep Neural Networks [13.10665264010575]
  近年の研究では、ディープニューラルネットワーク(DNN)が敵の攻撃に弱いことが示されている。 本稿では,実証可能な堅牢なアプローチと関連する実践的および理論的意味を体系化する。 また、既存の堅牢性検証と異なるデータセットでのトレーニングアプローチに関する、最初の包括的なベンチマークも提供しています。
  論文  参考訳（メタデータ） (2020-09-09T07:00:55Z)
• Improving Adversarial Robustness by Enforcing Local and Global Compactness [19.8818435601131]
  敵の訓練は、広範囲の攻撃に一貫して抵抗する最も成功した方法である。 本稿では,局所的・言語的コンパクト性とクラスタリングの仮定を強制する分散分散化ネットワークを提案する。 実験の結果,提案するコンポーネントによる対人訓練の強化は,ネットワークの堅牢性をさらに向上させる可能性が示唆された。
  論文  参考訳（メタデータ） (2020-07-10T00:43:06Z)
• A general framework for defining and optimizing robustness [74.67016173858497]
  分類器の様々な種類の堅牢性を定義するための厳密でフレキシブルなフレームワークを提案する。 我々の概念は、分類器の堅牢性は正確性とは無関係な性質と考えるべきであるという仮定に基づいている。 我々は,任意の分類モデルに適用可能な,非常に一般的なロバスト性フレームワークを開発する。
  論文  参考訳（メタデータ） (2020-06-19T13:24:20Z)
• Rethinking Clustering for Robustness [56.14672993686335]
  ClusTRは、ロバストモデルを学ぶためのクラスタリングベースの、対向のないトレーニングフレームワークである。 textitClusTRは、強いPGD攻撃の下で、敵に訓練されたネットワークを最大4%上回ります。
  論文  参考訳（メタデータ） (2020-06-13T16:55:51Z)
• Towards Practical Lottery Ticket Hypothesis for Adversarial Training [78.30684998080346]
  トレーニングプロセス中にはるかに高速に収束する,前述のサブネットワークのサブセットが存在することを示す。 本研究の実践的応用として,このようなサブネットワークは,対人訓練の総時間を短縮する上で有効であることを示す。
  論文  参考訳（メタデータ） (2020-03-06T03:11:52Z)
• HYDRA: Pruning Adversarially Robust Neural Networks [58.061681100058316]
  ディープラーニングは、敵対的攻撃に対する堅牢性の欠如と、大規模なニューラルネットワークサイズという、2つの大きな課題に直面している。 そこで本稿では,頑健なトレーニング目標を意識したプルーニング手法を提案し,トレーニング目標にプルーンへの接続を探索させる。 HYDRAと題する我々の手法は,最先端のベニグニグニグニグニグニとロバストな精度で圧縮されたネットワークを同時に実現できることを実証する。
  論文  参考訳（メタデータ） (2020-02-24T19:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。