Fugu-MT 論文翻訳(概要): Self-Gradient Networks

論文の概要: Self-Gradient Networks

arxiv url: http://arxiv.org/abs/2011.09364v2
Date: Thu, 19 Nov 2020 04:16:05 GMT
ステータス: 処理完了
システム内更新日: 2022-09-24 03:35:41.104856
Title: Self-Gradient Networks
Title（参考訳）: 自己学習ネットワーク
Authors: Hossein Aboutalebi, Mohammad Javad Shafiee Alexander Wong
Abstract要約: 敵の摂動に対してより堅牢であるように設計された新しいディープニューラルネットワークアーキテクチャを提案する。自己段階的なネットワークは、より効率的で効果的な敵の訓練を可能にし、少なくとも10倍の高速な敵の堅牢な解への収束をもたらす。実験結果は、最先端の対人学習戦略と比較した場合、自己段階的ネットワークの有効性を示す。
参考スコア（独自算出の注目度）: 19.72769528722572
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The incredible effectiveness of adversarial attacks on fooling deep neural networks poses a tremendous hurdle in the widespread adoption of deep learning in safety and security-critical domains. While adversarial defense mechanisms have been proposed since the discovery of the adversarial vulnerability issue of deep neural networks, there is a long path to fully understand and address this issue. In this study, we hypothesize that part of the reason for the incredible effectiveness of adversarial attacks is their ability to implicitly tap into and exploit the gradient flow of a deep neural network. This innate ability to exploit gradient flow makes defending against such attacks quite challenging. Motivated by this hypothesis we argue that if a deep neural network architecture can explicitly tap into its own gradient flow during the training, it can boost its defense capability significantly. Inspired by this fact, we introduce the concept of self-gradient networks, a novel deep neural network architecture designed to be more robust against adversarial perturbations. Gradient flow information is leveraged within self-gradient networks to achieve greater perturbation stability beyond what can be achieved in the standard training process. We conduct a theoretical analysis to gain better insights into the behaviour of the proposed self-gradient networks to illustrate the efficacy of leverage this additional gradient flow information. The proposed self-gradient network architecture enables much more efficient and effective adversarial training, leading to faster convergence towards an adversarially robust solution by at least 10X. Experimental results demonstrate the effectiveness of self-gradient networks when compared with state-of-the-art adversarial learning strategies, with 10% improvement on the CIFAR10 dataset under PGD and CW adversarial perturbations.
Abstract（参考訳）: ディープニューラルネットワークを騙すための敵意攻撃の驚くべき効果は、安全とセキュリティクリティカルな領域でディープラーニングを広く採用する上で、大きなハードルとなる。ディープニューラルネットワークの敵対的脆弱性の発見以来、敵防衛メカニズムが提案されているが、この問題を完全に理解し対処するには長い道のりがある。本研究では,敵対的攻撃が極めて効果的である理由の一つとして,ニューラルネットワークの勾配流を暗黙的に突破し活用する能力がある,という仮説を立てる。このような勾配流を生来利用する能力は、このような攻撃に対する防御を極めて困難にする。この仮説に動機づけられた我々は、深層ニューラルネットワークアーキテクチャがトレーニング中に自身の勾配流に明示的に入り込むことができれば、防御能力を著しく向上させることができると論じる。この事実に触発されて、我々は、敵対的摂動に対してより強固になるように設計された新しいディープニューラルネットワークアーキテクチャである自己勾配ネットワークの概念を導入する。勾配フロー情報は、標準的なトレーニングプロセスで達成できる以上の摂動安定性を達成するために、自己勾配ネットワーク内で活用される。提案する自己段階的ネットワークの挙動をよりよく把握するために理論的解析を行い、この追加の勾配流情報を活用する効果を示す。提案する自己勾配型ネットワークアーキテクチャは,より効率的かつ効果的な対向トレーニングを可能にし,対向ロバストなソリューションへの収束を少なくとも10倍高速化する。 CIFAR10データセットをPGDとCWの摂動下で10%改善し、最先端の対角学習戦略と比較した場合の自己段階的ネットワークの有効性を示した。

関連論文リスト

Beyond Pruning Criteria: The Dominant Role of Fine-Tuning and Adaptive Ratios in Neural Network Robustness [7.742297876120561]
ディープニューラルネットワーク(DNN)は、画像認識や自然言語処理といったタスクに優れています。従来のプルーニング手法は、微妙な摂動に耐えるネットワークの能力を損なう。本稿では,プライドネットワークの性能決定要因として,従来の重み付け重み付けの重視に挑戦する。
論文参考訳（メタデータ） (2024-10-19T18:35:52Z)
Quantum-Inspired Analysis of Neural Network Vulnerabilities: The Role of Conjugate Variables in System Attacks [54.565579874913816]
ニューラルネットワークは、敵の攻撃として現れる小さな非ランダムな摂動に固有の脆弱性を示す。この機構と量子物理学の不確実性原理の間に数学的に一致し、予想外の学際性に光を当てる。
論文参考訳（メタデータ） (2024-02-16T02:11:27Z)
Dynamics-aware Adversarial Attack of Adaptive Neural Networks [75.50214601278455]
適応型ニューラルネットワークの動的対向攻撃問題について検討する。本稿では,LGM(Leaded Gradient Method)を提案する。我々のLGMは、動的無意識攻撃法と比較して、優れた敵攻撃性能を達成している。
論文参考訳（メタデータ） (2022-10-15T01:32:08Z)
Bi-fidelity Evolutionary Multiobjective Search for Adversarially Robust Deep Neural Architectures [19.173285459139592]
本稿では,双方向多目的ニューラルアーキテクチャ探索手法を提案する。低忠実度性能予測器に加えて,高忠実度評価で訓練された代理モデルの出力を補助対象として活用する。提案手法の有効性は, CIFAR-10, CIFAR-100, SVHNデータセットを用いた広範囲な実験により確認された。
論文参考訳（メタデータ） (2022-07-12T05:26:09Z)
Neural Architecture Dilation for Adversarial Robustness [56.18555072877193]
畳み込みニューラルネットワークの欠点は、敵の攻撃に弱いことである。本稿では, 良好な精度を有する背骨CNNの対角的堅牢性を向上させることを目的とする。最小限の計算オーバーヘッドの下では、拡張アーキテクチャはバックボーンCNNの標準的な性能と親和性が期待できる。
論文参考訳（メタデータ） (2021-08-16T03:58:00Z)
GradDiv: Adversarial Robustness of Randomized Neural Networks via Gradient Diversity Regularization [3.9157051137215504]
プロキシ勾配を用いた敵攻撃がランダム化ニューラルネットワークに与える影響について検討する。より散らばった場合,プロキシ勾配は効果が低いことを示す。ニューラルネットワークを構築するための勾配の濃度を最小化するグラディエント・ダイバーシティ(GradDiv)正則化を提案する。
論文参考訳（メタデータ） (2021-07-06T06:57:40Z)
Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
論文参考訳（メタデータ） (2021-06-18T16:34:23Z)
Improving Neural Network Robustness through Neighborhood Preserving Layers [0.751016548830037]
このような層を組み込むことができ、効率的にトレーニングできる新しいニューラルネットワークアーキテクチャを実証する。我々は、設計したネットワークアーキテクチャが、最先端の勾配に基づく攻撃に対してより堅牢であることを実証的に示す。
論文参考訳（メタデータ） (2021-01-28T01:26:35Z)
Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness [97.67477497115163]
我々は、モード接続を用いて、ディープニューラルネットワークの対角的堅牢性を研究する。実験では、異なるネットワークアーキテクチャやデータセットに適用される様々な種類の敵攻撃について取り上げる。以上の結果から,モード接続は,敵の強靭性を評価・改善するための総合的なツールであり,実用的な手段であることが示唆された。
論文参考訳（メタデータ） (2020-04-30T19:12:50Z)
Learn2Perturb: an End-to-end Feature Perturbation Learning to Improve Adversarial Robustness [79.47619798416194]
Learn2Perturbは、ディープニューラルネットワークの対角的堅牢性を改善するために、エンドツーエンドの機能摂動学習アプローチである。予測最大化にインスパイアされ、ネットワークと雑音パラメータを連続的にトレーニングするために、交互にバックプロパゲーショントレーニングアルゴリズムが導入された。
論文参考訳（メタデータ） (2020-03-02T18:27:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。