論文の概要: Towards Natural Robustness Against Adversarial Examples
- arxiv url: http://arxiv.org/abs/2012.02452v1
- Date: Fri, 4 Dec 2020 08:12:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-23 08:46:14.789391
- Title: Towards Natural Robustness Against Adversarial Examples
- Title(参考訳): 対向例に対する自然ロバスト性を目指して
- Authors: Haoyu Chu, Shikui Wei, Yao Zhao
- Abstract要約: ニューラルODEと呼ばれる新しいディープニューラルネットワークの族が、より弱い上限を持つことを示す。
このより弱い上限は、結果の変化量が大きすぎることを防ぐ。
ニューラルネットワークの自然な頑健性は、敵の訓練手法で訓練されたニューラルネットワークの頑健性よりもさらに優れていることを示す。
- 参考スコア(独自算出の注目度): 35.5696648642793
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent studies have shown that deep neural networks are vulnerable to
adversarial examples, but most of the methods proposed to defense adversarial
examples cannot solve this problem fundamentally. In this paper, we
theoretically prove that there is an upper bound for neural networks with
identity mappings to constrain the error caused by adversarial noises. However,
in actual computations, this kind of neural network no longer holds any upper
bound and is therefore susceptible to adversarial examples. Following similar
procedures, we explain why adversarial examples can fool other deep neural
networks with skip connections. Furthermore, we demonstrate that a new family
of deep neural networks called Neural ODEs (Chen et al., 2018) holds a weaker
upper bound. This weaker upper bound prevents the amount of change in the
result from being too large. Thus, Neural ODEs have natural robustness against
adversarial examples. We evaluate the performance of Neural ODEs compared with
ResNet under three white-box adversarial attacks (FGSM, PGD, DI2-FGSM) and one
black-box adversarial attack (Boundary Attack). Finally, we show that the
natural robustness of Neural ODEs is even better than the robustness of neural
networks that are trained with adversarial training methods, such as TRADES and
YOPO.
- Abstract(参考訳): 近年の研究では、ディープニューラルネットワークは敵の例に弱いことが示されているが、敵の例を守るために提案された手法のほとんどは、この問題を根本的に解決できない。
本稿では, 対向雑音による誤差を抑えるために, 同一性を持つニューラルネットワークの上限が存在することを理論的に証明する。
しかし、実際の計算では、この種のニューラルネットワークはもはや上界を持たないため、敵の例に影響を受けやすい。
同様の手順に従って、敵の例が他の深いニューラルネットワークをスキップ接続で騙すことができる理由を説明する。
さらに,ニューラルネットワークの新たなファミリーであるneural odes(chen et al., 2018)が,より弱い上限を持つことを示した。
このより弱い上限は、結果の変化量が大きすぎることを防ぐ。
このように、ニューラルODEは逆例に対して自然な堅牢性を持つ。
我々は,3つのホワイトボックス対向攻撃(FGSM,PGD,DI2-FGSM)と1つのブラックボックス対向攻撃(Bundary Attack)によるResNetと比較して,ニューラルODEの性能を評価する。
最後に,TRADES や YOPO など,敵対的訓練手法で訓練されたニューラルネットワークの頑健性よりも,ニューラルネットワークの自然な堅牢性の方が優れていることを示す。
関連論文リスト
- Towards unlocking the mystery of adversarial fragility of neural networks [6.589200529058999]
分類アルゴリズムの出力を変えることができる最小の加法摂動を考察する。
本稿では,ディープニューラルネットワークの逆方向の脆弱性を行列理論で説明して分類する。
論文 参考訳(メタデータ) (2024-06-23T19:37:13Z) - Finite Gaussian Neurons: Defending against adversarial attacks by making
neural networks say "I don't know" [0.0]
人工ニューラルネットワークのための新しいニューロンアーキテクチャであるFinite Gaussian Neuron (FGN)を紹介する。
私の仕事は、 - 既存のモデルをFGNアーキテクチャに簡単に変換すること、 - 既存のモデルの振る舞いを実際のデータに保存すること、および、敵対的攻撃に対する抵抗を提供することである。
論文 参考訳(メタデータ) (2023-06-13T14:17:25Z) - Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。
緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文 参考訳(メタデータ) (2023-03-07T18:59:38Z) - Searching for the Essence of Adversarial Perturbations [73.96215665913797]
本稿では,ニューラルネットワークの誤予測の原因となる,人間の認識可能な情報を含む対人摂動について述べる。
この人間の認識可能な情報の概念は、敵の摂動に関連する重要な特徴を説明できる。
論文 参考訳(メタデータ) (2022-05-30T18:04:57Z) - Adversarial Robustness in Deep Learning: Attacks on Fragile Neurons [0.6899744489931016]
第1畳み込み層の結節投棄を用いて, 深層学習アーキテクチャの脆弱で頑健なニューロンを同定した。
これらのニューロンは,ネットワーク上の敵攻撃の分布と相関する。
論文 参考訳(メタデータ) (2022-01-31T14:34:07Z) - Thundernna: a white box adversarial attack [0.0]
ニューラルネットワークを攻撃するための一階法を開発した。
他の1次攻撃と比較して、我々の手法は成功率が高い。
論文 参考訳(メタデータ) (2021-11-24T07:06:21Z) - On the Adversarial Robustness of Quantized Neural Networks [2.0625936401496237]
モデル圧縮技術が敵対攻撃に対するAIアルゴリズムの堅牢性にどのように影響するかは不明である。
本稿では,最も一般的な圧縮手法である量子化がニューラルネットワークの対角的堅牢性に与える影響について検討する。
論文 参考訳(メタデータ) (2021-05-01T11:46:35Z) - BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by
Adversarial Attacks [65.2021953284622]
CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。
結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
論文 参考訳(メタデータ) (2021-03-14T20:43:19Z) - Artificial Neural Variability for Deep Learning: On Overfitting, Noise
Memorization, and Catastrophic Forgetting [135.0863818867184]
人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。
ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。
過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
論文 参考訳(メタデータ) (2020-11-12T06:06:33Z) - Perceptual Adversarial Robustness: Defense Against Unseen Threat Models [58.47179090632039]
敵対的堅牢性の鍵となる課題は、人間の知覚を正確に数学的に特徴づけることの欠如である。
ニューラル・パーセプチュアル・脅威モデルの下で、我々は新しいパーセプチュアル・アタックとディフェンスを開発する。
NPTMは非常に広範であるため、知覚的攻撃に対する知覚的適応訓練(PAT)は、他の多くの種類の敵対的攻撃に対して堅牢性を与える。
論文 参考訳(メタデータ) (2020-06-22T22:40:46Z) - Feature Purification: How Adversarial Training Performs Robust Deep
Learning [66.05472746340142]
ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。
この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
論文 参考訳(メタデータ) (2020-05-20T16:56:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。