論文の概要: Feature Purification: How Adversarial Training Performs Robust Deep Learning

• arxiv url: http://arxiv.org/abs/2005.10190v4
• Date: Mon, 13 Jun 2022 04:45:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 04:31:09.382398
• Title: Feature Purification: How Adversarial Training Performs Robust Deep Learning
• Title（参考訳）: 機能の浄化: 対人訓練が頑健な深層学習を実現する方法
• Authors: Zeyuan Allen-Zhu and Yuanzhi Li
• Abstract要約: ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
• 参考スコア（独自算出の注目度）: 66.05472746340142
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the empirical success of using Adversarial Training to defend deep learning models against adversarial perturbations, so far, it still remains rather unclear what the principles are behind the existence of adversarial perturbations, and what adversarial training does to the neural network to remove them. In this paper, we present a principle that we call Feature Purification, where we show one of the causes of the existence of adversarial examples is the accumulation of certain small dense mixtures in the hidden weights during the training process of a neural network; and more importantly, one of the goals of adversarial training is to remove such mixtures to purify hidden weights. We present both experiments on the CIFAR-10 dataset to illustrate this principle, and a theoretical result proving that for certain natural classification tasks, training a two-layer neural network with ReLU activation using randomly initialized gradient descent indeed satisfies this principle. Technically, we give, to the best of our knowledge, the first result proving that the following two can hold simultaneously for training a neural network with ReLU activation. (1) Training over the original data is indeed non-robust to small adversarial perturbations of some radius. (2) Adversarial training, even with an empirical perturbation algorithm such as FGM, can in fact be provably robust against ANY perturbations of the same radius. Finally, we also prove a complexity lower bound, showing that low complexity models such as linear classifiers, low-degree polynomials, or even the neural tangent kernel for this network, CANNOT defend against perturbations of this same radius, no matter what algorithms are used to train them.
• Abstract（参考訳）: 相反する摂動に対して深層学習モデルを守るために相反する訓練を用いた経験的な成功にもかかわらず、相反する摂動の存在の背後にある原理と、相反するトレーニングがそれらを取り除くためにニューラルネットワークにどのような影響を与えるのかは、今のところまだ不明である。 本稿では,ニューラルネットワークのトレーニング過程において,特定の低密度混合物が隠れ重みに蓄積されていること,さらに,そのような混合物を除去して隠蔽重みを浄化することが敵のトレーニングの目的である,という特徴浄化(Feature Purification)の原則を提案する。 この原理を説明するために,CIFAR-10データセットを用いて実験を行った。また,特定の自然分類タスクに対して,ランダムに初期化勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることで,この原理を満足できることを示す理論的結果を示す。 技術的には、我々の知る限りでは、次の2つがreluアクティベーションでニューラルネットワークをトレーニングするために同時に保持できることを証明する最初の結果です。 1) 原データのトレーニングは, 半径の小さな対向摂動に対して, 実際に非破壊的である。 2) fgmのような経験的摂動アルゴリズムであっても、逆行訓練は、実際には同じ半径の摂動に対して確実に頑健である。 最後に,線形分類器や低次多項式,あるいはニューラルネットワークの神経接核といった複雑性の低いモデルでは,アルゴリズムが何であっても,同じ半径の摂動に対して防御できないことを示した。

関連論文リスト

• Adversarial Training Can Provably Improve Robustness: Theoretical Analysis of Feature Learning Process Under Structured Data [38.44734564565478]
  本稿では, 特徴学習理論の観点から, 対角的例と対角的学習アルゴリズムの理論的理解を提供する。 本手法は,頑健な特徴学習を効果的に強化し,非ロバストな特徴学習を抑えることができることを示す。
  論文  参考訳（メタデータ） (2024-10-11T03:59:49Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Evolution of Neural Tangent Kernels under Benign and Adversarial Training [109.07737733329019]
  実験的なニューラル・タンジェント・カーネル(NTK)の進化を,標準および対角訓練下で研究する。 敵対的トレーニングでは、経験的NTKは標準トレーニングとは異なるカーネル(および特徴マップ)に急速に収束する。 この新しいカーネルは、その上に非ロマンストレーニングが行われたとしても、敵の堅牢性を提供する。
  論文  参考訳（メタデータ） (2022-10-21T15:21:15Z)
• Benign, Tempered, or Catastrophic: A Taxonomy of Overfitting [19.08269066145619]
  ニューラルネットワークを含むいくつかの補間手法は、破滅的なテスト性能を損なうことなく、ノイズの多いトレーニングデータを適合させることができる。 ニューラルネットワークのような実際の補間手法は、良心的に適合しない、と我々は主張する。
  論文  参考訳（メタデータ） (2022-07-14T00:23:01Z)
• Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
  時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。 本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
  論文  参考訳（メタデータ） (2022-06-05T08:49:16Z)
• Benign Overfitting in Two-layer Convolutional Neural Networks [90.75603889605043]
  2層畳み込みニューラルネットワーク(CNN)の訓練における良性過剰適合現象の検討 信号対雑音比が一定の条件を満たすと、勾配降下により訓練された2層CNNが任意に小さな訓練と試験損失を達成できることを示す。 一方、この条件が保たない場合、オーバーフィッティングは有害となり、得られたCNNは一定レベルのテスト損失しか達成できない。
  論文  参考訳（メタデータ） (2022-02-14T07:45:51Z)
• Efficient and Robust Classification for Sparse Attacks [34.48667992227529]
  我々は、画像認識、自然言語処理、マルウェア検出の領域において効果的な攻撃として示されてきた$ell$-normで束縛された摂動を考える。 我々は,「トランケーション」と「アドリアル・トレーニング」を組み合わせた新しい防衛手法を提案する。 得られた洞察に触発され、これらのコンポーネントをニューラルネットワーク分類器に拡張する。
  論文  参考訳（メタデータ） (2022-01-23T21:18:17Z)
• Over-parametrized neural networks as under-determined linear systems [31.69089186688224]
  単純なニューラルネットワークがトレーニング損失をゼロにできるのは当然のことだ。 ReLUアクティベーション関数に典型的に関連付けられたカーネルには、根本的な欠陥があることが示される。 本稿では,ReLUの落とし穴を避けるための新たなアクティベーション関数を提案する。
  論文  参考訳（メタデータ） (2020-10-29T21:43:00Z)
• A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks [87.23360438947114]
  重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。 これは、トレーニング損失が一定の精度まで線形に収束することを意味する。 また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
  論文  参考訳（メタデータ） (2020-02-10T18:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。