論文の概要: Adversarial Noises Are Linearly Separable for (Nearly) Random Neural Networks

• arxiv url: http://arxiv.org/abs/2206.04316v1
• Date: Thu, 9 Jun 2022 07:26:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-10 12:43:28.717823
• Title: Adversarial Noises Are Linearly Separable for (Nearly) Random Neural Networks
• Title（参考訳）: 逆雑音は(ほぼ)ランダムニューラルネットワークに対して線形に分離可能である
• Authors: Huishuai Zhang and Da Yu and Yiping Lu and Di He
• Abstract要約: 通常、特定のモデルを持つ特定の入力に対して生成される逆例は、ニューラルネットワークにとってユビキタスである。 本稿では,一段法で構築した逆方向雑音が対応するラベルを装着した場合に線形分離可能であるという,逆方向雑音の驚くべき特性を明らかにする。
• 参考スコア（独自算出の注目度）: 46.13404040937189
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial examples, which are usually generated for specific inputs with a specific model, are ubiquitous for neural networks. In this paper we unveil a surprising property of adversarial noises when they are put together, i.e., adversarial noises crafted by one-step gradient methods are linearly separable if equipped with the corresponding labels. We theoretically prove this property for a two-layer network with randomly initialized entries and the neural tangent kernel setup where the parameters are not far from initialization. The proof idea is to show the label information can be efficiently backpropagated to the input while keeping the linear separability. Our theory and experimental evidence further show that the linear classifier trained with the adversarial noises of the training data can well classify the adversarial noises of the test data, indicating that adversarial noises actually inject a distributional perturbation to the original data distribution. Furthermore, we empirically demonstrate that the adversarial noises may become less linearly separable when the above conditions are compromised while they are still much easier to classify than original features.
• Abstract（参考訳）: 通常、特定のモデルを持つ特定の入力に対して生成される逆例は、ニューラルネットワークにとってユビキタスである。 本稿では,一段階勾配法で構築した逆雑音が,対応するラベルを装着した場合に線形に分離可能であることなど,逆雑音が組み合わされる場合の意外な特性を明らかにする。 ランダムな初期化エントリを持つ2層ネットワークと,パラメータが初期化から程遠いニューラルネットワークカーネルのセットアップに対して,この特性を理論的に証明する。 証明アイデアは、線形分離性を保ちながら、ラベル情報を効率的に入力に逆伝播させることができることを示すことである。 さらに本理論と実験結果から,訓練データの逆雑音を訓練した線形分類器は,実験データの逆雑音を適切に分類できることが示され,実際の逆雑音が元のデータ分布に分布摂動を注入することを示す。 さらに, 従来の特徴よりも分類が比較的容易でありながら, 上記の条件が逸脱した場合, 逆方向の雑音が線形分離しにくくなることを示した。

関連論文リスト

• How adversarial attacks can disrupt seemingly stable accurate classifiers [76.95145661711514]
  敵攻撃は、入力データに不連続な修正を加えることで、非正確な学習システムの出力を劇的に変化させる。 ここでは,これは高次元入力データを扱う分類器の基本的特徴であると考えられる。 実用システムで観測される重要な振る舞いを高い確率で発生させる、単純で汎用的なフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-09-07T12:02:00Z)
• Understanding Noise-Augmented Training for Randomized Smoothing [14.061680807550722]
  ランダムスムーシング(Randomized smoothing)は、敵攻撃に対する証明可能な堅牢性を保証する技術である。 より強い分布仮定を作らずに、雑音増強の訓練を受けた予測者から利益を期待できないことを示す。 本分析は, ランダム化平滑化の実践的展開に直接的な意味を持つ。
  論文  参考訳（メタデータ） (2023-05-08T14:46:34Z)
• Robust Training under Label Noise by Over-parameterization [41.03008228953627]
  本稿では,トレーニングラベルの比率が低下した分類タスクにおいて,過パラメータ化深層ネットワークの堅牢なトレーニングを行うための原則的手法を提案する。 ラベルノイズはクリーンデータから学んだネットワークと疎結合なので、ノイズをモデル化してデータから分離することを学びます。 注目すべきは、このような単純な手法を用いて訓練を行う場合、様々な実データに対してラベルノイズに対する最先端のテスト精度を示すことである。
  論文  参考訳（メタデータ） (2022-02-28T18:50:10Z)
• Benign Overfitting without Linearity: Neural Network Classifiers Trained by Gradient Descent for Noisy Linear Data [44.431266188350655]
  勾配降下による一般化を訓練した2層ニューラルネットワークの一般化誤差を考察する。 ニューラルネットワークはトレーニングエラーをゼロにし、ノイズの多いトレーニングラベルを完璧に適合させ、同時に最小限のテストエラーを達成できる。 線形あるいはカーネルベースの予測器を必要とする良性オーバーフィッティングに関するこれまでの研究とは対照的に、我々の分析はモデルと学習力学の両方が基本的に非線形であるような環境で成り立っている。
  論文  参考訳（メタデータ） (2022-02-11T23:04:00Z)
• Benign Overfitting in Adversarially Robust Linear Classification [91.42259226639837]
  分類器がノイズの多いトレーニングデータを記憶しながらも、優れた一般化性能を達成している「双曲オーバーフィッティング」は、機械学習コミュニティにおいて大きな注目を集めている。 本研究は, 対人訓練において, 対人訓練において, 良心過剰が実際に発生することを示し, 対人訓練に対する防御の原則的アプローチを示す。
  論文  参考訳（メタデータ） (2021-12-31T00:27:31Z)
• Nonparametric Regression with Shallow Overparameterized Neural Networks Trained by GD with Early Stopping [11.24426822697648]
  GD(Gradient Descent)によってトレーニングされたニューラルネットワークは,入力に対してスムーズであることを示す。 ノイズフリーの場合、証明はいかなる核化にも依存せず、有限幅の結果と見なすことができる。
  論文  参考訳（メタデータ） (2021-07-12T11:56:53Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• Provable Generalization of SGD-trained Neural Networks of Any Width in the Presence of Adversarial Label Noise [85.59576523297568]
  勾配降下法により学習した任意の幅の1層リークReLUネットワークを考察する。 sgdは,分布上の最良半空間に匹敵する分類精度を持つニューラルネットワークを生成できることを実証する。
  論文  参考訳（メタデータ） (2021-01-04T18:32:49Z)
• How benign is benign overfitting? [96.07549886487526]
  深層ニューラルネットワークにおける敵対的脆弱性の2つの原因について検討する。 ディープニューラルネットワークは基本的にラベルノイズがある場合でも、トレーニングエラーをゼロにする。 我々は、ラベルノイズを敵対的脆弱性の原因の1つとみなしている。
  論文  参考訳（メタデータ） (2020-07-08T11:07:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。