論文の概要: Wide Two-Layer Networks can Learn from Adversarial Perturbations

• arxiv url: http://arxiv.org/abs/2410.23677v1
• Date: Thu, 31 Oct 2024 06:55:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:03:41.896801
• Title: Wide Two-Layer Networks can Learn from Adversarial Perturbations
• Title（参考訳）: 敵対的摂動から学習できる広二層ネットワーク
• Authors: Soichiro Kumano, Hiroshi Kera, Toshihiko Yamasaki,
• Abstract要約: 摂動学習の反直感的成功を理論的に説明する。 対角摂動は、ネットワークがそれらから一般化するのに十分なクラス固有の特徴を含むことを証明している。
• 参考スコア（独自算出の注目度）: 27.368408524000778
• License:
• Abstract: Adversarial examples have raised several open questions, such as why they can deceive classifiers and transfer between different models. A prevailing hypothesis to explain these phenomena suggests that adversarial perturbations appear as random noise but contain class-specific features. This hypothesis is supported by the success of perturbation learning, where classifiers trained solely on adversarial examples and the corresponding incorrect labels generalize well to correctly labeled test data. Although this hypothesis and perturbation learning are effective in explaining intriguing properties of adversarial examples, their solid theoretical foundation is limited. In this study, we theoretically explain the counterintuitive success of perturbation learning. We assume wide two-layer networks and the results hold for any data distribution. We prove that adversarial perturbations contain sufficient class-specific features for networks to generalize from them. Moreover, the predictions of classifiers trained on mislabeled adversarial examples coincide with those of classifiers trained on correctly labeled clean samples. The code is available at https://github.com/s-kumano/perturbation-learning.
• Abstract（参考訳）: 逆の例は、なぜ分類器を騙し、異なるモデル間で移動できるのかなど、いくつかのオープンな疑問を提起している。 これらの現象を説明するのに有効な仮説は、対向摂動がランダムノイズとして現れるが、クラス固有の特徴を含んでいることを示唆している。 この仮説は摂動学習の成功によって支持され、敵対的な例のみに基づいて訓練された分類器と、対応する不正確なラベルが正しくラベル付けされたテストデータによく一般化される。 この仮説と摂動学習は、敵の例の興味深い性質を説明するのに有効であるが、その固い理論的基礎は限られている。 本研究では,摂動学習の反直感的成功を理論的に説明する。 広い2層ネットワークを仮定し、結果は任意のデータ分布を保留する。 対角摂動は、ネットワークがそれらから一般化するのに十分なクラス固有の特徴を含むことを証明している。 さらに, 誤ラベル付き逆数例で学習した分類器の予測は, 正確なラベル付きクリーンサンプルで訓練した分類器の予測と一致した。 コードはhttps://github.com/s-kumano/perturbation-learningで公開されている。

関連論文リスト

• Theoretical Understanding of Learning from Adversarial Perturbations [30.759348459463467]
  敵の例がなぜニューラルネットワークを騙し、異なるネットワーク間で転送できるのかは、完全には理解されていない。 本研究では,一層ネットワークを用いた摂動からの学習の理論的枠組みを提案する。 以上の結果から,数ピクセルの摂動を含む様々な対向的摂動は,一般化に十分なクラス特徴を含むことが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-16T06:22:44Z)
• Smoothed Embeddings for Certified Few-Shot Learning [63.68667303948808]
  我々はランダムな平滑化を数ショットの学習モデルに拡張し、入力を正規化された埋め込みにマッピングする。 この結果は、異なるデータセットの実験によって確認される。
  論文  参考訳（メタデータ） (2022-02-02T18:19:04Z)
• Benign Overfitting in Adversarially Robust Linear Classification [91.42259226639837]
  分類器がノイズの多いトレーニングデータを記憶しながらも、優れた一般化性能を達成している「双曲オーバーフィッティング」は、機械学習コミュニティにおいて大きな注目を集めている。 本研究は, 対人訓練において, 対人訓練において, 良心過剰が実際に発生することを示し, 対人訓練に対する防御の原則的アプローチを示す。
  論文  参考訳（メタデータ） (2021-12-31T00:27:31Z)
• Classification and Adversarial examples in an Overparameterized Linear Model: A Signal Processing Perspective [10.515544361834241]
  最先端のディープラーニング分類器は、無限の逆境摂動に非常に敏感である。 学習されたモデルは、分類が一般化するが回帰はしない中間体制の敵に感受性がある。 敵対的感受性にもかかわらず、これらの特徴による分類は、より一般的に研究されている「非依存的特徴」モデルよりも容易である。
  論文  参考訳（メタデータ） (2021-09-27T17:35:42Z)
• On the Transferability of Adversarial Attacksagainst Neural Text Classifier [121.6758865857686]
  テキスト分類モデルの逆例の転送可能性について検討する。 本稿では,ほとんどすべての既存モデルを騙すために,敵の例を誘導できるモデル群を見つける遺伝的アルゴリズムを提案する。 これらの逆例からモデル診断に使用できる単語置換規則を導出する。
  論文  参考訳（メタデータ） (2020-11-17T10:45:05Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• How benign is benign overfitting? [96.07549886487526]
  深層ニューラルネットワークにおける敵対的脆弱性の2つの原因について検討する。 ディープニューラルネットワークは基本的にラベルノイズがある場合でも、トレーニングエラーをゼロにする。 我々は、ラベルノイズを敵対的脆弱性の原因の1つとみなしている。
  論文  参考訳（メタデータ） (2020-07-08T11:07:10Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)
• A Bayes-Optimal View on Adversarial Examples [9.51828574518325]
  ベイズ最適分類の観点から, 対立例を考察する。 これらの「金の標準」最適分類器が堅牢である場合でも、同じデータセットでトレーニングされたCNNは、常に脆弱な分類器を学習する。
  論文  参考訳（メタデータ） (2020-02-20T16:43:47Z)
• Generating Natural Adversarial Hyperspectral examples with a modified Wasserstein GAN [0.0]
  本稿では,第2パラダイムに従う真のデータから,自然な逆例を生成できる新しい手法を提案する。 リモートセンシングデータセット上で逆スペクトル超スペクトルシグネチャを生成することによって,本手法の概念実証を行う。
  論文  参考訳（メタデータ） (2020-01-27T07:32:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。