論文の概要: Theoretical Understanding of Learning from Adversarial Perturbations

• arxiv url: http://arxiv.org/abs/2402.10470v1
• Date: Fri, 16 Feb 2024 06:22:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-19 17:16:25.416039
• Title: Theoretical Understanding of Learning from Adversarial Perturbations
• Title（参考訳）: 対人摂動からの学習の理論的理解
• Authors: Soichiro Kumano, Hiroshi Kera, Toshihiko Yamasaki
• Abstract要約: 敵の例がなぜニューラルネットワークを騙し、異なるネットワーク間で転送できるのかは、完全には理解されていない。 本研究では,一層ネットワークを用いた摂動からの学習の理論的枠組みを提案する。 以上の結果から,数ピクセルの摂動を含む様々な対向的摂動は,一般化に十分なクラス特徴を含むことが明らかとなった。
• 参考スコア（独自算出の注目度）: 30.759348459463467
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: It is not fully understood why adversarial examples can deceive neural networks and transfer between different networks. To elucidate this, several studies have hypothesized that adversarial perturbations, while appearing as noises, contain class features. This is supported by empirical evidence showing that networks trained on mislabeled adversarial examples can still generalize well to correctly labeled test samples. However, a theoretical understanding of how perturbations include class features and contribute to generalization is limited. In this study, we provide a theoretical framework for understanding learning from perturbations using a one-hidden-layer network trained on mutually orthogonal samples. Our results highlight that various adversarial perturbations, even perturbations of a few pixels, contain sufficient class features for generalization. Moreover, we reveal that the decision boundary when learning from perturbations matches that from standard samples except for specific regions under mild conditions. The code is available at https://github.com/s-kumano/learning-from-adversarial-perturbations.
• Abstract（参考訳）: 敵の例がニューラルネットワークを騙し、異なるネットワーク間で転送できる理由が、完全には理解されていない。 これを明らかにするために、いくつかの研究は、逆向摂動はノイズとして現れるが、クラスの特徴を含んでいると仮定している。 これは、誤ってラベル付けされた敵の例でトレーニングされたネットワークが、正しくラベル付けされたテストサンプルにうまく一般化できることを示す実証的な証拠によって支持されている。 しかし、摂動がどのようにクラス特徴を含み、一般化に寄与するかという理論的理解は限られている。 本研究では,相互直交サンプルに基づいて学習した一層ネットワークを用いて摂動から学習する理論的枠組みを提案する。 以上の結果から,数ピクセルの摂動を含む様々な対向的摂動は,一般化に十分なクラス特徴を含むことが明らかとなった。 さらに,摂動から学習する際の決定境界が,温和な条件下での特定領域以外の標準サンプルと一致することを明らかにした。 コードはhttps://github.com/s-kumano/learning-from-adversarial-perturbationsで入手できる。

関連論文リスト

• Wide Two-Layer Networks can Learn from Adversarial Perturbations [27.368408524000778]
  摂動学習の反直感的成功を理論的に説明する。 対角摂動は、ネットワークがそれらから一般化するのに十分なクラス固有の特徴を含むことを証明している。
  論文  参考訳（メタデータ） (2024-10-31T06:55:57Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• The Missing Margin: How Sample Corruption Affects Distance to the Boundary in ANNs [2.65558931169264]
  いくつかのトレーニングサンプルは、連続的に小さなマージンでモデル化され、異なる方法での一般化に影響を及ぼすことを示す。 我々は、ノイズ崩壊MNISTデータに基づいてトレーニングされた完全接続ネットワークと、ノイズ崩壊CIFAR10データに基づいてトレーニングされた畳み込みネットワークの分析を支援した。
  論文  参考訳（メタデータ） (2023-02-14T09:25:50Z)
• Meet You Halfway: Explaining Deep Learning Mysteries [0.0]
  本稿では,ネットワークの振舞いに光を当てることを目的とした,形式的な記述を伴う新しい概念的枠組みを提案する。 なぜニューラルネットワークは一般化能力を獲得するのか? 我々は、この新しいフレームワークと基礎となる理論をサポートする包括的な実験セットを提供する。
  論文  参考訳（メタデータ） (2022-06-09T12:43:10Z)
• Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
  線形ニューラルネットワークは、サブファンクションに分割することができる。 サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。 完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
  論文  参考訳（メタデータ） (2021-06-15T18:34:41Z)
• How benign is benign overfitting? [96.07549886487526]
  深層ニューラルネットワークにおける敵対的脆弱性の2つの原因について検討する。 ディープニューラルネットワークは基本的にラベルノイズがある場合でも、トレーニングエラーをゼロにする。 我々は、ラベルノイズを敵対的脆弱性の原因の1つとみなしている。
  論文  参考訳（メタデータ） (2020-07-08T11:07:10Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)
• Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
  本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。 埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。 複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
  論文  参考訳（メタデータ） (2020-03-09T13:51:09Z)
• Analyzing the Noise Robustness of Deep Neural Networks [43.63911131982369]
  通常の例に小さいが故意に知覚できない摂動を加えることで生じる敵対的な例は、深層ニューラルネットワーク(DNN)を誤認して誤った予測をする可能性がある。 本稿では,なぜ敵対的事例が誤分類されたのかを説明するための視覚解析手法を提案する。
  論文  参考訳（メタデータ） (2020-01-26T03:39:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。