論文の概要: How benign is benign overfitting?

• arxiv url: http://arxiv.org/abs/2007.04028v1
• Date: Wed, 8 Jul 2020 11:07:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 10:12:02.327341
• Title: How benign is benign overfitting?
• Title（参考訳）: 良性はどんなに良性に満ちているか?
• Authors: Amartya Sanyal, Puneet K Dokania, Varun Kanade, Philip H.S. Torr
• Abstract要約: 深層ニューラルネットワークにおける敵対的脆弱性の2つの原因について検討する。 ディープニューラルネットワークは基本的にラベルノイズがある場合でも、トレーニングエラーをゼロにする。 我々は、ラベルノイズを敵対的脆弱性の原因の1つとみなしている。
• 参考スコア（独自算出の注目度）: 96.07549886487526
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate two causes for adversarial vulnerability in deep neural networks: bad data and (poorly) trained models. When trained with SGD, deep neural networks essentially achieve zero training error, even in the presence of label noise, while also exhibiting good generalization on natural test data, something referred to as benign overfitting [2, 10]. However, these models are vulnerable to adversarial attacks. We identify label noise as one of the causes for adversarial vulnerability, and provide theoretical and empirical evidence in support of this. Surprisingly, we find several instances of label noise in datasets such as MNIST and CIFAR, and that robustly trained models incur training error on some of these, i.e. they don't fit the noise. However, removing noisy labels alone does not suffice to achieve adversarial robustness. Standard training procedures bias neural networks towards learning "simple" classification boundaries, which may be less robust than more complex ones. We observe that adversarial training does produce more complex decision boundaries. We conjecture that in part the need for complex decision boundaries arises from sub-optimal representation learning. By means of simple toy examples, we show theoretically how the choice of representation can drastically affect adversarial robustness.
• Abstract（参考訳）: 深層ニューラルネットワークにおける敵意的脆弱性の原因として,悪いデータと(おそらく)訓練されたモデルについて検討する。 sgdでトレーニングすると、深層ニューラルネットワークはラベルノイズの存在下でも、基本的にトレーニングエラーをゼロにすると同時に、良性オーバーフィット(benign overfitting)と呼ばれる自然テストデータに対して優れた一般化を示す。 しかし、これらのモデルは敵の攻撃に弱い。 我々は,ラベルノイズを敵の脆弱性の原因の一つとみなし,これを支持する理論的・実証的な証拠を提供する。 驚くべきことに、MNISTやCIFARといったデータセットでラベルノイズのいくつかの例が見つかり、堅牢にトレーニングされたモデルがこれらのいくつかでトレーニングエラーを引き起こしている。 しかし、ノイズの多いラベルを除去するだけでは、敵の堅牢性を達成できない。 標準的なトレーニング手順は、ニューラルネットワークを"単純な"分類境界の学習に偏らせる。 敵の訓練がより複雑な決定境界を生み出すことを観察する。 複雑な決定境界の必要性の一部は、準最適表現学習から生じると推測する。 単純な玩具の例を用いて、表現の選択が敵の強靭性に大きな影響を与えるか理論的に示す。

関連論文リスト

• Theoretical Understanding of Learning from Adversarial Perturbations [30.759348459463467]
  敵の例がなぜニューラルネットワークを騙し、異なるネットワーク間で転送できるのかは、完全には理解されていない。 本研究では,一層ネットワークを用いた摂動からの学習の理論的枠組みを提案する。 以上の結果から,数ピクセルの摂動を含む様々な対向的摂動は,一般化に十分なクラス特徴を含むことが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-16T06:22:44Z)
• F$^2$AT: Feature-Focusing Adversarial Training via Disentanglement of Natural and Perturbed Patterns [74.03108122774098]
  ディープニューラルネットワーク(DNN)は、よく設計された摂動によって構築された敵の例に対して脆弱である。 これは、自動運転車、監視セキュリティ、医療診断などの重要な応用について、悲惨な結果をもたらす可能性がある。 本稿では,自然パターンから中心となる特徴に焦点を合わせ,モデルに焦点をあてる機能集中型適応訓練(F$2$AT)を提案する。
  論文  参考訳（メタデータ） (2023-10-23T04:31:42Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Adversarial Noises Are Linearly Separable for (Nearly) Random Neural Networks [46.13404040937189]
  通常、特定のモデルを持つ特定の入力に対して生成される逆例は、ニューラルネットワークにとってユビキタスである。 本稿では,一段法で構築した逆方向雑音が対応するラベルを装着した場合に線形分離可能であるという,逆方向雑音の驚くべき特性を明らかにする。
  論文  参考訳（メタデータ） (2022-06-09T07:26:46Z)
• Robust Training under Label Noise by Over-parameterization [41.03008228953627]
  本稿では,トレーニングラベルの比率が低下した分類タスクにおいて,過パラメータ化深層ネットワークの堅牢なトレーニングを行うための原則的手法を提案する。 ラベルノイズはクリーンデータから学んだネットワークと疎結合なので、ノイズをモデル化してデータから分離することを学びます。 注目すべきは、このような単純な手法を用いて訓練を行う場合、様々な実データに対してラベルノイズに対する最先端のテスト精度を示すことである。
  論文  参考訳（メタデータ） (2022-02-28T18:50:10Z)
• Benign Overfitting in Adversarially Robust Linear Classification [91.42259226639837]
  分類器がノイズの多いトレーニングデータを記憶しながらも、優れた一般化性能を達成している「双曲オーバーフィッティング」は、機械学習コミュニティにおいて大きな注目を集めている。 本研究は, 対人訓練において, 対人訓練において, 良心過剰が実際に発生することを示し, 対人訓練に対する防御の原則的アプローチを示す。
  論文  参考訳（メタデータ） (2021-12-31T00:27:31Z)
• A Good Representation Detects Noisy Labels [9.4092903583089]
  ラベルノイズは、誤った相関パターンを符号化し、ディープニューラルネットワーク(DNN)の一般化を損なう現実世界のデータセットに広まる 本稿では,ノイズラベルを検出するために,普遍的に適用可能なトレーニング不要なソリューションを提案する。 合成および実世界のラベルノイズによる実験は、トレーニングなしのソリューションがトレーニングベースのデータセットの大部分よりも大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2021-10-12T19:10:30Z)
• Property-driven Training: All You (N)Ever Wanted to Know About [0.0]
  ニューラルネットワークは、ノイズデータ中の一般的なパターンを検出する能力で知られている。 これにより、複雑なAIシステムにおける知覚コンポーネントの一般的なツールとなる。 敵対的なトレーニング、データ拡張、およびLipschitz堅牢性トレーニングは、堅牢性を改善する手段として提案されています。
  論文  参考訳（メタデータ） (2021-04-03T13:06:06Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
  既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。 本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。 ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-13T08:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。