論文の概要: Benign Overfitting in Adversarially Robust Linear Classification

• arxiv url: http://arxiv.org/abs/2112.15250v1
• Date: Fri, 31 Dec 2021 00:27:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-03 14:10:16.478760
• Title: Benign Overfitting in Adversarially Robust Linear Classification
• Title（参考訳）: 逆ロバスト線形分類におけるベニグオーバーフィッティング
• Authors: Jinghui Chen and Yuan Cao and Quanquan Gu
• Abstract要約: 分類器がノイズの多いトレーニングデータを記憶しながらも、優れた一般化性能を達成している「双曲オーバーフィッティング」は、機械学習コミュニティにおいて大きな注目を集めている。 本研究は, 対人訓練において, 対人訓練において, 良心過剰が実際に発生することを示し, 対人訓練に対する防御の原則的アプローチを示す。
• 参考スコア（独自算出の注目度）: 91.42259226639837
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: "Benign overfitting", where classifiers memorize noisy training data yet still achieve a good generalization performance, has drawn great attention in the machine learning community. To explain this surprising phenomenon, a series of works have provided theoretical justification in over-parameterized linear regression, classification, and kernel methods. However, it is not clear if benign overfitting still occurs in the presence of adversarial examples, i.e., examples with tiny and intentional perturbations to fool the classifiers. In this paper, we show that benign overfitting indeed occurs in adversarial training, a principled approach to defend against adversarial examples. In detail, we prove the risk bounds of the adversarially trained linear classifier on the mixture of sub-Gaussian data under $\ell_p$ adversarial perturbations. Our result suggests that under moderate perturbations, adversarially trained linear classifiers can achieve the near-optimal standard and adversarial risks, despite overfitting the noisy training data. Numerical experiments validate our theoretical findings.
• Abstract（参考訳）: 分類器がうるさいトレーニングデータを記憶しながらも優れた一般化性能を発揮できる「良質な過剰フィッティング」は、機械学習コミュニティに大きな注目を集めている。 この驚くべき現象を説明するために、一連の研究は過度にパラメータ化された線形回帰、分類、およびカーネル法の理論的な正当化を提供した。 しかし、敵の例、すなわち分類器を騙すために、小さく意図的な摂動がある例の存在下で、良質な過剰フィッティングがいまだに起こるかどうかは明らかではない。 本報告では, 敵の事例を防御するための原則的アプローチである敵の訓練において, 良性過剰フィッティングが実際に発生することを示す。 具体的には、$\ell_p$ の逆摂動の下でのサブガウスデータの混合上で、逆訓練された線形分類器のリスク境界を証明する。 以上の結果から,中等度摂動下では,雑音の多い学習データに過度に適合するにもかかわらず,線形分類器は準最適基準と逆のリスクを達成できる可能性が示唆された。 数値実験は我々の理論的な結果を検証する。

関連論文リスト

• Generalization Properties of Adversarial Training for $\ell_0$-Bounded Adversarial Attacks [47.22918498465056]
  本稿では,ニューラルネットワークの重要なクラスに対する対人訓練の性能を理論的に特徴付けることを目的とする。 この設定での一般化の導出には2つの大きな課題がある。
  論文  参考訳（メタデータ） (2024-02-05T22:57:33Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• How adversarial attacks can disrupt seemingly stable accurate classifiers [76.95145661711514]
  敵攻撃は、入力データに不連続な修正を加えることで、非正確な学習システムの出力を劇的に変化させる。 ここでは,これは高次元入力データを扱う分類器の基本的特徴であると考えられる。 実用システムで観測される重要な振る舞いを高い確率で発生させる、単純で汎用的なフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-09-07T12:02:00Z)
• Understanding Noise-Augmented Training for Randomized Smoothing [14.061680807550722]
  ランダムスムーシング(Randomized smoothing)は、敵攻撃に対する証明可能な堅牢性を保証する技術である。 より強い分布仮定を作らずに、雑音増強の訓練を受けた予測者から利益を期待できないことを示す。 本分析は, ランダム化平滑化の実践的展開に直接的な意味を持つ。
  論文  参考訳（メタデータ） (2023-05-08T14:46:34Z)
• Classification and Adversarial examples in an Overparameterized Linear Model: A Signal Processing Perspective [10.515544361834241]
  最先端のディープラーニング分類器は、無限の逆境摂動に非常に敏感である。 学習されたモデルは、分類が一般化するが回帰はしない中間体制の敵に感受性がある。 敵対的感受性にもかかわらず、これらの特徴による分類は、より一般的に研究されている「非依存的特徴」モデルよりも容易である。
  論文  参考訳（メタデータ） (2021-09-27T17:35:42Z)
• RATT: Leveraging Unlabeled Data to Guarantee Generalization [96.08979093738024]
  ラベルのないデータを利用して一般化境界を生成する手法を紹介します。 境界が0-1経験的リスク最小化に有効であることを証明します。 この作業は、見えないラベル付きデータが利用できない場合でも、ディープネットの一般化を証明するためのオプションを実践者に提供します。
  論文  参考訳（メタデータ） (2021-05-01T17:05:29Z)
• Risk Bounds for Over-parameterized Maximum Margin Classification on Sub-Gaussian Mixtures [100.55816326422773]
  線形分類問題に対する最大マージン分類器の現象について検討する。 その結果、良性的なオーバーフィットが起きる条件を正確に特徴づけます。
  論文  参考訳（メタデータ） (2021-04-28T08:25:16Z)
• Asymptotic Behavior of Adversarial Training in Binary Classification [41.7567932118769]
  敵の訓練は、敵の攻撃に対する防衛の最先端の方法と考えられている。 実際に成功したにもかかわらず、敵の訓練のパフォーマンスを理解する上でのいくつかの問題は未解決のままである。 2進分類における対角訓練の最小化のための正確な理論的予測を導出する。
  論文  参考訳（メタデータ） (2020-10-26T01:44:20Z)
• ATRO: Adversarial Training with a Rejection Option [10.36668157679368]
  本稿では, 逆例による性能劣化を軽減するために, 拒否オプション付き分類フレームワークを提案する。 分類器と拒否関数を同時に適用することにより、テストデータポイントの分類に自信が不十分な場合に分類を控えることができる。
  論文  参考訳（メタデータ） (2020-10-24T14:05:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。