論文の概要: More Data Can Expand the Generalization Gap Between Adversarially Robust and Standard Models

• arxiv url: http://arxiv.org/abs/2002.04725v3
• Date: Sat, 15 Aug 2020 23:36:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 01:36:28.239585
• Title: More Data Can Expand the Generalization Gap Between Adversarially Robust and Standard Models
• Title（参考訳）: 逆ロバストモデルと標準モデルの間の一般化ギャップを拡大するデータ
• Authors: Lin Chen, Yifei Min, Mingrui Zhang, Amin Karbasi
• Abstract要約: 現代の機械学習モデルは、人間がデータを認識できないような敵の攻撃を受けやすいが、重大かつ潜在的に危険な予測エラーをもたらす。 この問題に対処するために、実践者は、しばしば、非摂動テストセットに対する一般化エラーの増大を犠牲にして、そのような攻撃に対して堅牢なモデルを学ぶために、敵のトレーニングを使用する。 我々は、$ell_infty$攻撃の下でガウスモデルとベルヌーイモデルの両方の堅牢な分類器の訓練について検討し、より多くのデータが実際にこのギャップを増大させることを証明した。
• 参考スコア（独自算出の注目度）: 37.85664398110855
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite remarkable success in practice, modern machine learning models have been found to be susceptible to adversarial attacks that make human-imperceptible perturbations to the data, but result in serious and potentially dangerous prediction errors. To address this issue, practitioners often use adversarial training to learn models that are robust against such attacks at the cost of higher generalization error on unperturbed test sets. The conventional wisdom is that more training data should shrink the gap between the generalization error of adversarially-trained models and standard models. However, we study the training of robust classifiers for both Gaussian and Bernoulli models under $\ell_\infty$ attacks, and we prove that more data may actually increase this gap. Furthermore, our theoretical results identify if and when additional data will finally begin to shrink the gap. Lastly, we experimentally demonstrate that our results also hold for linear regression models, which may indicate that this phenomenon occurs more broadly.
• Abstract（参考訳）: 実際に顕著な成功を収めたにもかかわらず、現代の機械学習モデルは、人間に知覚できない摂動をもたらす敵の攻撃の影響を受けやすいが、重大かつ潜在的に危険な予測エラーをもたらすことが判明した。 この問題に対処するために、実践者はしばしば、非摂動テストセットの一般化エラーを犠牲にして、そのような攻撃に対して頑健なモデルを学ぶために、敵対的なトレーニングを使う。 従来の知恵では、より多くのトレーニングデータにより、逆学習モデルと標準モデルの一般化誤差のギャップを縮めるべきである。 しかし、ガウスモデルとベルヌーイモデルのロバストな分類器の訓練を$\ell_\infty$攻撃で検討し、より多くのデータが実際にこのギャップを増加させる可能性があることを証明した。 さらに、我々の理論的結果は、追加データが最終的にギャップを縮めるようになるかどうかを特定できる。 最後に,この現象がより広く起こることを示す線形回帰モデルについても実験的に検証した。

関連論文リスト

• Overparameterized Linear Regression under Adversarial Attacks [0.0]
  敵攻撃時の線形回帰の誤差について検討した。 線形モデルに機能を追加することは、さらなる堅牢性や脆性の原因になる可能性がある。
  論文  参考訳（メタデータ） (2022-04-13T09:50:41Z)
• Parameters or Privacy: A Provable Tradeoff Between Overparameterization and Membership Inference [29.743945643424553]
  オーバーパラメータ化モデルは、トレーニングデータ(トレーニングデータではゼロエラー)を記憶するように訓練された場合でも、うまく(テストデータでは小さなエラー)一般化する。 このことが、パラメータ化されたモデル(例えばディープラーニング)をますます超越する武器競争に繋がった。
  論文  参考訳（メタデータ） (2022-02-02T19:00:21Z)
• On the Impact of Hard Adversarial Instances on Overfitting in Adversarial Training [70.82725772926949]
  敵の訓練は、敵の攻撃に対してモデルを強固にするための一般的な方法である。 本研究では,この現象をトレーニングインスタンスの観点から検討する。 逆行訓練における一般化性能の低下は、ハード・逆行例に適合した結果であることを示す。
  論文  参考訳（メタデータ） (2021-12-14T12:19:24Z)
• Universal Adversarial Attack on Deep Learning Based Prognostics [0.0]
  本稿では,不当な回帰に基づくRUL予測モデルに対する特別な知覚不可能な雑音である,普遍的対向摂動の概念を提案する。 入力データの任意のインスタンスに普遍的逆摂動を加えると、モデルが予測した出力の誤差が増加することを示す。 さらに, 摂動強度の変動がRUL予測モデルに与える影響を実証し, 摂動強度の増加に伴いモデル精度が低下することを示した。
  論文  参考訳（メタデータ） (2021-09-15T08:05:16Z)
• On the Efficacy of Adversarial Data Collection for Question Answering: Results from a Large-Scale Randomized Study [65.17429512679695]
  逆データ収集(ADC)では、人間の労働力がモデルとリアルタイムで対話し、誤った予測を誘発する例を作成しようとする。 ADCの直感的な魅力にも拘わらず、敵対的データセットのトレーニングがより堅牢なモデルを生成するかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-06-02T00:48:33Z)
• MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
  データに依存しない蒸留フレームワークであるMixKDを提案する。 妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。 限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
  論文  参考訳（メタデータ） (2020-11-01T18:47:51Z)
• Asymptotic Behavior of Adversarial Training in Binary Classification [41.7567932118769]
  敵の訓練は、敵の攻撃に対する防衛の最先端の方法と考えられている。 実際に成功したにもかかわらず、敵の訓練のパフォーマンスを理解する上でのいくつかの問題は未解決のままである。 2進分類における対角訓練の最小化のための正確な理論的予測を導出する。
  論文  参考訳（メタデータ） (2020-10-26T01:44:20Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)
• The Curious Case of Adversarially Robust Models: More Data Can Help, Double Descend, or Hurt Generalization [36.87923859576768]
  敵対的トレーニングは、入力データの摂動に頑健なモデルを作成する能力を示しているが、通常は標準精度の低下を犠牲にしている。 本稿では, 学習データの増加が, 分類問題における相対的ロバストモデルの一般化を損なうことを示す。
  論文  参考訳（メタデータ） (2020-02-25T18:25:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。