論文の概要: Precise Statistical Analysis of Classification Accuracies for
Adversarial Training
- arxiv url: http://arxiv.org/abs/2010.11213v2
- Date: Sat, 2 Apr 2022 05:39:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 23:32:33.362597
- Title: Precise Statistical Analysis of Classification Accuracies for
Adversarial Training
- Title（参考訳）: 対人訓練における分類能力の精密統計解析
- Authors: Adel Javanmard and Mahdi Soltanolkotabi
- Abstract要約: この問題を治療するために、近年、様々な敵の訓練手順が提案されている。
我々は,逆向きに訓練されたミニマックスモデルの標準とロバストな精度を正確に評価する。
- 参考スコア（独自算出の注目度）: 43.25761725062367
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the wide empirical success of modern machine learning algorithms and
models in a multitude of applications, they are known to be highly susceptible
to seemingly small indiscernible perturbations to the input data known as
\emph{adversarial attacks}. A variety of recent adversarial training procedures
have been proposed to remedy this issue. Despite the success of such procedures
at increasing accuracy on adversarially perturbed inputs or \emph{robust
accuracy}, these techniques often reduce accuracy on natural unperturbed inputs
or \emph{standard accuracy}. Complicating matters further, the effect and trend
of adversarial training procedures on standard and robust accuracy is rather
counter intuitive and radically dependent on a variety of factors including the
perceived form of the perturbation during training, size/quality of data, model
overparameterization, etc. In this paper we focus on binary classification
problems where the data is generated according to the mixture of two Gaussians
with general anisotropic covariance matrices and derive a precise
characterization of the standard and robust accuracy for a class of minimax
adversarially trained models. We consider a general norm-based adversarial
model, where the adversary can add perturbations of bounded $\ell_p$ norm to
each input data, for an arbitrary $p\ge 1$. Our comprehensive analysis allows
us to theoretically explain several intriguing empirical phenomena and provide
a precise understanding of the role of different problem parameters on standard
and robust accuracies.
- Abstract（参考訳）: 現代の機械学習アルゴリズムとモデルが多種多様なアプリケーションで広く成功したにもかかわらず、これらは \emph{adversarial attack} として知られる入力データに対する、一見小さな知覚不可能な摂動に対して非常に感受性が高いことが知られている。
この問題を解決するために、近年の様々な敵の訓練手順が提案されている。
このような手法は、逆摂動入力や \emph{robust accuracy} の精度向上に成功しているにもかかわらず、自然摂動入力や \emph{standard accuracy} の精度を低下させることが多い。
さらに複雑な問題として、標準的かつ堅牢な精度に対する敵の訓練手順の効果と傾向は、トレーニング中の摂動の知覚形式、データのサイズ・品質、モデルの過度なパラメータ化など、様々な要因に直感的かつ根本的に依存している。
本稿では,一般の異方性共分散行列を持つ2つのガウス行列の混合に従ってデータを生成する二項分類問題に注目し,ミニマックス逆学習モデルの標準的・ロバストな精度を精度良く評価する。
我々は、任意の$p\ge 1$に対して各入力データに有界$\ell_p$ の摂動を追加することができる一般的なノルムベースの逆モデルを考える。
包括的分析により,いくつかの興味深い経験的現象を理論的に説明し,標準的かつロバストなアキュラティシーにおける異なる問題パラメータの役割を正確に理解することができる。
関連論文リスト
- On the Geometry of Regularization in Adversarial Training: High-Dimensional Asymptotics and Generalization Bounds [11.30047438005394]
本研究では, 正規化ノルム $lVert cdot rVert$ を二項分類のための高次元対角訓練の文脈で選択する方法について検討する。
我々は、摂動サイズと$lVert cdot rVert$の最適選択との関係を定量的に評価し、データ不足状態において、摂動が大きくなるにつれて、正則化のタイプが敵の訓練にとってますます重要になっていることを確認する。
論文 参考訳（メタデータ） (2024-10-21T14:53:12Z) - The Surprising Harmfulness of Benign Overfitting for Adversarial
Robustness [13.120373493503772]
根拠的真理そのものが敵の例に対して堅牢であるとしても、標準のアウト・オブ・サンプルのリスク目標の観点から見れば、明らかに過適合なモデルは良性である、という驚くべき結果が証明されます。
我々の発見は、実際に観察されたパズリング現象に関する理論的洞察を与え、真の標的関数(例えば、人間)は副次的攻撃に対して堅牢であり、一方、当初過適合のニューラルネットワークは、堅牢でないモデルに導かれる。
論文 参考訳（メタデータ） (2024-01-19T15:40:46Z) - How adversarial attacks can disrupt seemingly stable accurate classifiers [76.95145661711514]
敵攻撃は、入力データに不連続な修正を加えることで、非正確な学習システムの出力を劇的に変化させる。
ここでは,これは高次元入力データを扱う分類器の基本的特徴であると考えられる。
実用システムで観測される重要な振る舞いを高い確率で発生させる、単純で汎用的なフレームワークを導入する。
論文 参考訳（メタデータ） (2023-09-07T12:02:00Z) - The curse of overparametrization in adversarial training: Precise
analysis of robust generalization for random features regression [34.35440701530876]
逆向きに訓練されたランダムな特徴モデルでは、高い過度なパラメータ化が堅牢な一般化を損なう可能性があることを示す。
提案理論は, 強靭性に対する過度パラメータ化の非自明な効果を明らかにし, 高過度パラメータ化が強靭性一般化を損なうことを示唆している。
論文 参考訳（メタデータ） (2022-01-13T18:57:30Z) - Asymptotic Behavior of Adversarial Training in Binary Classification [41.7567932118769]
敵の訓練は、敵の攻撃に対する防衛の最先端の方法と考えられている。
実際に成功したにもかかわらず、敵の訓練のパフォーマンスを理解する上でのいくつかの問題は未解決のままである。
2進分類における対角訓練の最小化のための正確な理論的予測を導出する。
論文 参考訳（メタデータ） (2020-10-26T01:44:20Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-22T21:12:31Z) - Provable tradeoffs in adversarially robust classification [96.48180210364893]
我々は、ロバストなイソペリメトリに関する確率論の最近のブレークスルーを含む、新しいツールを開発し、活用する。
この結果から,データの不均衡時に増加する標準精度とロバスト精度の基本的なトレードオフが明らかになった。
論文 参考訳（メタデータ） (2020-06-09T09:58:19Z) - Understanding and Mitigating the Tradeoff Between Robustness and
Accuracy [88.51943635427709]
逆行訓練は、堅牢なエラーを改善するために、摂動でトレーニングセットを増強する。
拡張摂動が最適線形予測器からノイズのない観測を行う場合であっても,標準誤差は増大する可能性がある。
論文 参考訳（メタデータ） (2020-02-25T08:03:01Z) - Precise Tradeoffs in Adversarial Training for Linear Regression [55.764306209771405]
本稿では,ガウス的特徴を伴う線形回帰の文脈における対人訓練の役割を,正確かつ包括的に理解する。
我々は,同時代のミニマックス対逆訓練手法によって達成された標準/ロバスト精度とそれに対応するトレードオフを正確に特徴づける。
逆行訓練アルゴリズムの理論は、様々な要因(トレーニングデータのサイズや品質、モデルの過度化など)がこれらの2つの競合するアキュラシー間のトレードオフにどのように影響するかを厳密に研究する上で役立ちます。
論文 参考訳（メタデータ） (2020-02-24T19:01:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。