論文の概要: Precise Tradeoffs in Adversarial Training for Linear Regression

• arxiv url: http://arxiv.org/abs/2002.10477v1
• Date: Mon, 24 Feb 2020 19:01:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 03:38:29.051795
• Title: Precise Tradeoffs in Adversarial Training for Linear Regression
• Title（参考訳）: 線形回帰訓練における高精度トレードオフ
• Authors: Adel Javanmard, Mahdi Soltanolkotabi and Hamed Hassani
• Abstract要約: 本稿では,ガウス的特徴を伴う線形回帰の文脈における対人訓練の役割を,正確かつ包括的に理解する。 我々は,同時代のミニマックス対逆訓練手法によって達成された標準/ロバスト精度とそれに対応するトレードオフを正確に特徴づける。 逆行訓練アルゴリズムの理論は、様々な要因(トレーニングデータのサイズや品質、モデルの過度化など)がこれらの2つの競合するアキュラシー間のトレードオフにどのように影響するかを厳密に研究する上で役立ちます。
• 参考スコア（独自算出の注目度）: 55.764306209771405
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite breakthrough performance, modern learning models are known to be highly vulnerable to small adversarial perturbations in their inputs. While a wide variety of recent \emph{adversarial training} methods have been effective at improving robustness to perturbed inputs (robust accuracy), often this benefit is accompanied by a decrease in accuracy on benign inputs (standard accuracy), leading to a tradeoff between often competing objectives. Complicating matters further, recent empirical evidence suggest that a variety of other factors (size and quality of training data, model size, etc.) affect this tradeoff in somewhat surprising ways. In this paper we provide a precise and comprehensive understanding of the role of adversarial training in the context of linear regression with Gaussian features. In particular, we characterize the fundamental tradeoff between the accuracies achievable by any algorithm regardless of computational power or size of the training data. Furthermore, we precisely characterize the standard/robust accuracy and the corresponding tradeoff achieved by a contemporary mini-max adversarial training approach in a high-dimensional regime where the number of data points and the parameters of the model grow in proportion to each other. Our theory for adversarial training algorithms also facilitates the rigorous study of how a variety of factors (size and quality of training data, model overparametrization etc.) affect the tradeoff between these two competing accuracies.
• Abstract（参考訳）: ブレークスルーのパフォーマンスにもかかわらず、現代の学習モデルは、入力における小さな敵対的摂動に対して非常に脆弱であることが知られている。 近年のemph{adversarial training}法は、摂動入力に対する堅牢性を改善するために有効であるが(ロバスト精度)、しばしばこの利点は良性入力に対する精度の低下(標準精度)を伴い、しばしば競合する目的間のトレードオフをもたらす。 さらに、最近の実証的証拠は、他の様々な要因(トレーニングデータのサイズや品質、モデルサイズなど)がこのトレードオフに多少驚くべき影響を及ぼすことを示唆している。 本稿では,ガウス的特徴を伴う線形回帰の文脈における対人訓練の役割について,正確かつ包括的に理解する。 特に,計算能力やトレーニングデータのサイズに関わらず,任意のアルゴリズムで達成可能な精度の基本的なトレードオフを特徴付ける。 さらに,データ点数とモデルのパラメータが互いに比例して増加する高次元状態において,同時代のミニマックス対逆トレーニング手法によって達成される標準/ロバスト精度とそれに対応するトレードオフを正確に特徴付ける。 逆行訓練アルゴリズムの理論は、様々な要因(トレーニングデータのサイズや品質、モデルの過度化など)がこれらの2つの競合するアキュラシー間のトレードオフにどのように影響するかを厳密に研究する上で役立ちます。

関連論文リスト

• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• A Comprehensive Study on Robustness of Image Classification Models: Benchmarking and Rethinking [54.89987482509155]
  ディープニューラルネットワークのロバスト性は、通常、敵の例、共通の腐敗、分散シフトに欠けている。 画像分類タスクにおいてtextbfARES-Bench と呼ばれる総合的なベンチマークロバスト性を確立する。 それに応じてトレーニング設定を設計することにより、新しい最先端の対人ロバスト性を実現する。
  論文  参考訳（メタデータ） (2023-02-28T04:26:20Z)
• Learning Sample Reweighting for Accuracy and Adversarial Robustness [15.591611864928659]
  本稿では,クラス条件付きマージンの概念に基づいて,個々のトレーニングサンプルによる損失の軽減を学習する,新たな逆トレーニングフレームワークを提案する。 我々の手法は、関連する手法や最先端のベースラインと比較して、クリーンかつ堅牢な精度を一貫して改善する。
  論文  参考訳（メタデータ） (2022-10-20T18:25:11Z)
• Improving robustness of jet tagging algorithms with adversarial training [56.79800815519762]
  本研究では,フレーバータグ付けアルゴリズムの脆弱性について,敵攻撃による検証を行った。 シミュレーション攻撃の影響を緩和する対人訓練戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-25T19:57:19Z)
• Asymptotic Behavior of Adversarial Training in Binary Classification [41.7567932118769]
  敵の訓練は、敵の攻撃に対する防衛の最先端の方法と考えられている。 実際に成功したにもかかわらず、敵の訓練のパフォーマンスを理解する上でのいくつかの問題は未解決のままである。 2進分類における対角訓練の最小化のための正確な理論的予測を導出する。
  論文  参考訳（メタデータ） (2020-10-26T01:44:20Z)
• Precise Statistical Analysis of Classification Accuracies for Adversarial Training [43.25761725062367]
  この問題を治療するために、近年、様々な敵の訓練手順が提案されている。 我々は,逆向きに訓練されたミニマックスモデルの標準とロバストな精度を正確に評価する。
  論文  参考訳（メタデータ） (2020-10-21T18:00:53Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• On the Generalization Properties of Adversarial Training [21.79888306754263]
  本稿では,汎用的対数学習アルゴリズムの一般化性能について検討する。 滑らかさとL1のペナル化がモデルの対向的堅牢性をどのように改善するかを示すために、一連の数値的研究が行われた。
  論文  参考訳（メタデータ） (2020-08-15T02:32:09Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。