論文の概要: Fundamental Tradeoffs in Distributionally Adversarial Training
- arxiv url: http://arxiv.org/abs/2101.06309v1
- Date: Fri, 15 Jan 2021 21:59:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2021-03-28 11:22:40.484224
- Title: Fundamental Tradeoffs in Distributionally Adversarial Training
- Title（参考訳）: 分散教育における基本的トレードオフ
- Authors: Mohammad Mehrabi, Adel Javanmard, Ryan A. Rossi, Anup Rao and Tung Mai
- Abstract要約: 対向訓練は、対向的摂動に対するモデルの堅牢性を改善する最も効果的な手法の1つである。
本稿では,標準リスクと敵対リスクのトレードオフについて検討する。
標準リスクと敵リスクのトレードオフが3つの設定すべてに現れていることを示す。
- 参考スコア（独自算出の注目度）: 21.6024500220438
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial training is among the most effective techniques to improve the
robustness of models against adversarial perturbations. However, the full
effect of this approach on models is not well understood. For example, while
adversarial training can reduce the adversarial risk (prediction error against
an adversary), it sometimes increase standard risk (generalization error when
there is no adversary). Even more, such behavior is impacted by various
elements of the learning problem, including the size and quality of training
data, specific forms of adversarial perturbations in the input, model
overparameterization, and adversary's power, among others. In this paper, we
focus on \emph{distribution perturbing} adversary framework wherein the
adversary can change the test distribution within a neighborhood of the
training data distribution. The neighborhood is defined via Wasserstein
distance between distributions and the radius of the neighborhood is a measure
of adversary's manipulative power. We study the tradeoff between standard risk
and adversarial risk and derive the Pareto-optimal tradeoff, achievable over
specific classes of models, in the infinite data limit with features dimension
kept fixed. We consider three learning settings: 1) Regression with the class
of linear models; 2) Binary classification under the Gaussian mixtures data
model, with the class of linear classifiers; 3) Regression with the class of
random features model (which can be equivalently represented as two-layer
neural network with random first-layer weights). We show that a tradeoff
between standard and adversarial risk is manifested in all three settings. We
further characterize the Pareto-optimal tradeoff curves and discuss how a
variety of factors, such as features correlation, adversary's power or the
width of two-layer neural network would affect this tradeoff.
- Abstract（参考訳）: 対向訓練は、対向的摂動に対するモデルの堅牢性を改善するための最も効果的な手法の1つである。
しかし、モデルに対するこのアプローチの完全な影響はよく理解されていない。
例えば、敵意トレーニングは敵意的リスク(敵意に対する予測誤差)を低減できるが、時には標準的リスク(敵意がない場合の一般化誤差)を増加させることがある。
さらに、そのような行動は、トレーニングデータのサイズや品質、入力における特定の逆方向の摂動形態、モデルの過パラメータ化、敵の力など、学習問題の様々な要素に影響される。
本稿では, 学習データ分布の近傍におけるテスト分布を変化させることのできる, \emph{distribution perturbing} 敵フレームワークに着目した。
近傍は分布と近傍半径の間のワッサースタイン距離によって定義され、敵のマニピュレーション力の尺度である。
本研究では,標準リスクと敵的リスクのトレードオフについて検討し,特定のモデルのクラス上で達成可能なパレート最適トレードオフを,特徴次元を固定した無限のデータ制限で導出する。
1)線形モデルのクラスによる回帰、2)ガウス混合データモデルに基づく二元分類、3)ランダム特徴モデルのクラスによる回帰、3)ランダムな第1層重みを持つ2層ニューラルネットワークとして等価に表現できる)。
標準リスクと敵リスクのトレードオフが3つの設定すべてに現れていることを示す。
さらに、パレート最適トレードオフ曲線を特徴づけ、特徴相関、敵の力、二層ニューラルネットワークの幅などの様々な要因がこのトレードオフにどのように影響するかについて議論する。
関連論文リスト
- Utilizing Adversarial Examples for Bias Mitigation and Accuracy Enhancement [3.0820287240219795]
本稿では,コンピュータビジョンモデルにおけるバイアスを軽減するための新しい手法を提案する。
提案手法は,カリキュラム学習フレームワークと詳細な逆数損失を組み合わせることで,逆数例を用いてモデルを微調整する。
我々は,定性評価と定量的評価を併用し,従来の方法と比較してバイアス緩和と精度の向上を実証した。
論文 参考訳（メタデータ） (2024-04-18T00:41:32Z) - Benign Overfitting in Adversarially Robust Linear Classification [91.42259226639837]
分類器がノイズの多いトレーニングデータを記憶しながらも、優れた一般化性能を達成している「双曲オーバーフィッティング」は、機械学習コミュニティにおいて大きな注目を集めている。
本研究は, 対人訓練において, 対人訓練において, 良心過剰が実際に発生することを示し, 対人訓練に対する防御の原則的アプローチを示す。
論文 参考訳（メタデータ） (2021-12-31T00:27:31Z) - Understanding the Logit Distributions of Adversarially-Trained Deep
Neural Networks [6.439477789066243]
敵の防御は、敵の攻撃による入力摂動に不変であるように、ディープニューラルネットワークを訓練する。
敵の攻撃を緩和するためには敵の訓練が成功しているが、敵の訓練を受けた(AT)モデルと標準モデルとの行動的差異はいまだに理解されていない。
対向性学習に不可欠な3つのロジット特性を同定する。
論文 参考訳（メタデータ） (2021-08-26T19:09:15Z) - Adversarial Robustness through the Lens of Causality [105.51753064807014]
ディープニューラルネットワークの敵対的脆弱性は、機械学習において大きな注目を集めている。
我々は、因果関係を敵対的脆弱性の軽減に組み込むことを提案する。
我々の手法は、敵の脆弱性を緩和するために因果性を利用する最初の試みと見なすことができる。
論文 参考訳（メタデータ） (2021-06-11T06:55:02Z) - Attribute-Guided Adversarial Training for Robustness to Natural
Perturbations [64.35805267250682]
本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。
我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
論文 参考訳（メタデータ） (2020-12-03T10:17:30Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳（メタデータ） (2020-11-24T19:52:38Z) - Asymptotic Behavior of Adversarial Training in Binary Classification [41.7567932118769]
敵の訓練は、敵の攻撃に対する防衛の最先端の方法と考えられている。
実際に成功したにもかかわらず、敵の訓練のパフォーマンスを理解する上でのいくつかの問題は未解決のままである。
2進分類における対角訓練の最小化のための正確な理論的予測を導出する。
論文 参考訳（メタデータ） (2020-10-26T01:44:20Z) - On the Generalization Properties of Adversarial Training [21.79888306754263]
本稿では,汎用的対数学習アルゴリズムの一般化性能について検討する。
滑らかさとL1のペナル化がモデルの対向的堅牢性をどのように改善するかを示すために、一連の数値的研究が行われた。
論文 参考訳（メタデータ） (2020-08-15T02:32:09Z) - Stylized Adversarial Defense [105.88250594033053]
逆行訓練は摂動パターンを生成し、モデルを堅牢化するためのトレーニングセットにそれらを含む。
我々は、より強力な敵を作るために、機能空間から追加情報を活用することを提案する。
我々の対人訓練アプローチは、最先端の防御と比べて強い堅牢性を示している。
論文 参考訳（メタデータ） (2020-07-29T08:38:10Z) - Precise Tradeoffs in Adversarial Training for Linear Regression [55.764306209771405]
本稿では,ガウス的特徴を伴う線形回帰の文脈における対人訓練の役割を,正確かつ包括的に理解する。
我々は,同時代のミニマックス対逆訓練手法によって達成された標準/ロバスト精度とそれに対応するトレードオフを正確に特徴づける。
逆行訓練アルゴリズムの理論は、様々な要因(トレーニングデータのサイズや品質、モデルの過度化など)がこれらの2つの競合するアキュラシー間のトレードオフにどのように影響するかを厳密に研究する上で役立ちます。
論文 参考訳（メタデータ） (2020-02-24T19:01:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。