論文の概要: Understanding and Mitigating the Tradeoff Between Robustness and Accuracy

• arxiv url: http://arxiv.org/abs/2002.10716v2
• Date: Mon, 6 Jul 2020 21:03:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 20:43:02.552327
• Title: Understanding and Mitigating the Tradeoff Between Robustness and Accuracy
• Title（参考訳）: ロバストさと正確さのトレードオフを理解する
• Authors: Aditi Raghunathan, Sang Michael Xie, Fanny Yang, John Duchi and Percy Liang
• Abstract要約: 逆行訓練は、堅牢なエラーを改善するために、摂動でトレーニングセットを増強する。 拡張摂動が最適線形予測器からノイズのない観測を行う場合であっても,標準誤差は増大する可能性がある。
• 参考スコア（独自算出の注目度）: 88.51943635427709
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training augments the training set with perturbations to improve the robust error (over worst-case perturbations), but it often leads to an increase in the standard error (on unperturbed test inputs). Previous explanations for this tradeoff rely on the assumption that no predictor in the hypothesis class has low standard and robust error. In this work, we precisely characterize the effect of augmentation on the standard error in linear regression when the optimal linear predictor has zero standard and robust error. In particular, we show that the standard error could increase even when the augmented perturbations have noiseless observations from the optimal linear predictor. We then prove that the recently proposed robust self-training (RST) estimator improves robust error without sacrificing standard error for noiseless linear regression. Empirically, for neural networks, we find that RST with different adversarial training methods improves both standard and robust error for random and adversarial rotations and adversarial $\ell_\infty$ perturbations in CIFAR-10.
• Abstract（参考訳）: 逆行訓練は、堅牢なエラー(最悪の場合の摂動)を改善するために摂動でトレーニングセットを増強するが、しばしば標準エラー(摂動テスト入力の場合)の増加につながる。 このトレードオフの以前の説明は、仮説クラスの予測子に標準が低く、堅牢な誤りがないという仮定に依存している。 本研究では,線形回帰における標準誤差に対する加重の影響を,最適線形予測器の標準誤差およびロバスト誤差がゼロである場合に正確に特徴付ける。 特に,拡張摂動が最適線形予測器からノイズのない観測を行う場合においても,標準誤差が増加することを示した。 その結果、最近提案されたロバスト自己学習(rst)推定器は、ノイズレス線形回帰の標準誤差を犠牲にすることなくロバスト誤りを改善できることが証明された。 実験的に、ニューラルネットワークの場合、異なる対位法を持つRTTは、ランダム回転と逆回転の標準誤差とロバスト誤差の両方を改善し、CIFAR-10の対位法$\ell_\infty$摂動を改善する。

関連論文リスト

• Rethinking Early Stopping: Refine, Then Calibrate [49.966899634962374]
  校正誤差と校正誤差は,訓練中に同時に最小化されないことを示す。 我々は,早期停止とハイパーパラメータチューニングのための新しい指標を導入し,トレーニング中の改善誤差を最小限に抑える。 本手法は,任意のアーキテクチャとシームレスに統合し,多様な分類タスクにおける性能を継続的に向上する。
  論文  参考訳（メタデータ） (2025-01-31T15:03:54Z)
• Enhancing Robust Fairness via Confusional Spectral Regularization [6.041034366572273]
  PAC-Bayesian フレームワーク内の最悪のクラスにおけるロバストなエラーに対して、ロバストな一般化を導出する。 本稿では,最低級のロバストな精度を向上し,ロバストな公正性を向上する新たな正則化手法を提案する。
  論文  参考訳（メタデータ） (2025-01-22T23:32:19Z)
• Non-Asymptotic Uncertainty Quantification in High-Dimensional Learning [5.318766629972959]
  不確かさの定量化は多くの高次元回帰や学習問題において決定的だが難しい課題である。 我々は、古典的回帰アプローチとニューラルネットワークの両方に適用可能な、回帰におけるUQのための新しいデータ駆動アプローチを開発した。
  論文  参考訳（メタデータ） (2024-07-18T16:42:10Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• Optimization Variance: Exploring Generalization Properties of DNNs [83.78477167211315]
  ディープニューラルネットワーク(DNN)のテストエラーは、しばしば二重降下を示す。 そこで本研究では,モデル更新の多様性を測定するために,新しい測度である最適化分散(OV)を提案する。
  論文  参考訳（メタデータ） (2021-06-03T09:34:17Z)
• Precise Statistical Analysis of Classification Accuracies for Adversarial Training [43.25761725062367]
  この問題を治療するために、近年、様々な敵の訓練手順が提案されている。 我々は,逆向きに訓練されたミニマックスモデルの標準とロバストな精度を正確に評価する。
  論文  参考訳（メタデータ） (2020-10-21T18:00:53Z)
• Discriminative Jackknife: Quantifying Uncertainty in Deep Learning via Higher-Order Influence Functions [121.10450359856242]
  我々は、モデル損失関数の影響関数を利用して、予測信頼区間のジャックニフェ(または、アウト・ワン・アウト)推定器を構築する頻繁な手順を開発する。 1)および(2)を満たすDJは、幅広いディープラーニングモデルに適用可能であり、実装が容易であり、モデルトレーニングに干渉したり、精度を妥協したりすることなく、ポストホックな方法で適用することができる。
  論文  参考訳（メタデータ） (2020-06-29T13:36:52Z)
• Calibrated Reliable Regression using Maximum Mean Discrepancy [45.45024203912822]
  現代のディープニューラルネットワークは依然として信頼できない予測の不確実性を生んでいる。 本稿では、回帰タスクにおいて、よく校正された予測を得ることを懸念する。 非自明な実データセットに対する実験により,本手法は高い校正と鋭い予測間隔を生成できることが示された。
  論文  参考訳（メタデータ） (2020-06-18T03:38:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。