論文の概要: Understanding and Mitigating the Tradeoff Between Robustness and Accuracy

• arxiv url: http://arxiv.org/abs/2002.10716v2
• Date: Mon, 6 Jul 2020 21:03:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 20:43:02.552327
• Title: Understanding and Mitigating the Tradeoff Between Robustness and Accuracy
• Title（参考訳）: ロバストさと正確さのトレードオフを理解する
• Authors: Aditi Raghunathan, Sang Michael Xie, Fanny Yang, John Duchi and Percy Liang
• Abstract要約: 逆行訓練は、堅牢なエラーを改善するために、摂動でトレーニングセットを増強する。 拡張摂動が最適線形予測器からノイズのない観測を行う場合であっても,標準誤差は増大する可能性がある。
• 参考スコア（独自算出の注目度）: 88.51943635427709
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training augments the training set with perturbations to improve the robust error (over worst-case perturbations), but it often leads to an increase in the standard error (on unperturbed test inputs). Previous explanations for this tradeoff rely on the assumption that no predictor in the hypothesis class has low standard and robust error. In this work, we precisely characterize the effect of augmentation on the standard error in linear regression when the optimal linear predictor has zero standard and robust error. In particular, we show that the standard error could increase even when the augmented perturbations have noiseless observations from the optimal linear predictor. We then prove that the recently proposed robust self-training (RST) estimator improves robust error without sacrificing standard error for noiseless linear regression. Empirically, for neural networks, we find that RST with different adversarial training methods improves both standard and robust error for random and adversarial rotations and adversarial $\ell_\infty$ perturbations in CIFAR-10.
• Abstract（参考訳）: 逆行訓練は、堅牢なエラー(最悪の場合の摂動)を改善するために摂動でトレーニングセットを増強するが、しばしば標準エラー(摂動テスト入力の場合)の増加につながる。 このトレードオフの以前の説明は、仮説クラスの予測子に標準が低く、堅牢な誤りがないという仮定に依存している。 本研究では,線形回帰における標準誤差に対する加重の影響を,最適線形予測器の標準誤差およびロバスト誤差がゼロである場合に正確に特徴付ける。 特に,拡張摂動が最適線形予測器からノイズのない観測を行う場合においても,標準誤差が増加することを示した。 その結果、最近提案されたロバスト自己学習(rst)推定器は、ノイズレス線形回帰の標準誤差を犠牲にすることなくロバスト誤りを改善できることが証明された。 実験的に、ニューラルネットワークの場合、異なる対位法を持つRTTは、ランダム回転と逆回転の標準誤差とロバスト誤差の両方を改善し、CIFAR-10の対位法$\ell_\infty$摂動を改善する。

関連論文リスト

• Generalized Gaussian Temporal Difference Error for Uncertainty-aware Reinforcement Learning [0.19418036471925312]
  深部強化学習における一般化されたガウス誤差モデリングのための新しい枠組みを提案する。 我々のフレームワークは、高次モーメント、特にカルトーシスを付加することにより、エラー分散モデリングの柔軟性を向上させる。
  論文  参考訳（メタデータ） (2024-08-05T08:12:25Z)
• Non-Asymptotic Uncertainty Quantification in High-Dimensional Learning [5.318766629972959]
  不確かさの定量化は多くの高次元回帰や学習問題において決定的だが難しい課題である。 我々は、古典的回帰アプローチとニューラルネットワークの両方に適用可能な、回帰におけるUQのための新しいデータ駆動アプローチを開発した。
  論文  参考訳（メタデータ） (2024-07-18T16:42:10Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• Optimization Variance: Exploring Generalization Properties of DNNs [83.78477167211315]
  ディープニューラルネットワーク(DNN)のテストエラーは、しばしば二重降下を示す。 そこで本研究では,モデル更新の多様性を測定するために,新しい測度である最適化分散(OV)を提案する。
  論文  参考訳（メタデータ） (2021-06-03T09:34:17Z)
• Precise Statistical Analysis of Classification Accuracies for Adversarial Training [43.25761725062367]
  この問題を治療するために、近年、様々な敵の訓練手順が提案されている。 我々は,逆向きに訓練されたミニマックスモデルの標準とロバストな精度を正確に評価する。
  論文  参考訳（メタデータ） (2020-10-21T18:00:53Z)
• Discriminative Jackknife: Quantifying Uncertainty in Deep Learning via Higher-Order Influence Functions [121.10450359856242]
  我々は、モデル損失関数の影響関数を利用して、予測信頼区間のジャックニフェ(または、アウト・ワン・アウト)推定器を構築する頻繁な手順を開発する。 1)および(2)を満たすDJは、幅広いディープラーニングモデルに適用可能であり、実装が容易であり、モデルトレーニングに干渉したり、精度を妥協したりすることなく、ポストホックな方法で適用することができる。
  論文  参考訳（メタデータ） (2020-06-29T13:36:52Z)
• Calibrated Reliable Regression using Maximum Mean Discrepancy [45.45024203912822]
  現代のディープニューラルネットワークは依然として信頼できない予測の不確実性を生んでいる。 本稿では、回帰タスクにおいて、よく校正された予測を得ることを懸念する。 非自明な実データセットに対する実験により,本手法は高い校正と鋭い予測間隔を生成できることが示された。
  論文  参考訳（メタデータ） (2020-06-18T03:38:12Z)
• Consistency Regularization for Certified Robustness of Smoothed Classifiers [89.72878906950208]
  最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。 その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
  論文  参考訳（メタデータ） (2020-06-07T06:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。