論文の概要: Robustness and Accuracy Could Be Reconcilable by (Proper) Definition

• arxiv url: http://arxiv.org/abs/2202.10103v1
• Date: Mon, 21 Feb 2022 10:36:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-23 08:51:03.824541
• Title: Robustness and Accuracy Could Be Reconcilable by (Proper) Definition
• Title（参考訳）: ロバスト性と正確性は(適切な)定義で再確認可能である
• Authors: Tianyu Pang, Min Lin, Xiao Yang, Jun Zhu, Shuicheng Yan
• Abstract要約: 強靭性と精度のトレードオフは、敵文学において広く研究されている。 局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。 定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
• 参考スコア（独自算出の注目度）: 109.62614226793833
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The trade-off between robustness and accuracy has been widely studied in the adversarial literature. Although still controversial, the prevailing view is that this trade-off is inherent, either empirically or theoretically. Thus, we dig for the origin of this trade-off in adversarial training and find that it may stem from the improperly defined robust error, which imposes an inductive bias of local invariance -- an overcorrection towards smoothness. Given this, we advocate employing local equivariance to describe the ideal behavior of a robust model, leading to a self-consistent robust error named SCORE. By definition, SCORE facilitates the reconciliation between robustness and accuracy, while still handling the worst-case uncertainty via robust optimization. By simply substituting KL divergence with variants of distance metrics, SCORE can be efficiently minimized. Empirically, our models achieve top-rank performance on RobustBench under AutoAttack. Besides, SCORE provides instructive insights for explaining the overfitting phenomenon and semantic input gradients observed on robust models.
• Abstract（参考訳）: 強靭性と精度のトレードオフは、敵文学において広く研究されている。 いまだに議論の余地はあるものの、このトレードオフは経験的または理論的に固有のものであるという見解が有力である。 このように、敵の訓練におけるこのトレードオフの起源を掘り下げ、それが不適切に定義された堅牢なエラーに起因し、局所的不変性の帰納的バイアス、すなわち滑らかさに対する過度な補正を課すことを発見した。 これを踏まえ、ロバストモデルの理想的な振る舞いを記述するために局所同値を用いることを提唱し、SCORE という自己整合ロバスト誤差を生じる。 定義上、SCOREはロバスト性と精度の整合を促進しつつ、ロバスト最適化による最悪の不確実性を扱う。 KL分散を距離メトリクスの変種に置き換えることによって、SCOREは効率よく最小化できる。 経験的に、私たちのモデルはAutoAttackの下でRobostBench上でトップランクのパフォーマンスを実現しています。 さらにSCOREは、頑健なモデルで観測された過剰適合現象と意味的な入力勾配を説明するためのインストラクティブな洞察を提供する。

関連論文リスト

• Generalized Gaussian Temporal Difference Error for Uncertainty-aware Reinforcement Learning [0.19418036471925312]
  深部強化学習における一般化されたガウス誤差モデリングのための新しい枠組みを提案する。 我々のフレームワークは、高次モーメント、特にカルトーシスを付加することにより、エラー分散モデリングの柔軟性を向上させる。
  論文  参考訳（メタデータ） (2024-08-05T08:12:25Z)
• Regulating Model Reliance on Non-Robust Features by Smoothing Input Marginal Density [93.32594873253534]
  信頼できる機械学習は、非ロバストな特徴に依存するモデルの厳密な規制を必要とする。 本稿では,モデル予測を入力に関連付けることによって,そのような特徴を記述・規制するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-05T09:16:56Z)
• Extreme Miscalibration and the Illusion of Adversarial Robustness [66.29268991629085]
  敵の訓練は、しばしばモデルの堅牢性を高めるために使用される。 我々は、この観測されたロバストネスの利得はロバストネスの錯覚(IOR)であることを示した。 我々は,NLPコミュニティに対して,試験時間温度のスケーリングを堅牢性評価に組み込むよう促す。
  論文  参考訳（メタデータ） (2024-02-27T13:49:12Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Distributional Shift-Aware Off-Policy Interval Estimation: A Unified Error Quantification Framework [8.572441599469597]
  本研究では、無限水平マルコフ決定過程の文脈における高信頼オフ政治評価について検討する。 目的は、未知の行動ポリシーから事前に収集されたオフラインデータのみを用いて、対象の政策値に対する信頼区間(CI)を確立することである。 提案アルゴリズムは, 非線形関数近似設定においても, サンプル効率, 誤差ローバスト, 既知収束性を示す。
  論文  参考訳（メタデータ） (2023-09-23T06:35:44Z)
• Understanding the Impact of Adversarial Robustness on Accuracy Disparity [18.643495650734398]
  対向ロバスト性の影響を2つの部分に分解する: 頑健性制約により全てのクラスで標準精度を低下させる固有の効果と、クラス不均衡比によって引き起こされる影響である。 以上の結果から,実世界のデータセットよりも非線形モデルに拡張できる可能性が示唆された。
  論文  参考訳（メタデータ） (2022-11-28T20:46:51Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Differentially Private Adversarial Robustness Through Randomized Perturbations [16.187650541902283]
  ディープニューラルネットワークは、正しく分類された例に対する小さな摂動に確実に敏感であり、誤った予測につながる。 本稿では,ランダムな摂動による対向ロバスト性について検討する。 提案手法は,ガムベル雑音に基づく新しい密度ベース機構を用いる。
  論文  参考訳（メタデータ） (2020-09-27T00:58:32Z)
• Improving Calibration through the Relationship with Adversarial Robustness [19.384119330332446]
  対向ロバスト性とキャリブレーションの関係について検討する。 逆ロバスト性に基づく適応ラベリング(AR-AdaLS)を提案する。 本手法は,分布シフト下においても,分布内データの対角的ロバスト性を考慮し,モデルに対するキャリブレーションが向上することを見出した。
  論文  参考訳（メタデータ） (2020-06-29T20:56:33Z)
• Consistency Regularization for Certified Robustness of Smoothed Classifiers [89.72878906950208]
  最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。 その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
  論文  参考訳（メタデータ） (2020-06-07T06:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。