論文の概要: Improving Calibration through the Relationship with Adversarial Robustness

• arxiv url: http://arxiv.org/abs/2006.16375v2
• Date: Tue, 14 Dec 2021 07:05:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 13:54:23.886550
• Title: Improving Calibration through the Relationship with Adversarial Robustness
• Title（参考訳）: 対人ロバスト性との関連による校正の改善
• Authors: Yao Qin, Xuezhi Wang, Alex Beutel, Ed H. Chi
• Abstract要約: 対向ロバスト性とキャリブレーションの関係について検討する。 逆ロバスト性に基づく適応ラベリング(AR-AdaLS)を提案する。 本手法は,分布シフト下においても,分布内データの対角的ロバスト性を考慮し,モデルに対するキャリブレーションが向上することを見出した。
• 参考スコア（独自算出の注目度）: 19.384119330332446
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks lack adversarial robustness, i.e., they are vulnerable to adversarial examples that through small perturbations to inputs cause incorrect predictions. Further, trust is undermined when models give miscalibrated predictions, i.e., the predicted probability is not a good indicator of how much we should trust our model. In this paper, we study the connection between adversarial robustness and calibration and find that the inputs for which the model is sensitive to small perturbations (are easily attacked) are more likely to have poorly calibrated predictions. Based on this insight, we examine if calibration can be improved by addressing those adversarially unrobust inputs. To this end, we propose Adversarial Robustness based Adaptive Label Smoothing (AR-AdaLS) that integrates the correlations of adversarial robustness and calibration into training by adaptively softening labels for an example based on how easily it can be attacked by an adversary. We find that our method, taking the adversarial robustness of the in-distribution data into consideration, leads to better calibration over the model even under distributional shifts. In addition, AR-AdaLS can also be applied to an ensemble model to further improve model calibration.
• Abstract（参考訳）: ニューラルネットワークは、敵の強固さ、すなわち、入力に対する小さな摂動によって誤った予測を引き起こす敵の例に弱い。 さらに、モデルが誤った予測を与えると信頼が損なわれます。つまり、予測確率は、モデルがどの程度信頼すべきかを示す良い指標ではありません。 本稿では,逆ロバスト性とキャリブレーションとの関係について検討し,モデルが小さい摂動に敏感な入力(容易に攻撃される)は,校正が不十分な場合が多いことを発見した。 この知見に基づいて,これらの不適切な入力に対処して校正を改善することができるか検討する。 そこで,本研究では,ラベルを適応軟化することで,逆ロバスト性とキャリブレーションの相関性を統合した逆ロバスト性に基づく適応ラベル平滑化(ar-adals)を提案する。 本手法は,分布シフト下においても,分布内データの対角的ロバスト性を考慮し,モデルに対するキャリブレーションが向上することを見出した。 さらに、AR-AdaLSはアンサンブルモデルにも適用でき、モデルのキャリブレーションをさらに改善することができる。

関連論文リスト

• Towards Certification of Uncertainty Calibration under Adversarial Attacks [96.48317453951418]
  攻撃はキャリブレーションを著しく損なう可能性を示し, 対向的摂動下でのキャリブレーションにおける最悪のキャリブレーション境界として認定キャリブレーションを提案する。 我々は,新しいキャリブレーション攻撃を提案し,テクスタディバーショナルキャリブレーショントレーニングによりモデルキャリブレーションを改善する方法を示す。
  論文  参考訳（メタデータ） (2024-05-22T18:52:09Z)
• Confidence-Aware Multi-Field Model Calibration [39.44356123378625]
  フィールド対応キャリブレーションは、異なる特徴フィールド値のモデル出力を調整することで、きめ細かい広告要求を満たすことができる。 本稿では,サンプル統計から得られた信頼度に基づいてキャリブレーション強度を適応的に調整する,信頼性を考慮したマルチフィールドキャリブレーション手法を提案する。
  論文  参考訳（メタデータ） (2024-02-27T16:24:28Z)
• Extreme Miscalibration and the Illusion of Adversarial Robustness [66.29268991629085]
  敵の訓練は、しばしばモデルの堅牢性を高めるために使用される。 我々は、この観測されたロバストネスの利得はロバストネスの錯覚(IOR)であることを示した。 我々は,NLPコミュニティに対して,試験時間温度のスケーリングを堅牢性評価に組み込むよう促す。
  論文  参考訳（メタデータ） (2024-02-27T13:49:12Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• Calibrated Selective Classification [34.08454890436067]
  そこで我々は,「不確か」な不確実性のある例を拒否する手法を提案する。 本稿では,選択的校正モデル学習のためのフレームワークを提案する。そこでは,任意のベースモデルの選択的校正誤差を改善するために,個別のセレクタネットワークを訓練する。 われわれは,複数画像分類と肺癌リスク評価におけるアプローチの実証的効果を実証した。
  論文  参考訳（メタデータ） (2022-08-25T13:31:09Z)
• Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
  強靭性と精度のトレードオフは、敵文学において広く研究されている。 局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。 定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
  論文  参考訳（メタデータ） (2022-02-21T10:36:09Z)
• On the (Un-)Avoidability of Adversarial Examples [4.822598110892847]
  ディープラーニングモデルの逆例は、その信頼性に大きな懸念を引き起こしている。 小摂動下でのモデルラベルの変更が正当化されるかどうかを決定するためのフレームワークを提供する。 適応的なデータ拡張は、決定論的ラベルの下で1-アレスト近傍の分類の整合性を維持していることを示す。
  論文  参考訳（メタデータ） (2021-06-24T21:35:25Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。