論文の概要: Improving the Accuracy-Robustness Trade-Off of Classifiers via Adaptive Smoothing

• arxiv url: http://arxiv.org/abs/2301.12554v3
• Date: Wed, 15 Nov 2023 11:23:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-16 21:05:27.818826
• Title: Improving the Accuracy-Robustness Trade-Off of Classifiers via Adaptive Smoothing
• Title（参考訳）: 適応平滑化による分類器の精度・ロバスト性トレードオフの改善
• Authors: Yatong Bai, Brendon G. Anderson, Aerin Kim, Somayeh Sojoudi
• Abstract要約: 正誤例に対する頑健な基本分類器の信頼性差が,この改良の鍵となることを示す。 逆入力検出器を2つのベースモデルの混合を適応的に調整する混合ネットワークに適応させる。 提案したフレキシブルな手法は「適応的平滑化(adaptive smoothing)」と呼ばれ、クリーンな精度、堅牢性、あるいは敵検出を改善する既存のあるいは将来の方法と連携して機能する。
• 参考スコア（独自算出の注目度）: 10.52788652996288
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While prior research has proposed a plethora of methods that build neural classifiers robust against adversarial robustness, practitioners are still reluctant to adopt them due to their unacceptably severe clean accuracy penalties. This paper significantly alleviates this accuracy-robustness trade-off by mixing the output probabilities of a standard classifier and a robust classifier, where the standard network is optimized for clean accuracy and is not robust in general. We show that the robust base classifier's confidence difference for correct and incorrect examples is the key to this improvement. In addition to providing intuitions and empirical evidence, we theoretically certify the robustness of the mixed classifier under realistic assumptions. Furthermore, we adapt an adversarial input detector into a mixing network that adaptively adjusts the mixture of the two base models, further reducing the accuracy penalty of achieving robustness. The proposed flexible method, termed "adaptive smoothing", can work in conjunction with existing or even future methods that improve clean accuracy, robustness, or adversary detection. Our empirical evaluation considers strong attack methods, including AutoAttack and adaptive attack. On the CIFAR-100 dataset, our method achieves an 85.21% clean accuracy while maintaining a 38.72% $\ell_\infty$-AutoAttacked ($\epsilon = 8/255$) accuracy, becoming the second most robust method on the RobustBench CIFAR-100 benchmark as of submission, while improving the clean accuracy by ten percentage points compared with all listed models. The code that implements our method is available at https://github.com/Bai-YT/AdaptiveSmoothing.
• Abstract（参考訳）: 先行研究は、敵の強靭性に対して頑健な神経分類器を構築するための多くの方法を提案してきたが、実践者は、許容できないほど厳格な正確さのために、それを採用することを拒んでいる。 本稿では,標準ネットワークをクリーンな精度に最適化し,一般にロバストではない標準分類器とロバスト分類器の出力確率を混合することにより,この精度・ロバスト性トレードオフを著しく軽減する。 正誤例に対する頑健な基本分類器の信頼性差が,この改良の鍵となることを示す。 直観と経験的証拠を提供するだけでなく、現実的な仮定の下で混合分類器の強固さを理論的に証明する。 さらに,2つのベースモデルの混合を適応的に調整する混合ネットワークに逆入力検出器を適応させ,ロバスト性を達成するための精度を低下させる。 提案したフレキシブルな手法は「適応的平滑化(adaptive smoothing)」と呼ばれ、クリーンな精度、堅牢性、敵検出を改善する既存のあるいは将来の方法と連携して機能する。 自己攻撃や適応攻撃など,強固な攻撃方法を検討した。 cifar-100データセットでは、38.72%の$\ell_\infty$-autoattacked (\epsilon = 8/255$)精度を維持しながら85.21%のクリーン精度を達成し、提案時点でロバストbench cifar-100ベンチマークで2番目に堅牢な方法となった。 このメソッドを実装するコードは、https://github.com/bai-yt/adaptivesmoothingで利用可能です。

関連論文リスト

• MixedNUTS: Training-Free Accuracy-Robustness Balance via Nonlinearly Mixed Classifiers [41.56951365163419]
  MixedNUTSは、ロバストな分類器の出力ロジットを3つのパラメータしか持たない非線形変換で処理する訓練不要の手法である。 MixedNUTSは変換されたロジットを確率に変換し、それらを全体の出力として混合する。 CIFAR-10、CIFAR-100、ImageNetデータセットでは、MixedNUTSの精度とほぼSOTAの堅牢性を大幅に改善した。
  論文  参考訳（メタデータ） (2024-02-03T21:12:36Z)
• Mixing Classifiers to Alleviate the Accuracy-Robustness Trade-Off [8.169499497403102]
  本稿では、標準ニューラルネットワークとロバストニューラルネットワークの出力確率を混合した理論的動機付け型定式化を提案する。 数値実験により,混合分類器は精度・損耗トレードオフを著しく改善することを確認した。
  論文  参考訳（メタデータ） (2023-11-26T02:25:30Z)
• The Lipschitz-Variance-Margin Tradeoff for Enhanced Randomized Smoothing [85.85160896547698]
  ディープニューラルネットワークの現実的な応用は、ノイズの多い入力や敵攻撃に直面した場合、その不安定な予測によって妨げられる。 入力にノイズ注入を頼りに、認証された半径を持つ効率的な分類器を設計する方法を示す。 新たな認証手法により、ランダムな平滑化による事前学習モデルの使用が可能となり、ゼロショット方式で現在の認証半径を効果的に改善できる。
  論文  参考訳（メタデータ） (2023-09-28T22:41:47Z)
• Confidence-aware Training of Smoothed Classifiers for Certified Robustness [75.95332266383417]
  我々は「ガウス雑音下での精度」を、入力に対する対角的ロバスト性の容易に計算可能なプロキシとして利用する。 実験の結果, 提案手法は, 最先端の訓練手法による信頼性向上を継続的に示すことがわかった。
  論文  参考訳（メタデータ） (2022-12-18T03:57:12Z)
• (Certified!!) Adversarial Robustness for Free! [116.6052628829344]
  逆方向の摂動が0.5の2ノルム以内であることに制約された場合,ImageNetでは71%の精度が証明された。 これらの結果は,モデルパラメータの微調整や再学習を必要とせず,事前学習した拡散モデルと画像分類器のみを用いて得られる。
  論文  参考訳（メタデータ） (2022-06-21T17:27:27Z)
• SmoothMix: Training Confidence-calibrated Smoothed Classifiers for Certified Robustness [61.212486108346695]
  自己混合によるスムーズな分類器のロバスト性を制御するためのトレーニングスキームSmoothMixを提案する。 提案手法は, 厳密性に制限された原因として, 信頼性の低い, オフクラスに近いサンプルを効果的に同定する。 提案手法はスムーズな分類器の検証値である$ell$-robustnessを大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2021-11-17T18:20:59Z)
• Adversarial Training with Rectified Rejection [114.83821848791206]
  本稿では,信頼度(T-Con)を確実性オラクルとして利用し,信頼度を補正してT-Conを予測することを提案する。 軽度の条件下では、正当性(R-Con)拒絶器と信頼性(R-Con)拒絶器を結合して、不正に分類された入力と正しく分類された入力を区別できることを示す。
  論文  参考訳（メタデータ） (2021-05-31T08:24:53Z)
• Consistency Regularization for Certified Robustness of Smoothed Classifiers [89.72878906950208]
  最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。 その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
  論文  参考訳（メタデータ） (2020-06-07T06:57:43Z)
• Regularized Training and Tight Certification for Randomized Smoothed Classifier with Provable Robustness [15.38718018477333]
  我々は新たな正規化リスクを導出し、正規化器はスムーズな手法の精度と堅牢性を適応的に促進することができる。 また、正規化効果を利用して、高い確率で保持されるより厳密なロバスト性の下限を提供する新しい認証アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2020-02-17T20:54:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。