論文の概要: Mixing Classifiers to Alleviate the Accuracy-Robustness Trade-Off

• arxiv url: http://arxiv.org/abs/2311.15165v2
• Date: Mon, 3 Jun 2024 18:18:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 13:57:08.465110
• Title: Mixing Classifiers to Alleviate the Accuracy-Robustness Trade-Off
• Title（参考訳）: 混成分類器による精度・ロバスト性取引の軽減
• Authors: Yatong Bai, Brendon G. Anderson, Somayeh Sojoudi,
• Abstract要約: 本稿では、標準ニューラルネットワークとロバストニューラルネットワークの出力確率を混合した理論的動機付け型定式化を提案する。 数値実験により,混合分類器は精度・損耗トレードオフを著しく改善することを確認した。
• 参考スコア（独自算出の注目度）: 8.169499497403102
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Deep neural classifiers have recently found tremendous success in data-driven control systems. However, existing models suffer from a trade-off between accuracy and adversarial robustness. This limitation must be overcome in the control of safety-critical systems that require both high performance and rigorous robustness guarantees. In this work, we develop classifiers that simultaneously inherit high robustness from robust models and high accuracy from standard models. Specifically, we propose a theoretically motivated formulation that mixes the output probabilities of a standard neural network and a robust neural network. Both base classifiers are pre-trained, and thus our method does not require additional training. Our numerical experiments verify that the mixed classifier noticeably improves the accuracy-robustness trade-off and identify the confidence property of the robust base classifier as the key leverage of this more benign trade-off. Our theoretical results prove that under mild assumptions, when the robustness of the robust base model is certifiable, no alteration or attack within a closed-form $\ell_p$ radius on an input can result in the misclassification of the mixed classifier.
• Abstract（参考訳）: 深層神経分類器は、最近、データ駆動制御システムで大きな成功を収めている。 しかし、既存のモデルは精度と敵の堅牢性の間のトレードオフに悩まされている。 この制限は、高い性能と厳格な堅牢性の両方を必要とする安全クリティカルなシステムの制御において克服されなければならない。 本研究では、ロバストモデルから高いロバスト性と標準モデルから高い精度を同時に継承する分類器を開発する。 具体的には、標準ニューラルネットワークとロバストニューラルネットワークの出力確率を混合した理論的動機付け型定式化を提案する。 どちらの基本分類器も事前訓練されているので、我々の方法は追加の訓練を必要としない。 数値実験により,混合分類器は精度・損耗トレードオフを顕著に改善し,ロバスト基底分類器の信頼性特性を,より良質なトレードオフの鍵となるものとして同定することを確認した。 我々の理論的結果は、弱い仮定の下で、ロバスト基底モデルのロバスト性が証明された場合、入力上の閉じた形式である$\ell_p$半径内での変更や攻撃は、混合分類器の誤分類をもたらすことを証明している。

関連論文リスト

• Towards Calibrated Deep Clustering Network [60.71776081164377]
  ディープクラスタリングでは、特定のクラスタに属するサンプルに対する推定信頼度はその実際の予測精度を大きく上回る。 推定された信頼度と実際の精度を効果的にキャリブレーションできる新しいデュアルヘッド(キャリブレーションヘッドとクラスタリングヘッド)深層クラスタリングモデルを提案する。 大規模実験により, 提案手法は, 最先端の深層クラスタリング手法を10倍に越えるだけでなく, クラスタリング精度も大幅に向上した。
  論文  参考訳（メタデータ） (2024-03-04T11:23:40Z)
• Improving the Accuracy-Robustness Trade-Off of Classifiers via Adaptive Smoothing [9.637143119088426]
  正誤例に対する頑健な基本分類器の信頼性差が,この改良の鍵となることを示す。 逆入力検出器を2つのベースモデルの混合を適応的に調整する混合ネットワークに適応させる。 提案したフレキシブルな手法は「適応的平滑化(adaptive smoothing)」と呼ばれ、クリーンな精度、堅牢性、あるいは敵検出を改善する既存のあるいは将来の方法と連携して機能する。
  論文  参考訳（メタデータ） (2023-01-29T22:05:28Z)
• Confidence-aware Training of Smoothed Classifiers for Certified Robustness [75.95332266383417]
  我々は「ガウス雑音下での精度」を、入力に対する対角的ロバスト性の容易に計算可能なプロキシとして利用する。 実験の結果, 提案手法は, 最先端の訓練手法による信頼性向上を継続的に示すことがわかった。
  論文  参考訳（メタデータ） (2022-12-18T03:57:12Z)
• SmoothMix: Training Confidence-calibrated Smoothed Classifiers for Certified Robustness [61.212486108346695]
  自己混合によるスムーズな分類器のロバスト性を制御するためのトレーニングスキームSmoothMixを提案する。 提案手法は, 厳密性に制限された原因として, 信頼性の低い, オフクラスに近いサンプルを効果的に同定する。 提案手法はスムーズな分類器の検証値である$ell$-robustnessを大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2021-11-17T18:20:59Z)
• An Orthogonal Classifier for Improving the Adversarial Robustness of Neural Networks [21.13588742648554]
  近年の研究では、分類層に特定の変更を加えることで、ニューラルネットワークの堅牢性を向上させることが示されている。 我々は、成分が同じ大きさの高密度直交重み行列を明示的に構築し、新しいロバストな分類器を生み出す。 我々の方法は、多くの最先端の防衛アプローチに対して効率的で競争力がある。
  論文  参考訳（メタデータ） (2021-05-19T13:12:14Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Provable tradeoffs in adversarially robust classification [96.48180210364893]
  我々は、ロバストなイソペリメトリに関する確率論の最近のブレークスルーを含む、新しいツールを開発し、活用する。 この結果から,データの不均衡時に増加する標準精度とロバスト精度の基本的なトレードオフが明らかになった。
  論文  参考訳（メタデータ） (2020-06-09T09:58:19Z)
• Consistency Regularization for Certified Robustness of Smoothed Classifiers [89.72878906950208]
  最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。 その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
  論文  参考訳（メタデータ） (2020-06-07T06:57:43Z)
• Regularized Training and Tight Certification for Randomized Smoothed Classifier with Provable Robustness [15.38718018477333]
  我々は新たな正規化リスクを導出し、正規化器はスムーズな手法の精度と堅牢性を適応的に促進することができる。 また、正規化効果を利用して、高い確率で保持されるより厳密なロバスト性の下限を提供する新しい認証アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2020-02-17T20:54:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。