論文の概要: Mixing Classifiers to Alleviate the Accuracy-Robustness Trade-Off

• arxiv url: http://arxiv.org/abs/2311.15165v1
• Date: Sun, 26 Nov 2023 02:25:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 18:57:09.545293
• Title: Mixing Classifiers to Alleviate the Accuracy-Robustness Trade-Off
• Title（参考訳）: 混成分類器による精度・ロバスト性取引の軽減
• Authors: Yatong Bai, Brendon G. Anderson, Somayeh Sojoudi
• Abstract要約: 我々は,従来のモデルから高い精度とロバストモデルから高いロバスト性を同時に継承する分類器を開発するために,近年の「局所バイアススムース化」手法を構築した。 我々は、ロバストベースモデルのロバスト性が証明された場合、閉形式 $ell_p$ 半径内では、入力に対する変更やアタックは、混合分類器の誤分類をもたらすことを証明した。
• 参考スコア（独自算出の注目度）: 9.181698729747687
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Machine learning models have recently found tremendous success in data-driven control systems. However, standard learning models often suffer from an accuracy-robustness trade-off, which is a limitation that must be overcome in the control of safety-critical systems that require both high performance and rigorous robustness guarantees. In this work, we build upon the recent "locally biased smoothing" method to develop classifiers that simultaneously inherit high accuracy from standard models and high robustness from robust models. Specifically, we extend locally biased smoothing to the multi-class setting, and then overcome its performance bottleneck by generalizing the formulation to "mix" the outputs of a standard neural network and a robust neural network. We prove that when the robustness of the robust base model is certifiable, within a closed-form $\ell_p$ radius, no alteration or attack on an input can result in misclassification of the mixed classifier; the proposed model inherits the certified robustness. Moreover, we use numerical experiments on the CIFAR-10 benchmark dataset to verify that the mixed model noticeably improves the accuracy-robustness trade-off.
• Abstract（参考訳）: 機械学習モデルは、最近データ駆動制御システムで大きな成功を収めている。 しかし、標準学習モデルは、高い性能と厳密な堅牢性保証を必要とする安全クリティカルなシステムの制御において克服されなければならない制限である精度・ロバスト性トレードオフに苦しむことが多い。 本研究では,標準モデルから高い精度とロバストモデルから高いロバスト性を同時に継承する分類器を開発するため,近年の"局所偏り平滑化"法を基礎としている。 具体的には、局所バイアススムーシングをマルチクラス設定に拡張し、定式化を一般化して標準ニューラルネットワークとロバストニューラルネットワークの出力を“混合”することで、パフォーマンスボトルネックを克服する。 我々は、ロバストなベースモデルのロバスト性が証明可能であれば、閉じた形式の$\ell_p$半径内で、入力に対する変更や攻撃が混合分類器の誤分類をもたらすことはないことを証明する。 さらに、CIFAR-10ベンチマークデータセット上で数値実験を行い、混合モデルが精度・損耗トレードオフを著しく改善することを確認した。

関連論文リスト

• Towards Calibrated Deep Clustering Network [60.71776081164377]
  ディープクラスタリングでは、特定のクラスタに属するサンプルに対する推定信頼度はその実際の予測精度を大きく上回る。 推定された信頼度と実際の精度を効果的にキャリブレーションできる新しいデュアルヘッド(キャリブレーションヘッドとクラスタリングヘッド)深層クラスタリングモデルを提案する。 大規模実験により, 提案手法は, 最先端の深層クラスタリング手法を10倍に越えるだけでなく, クラスタリング精度も大幅に向上した。
  論文  参考訳（メタデータ） (2024-03-04T11:23:40Z)
• Improving the Accuracy-Robustness Trade-Off of Classifiers via Adaptive Smoothing [9.637143119088426]
  正誤例に対する頑健な基本分類器の信頼性差が,この改良の鍵となることを示す。 逆入力検出器を2つのベースモデルの混合を適応的に調整する混合ネットワークに適応させる。 提案したフレキシブルな手法は「適応的平滑化(adaptive smoothing)」と呼ばれ、クリーンな精度、堅牢性、あるいは敵検出を改善する既存のあるいは将来の方法と連携して機能する。
  論文  参考訳（メタデータ） (2023-01-29T22:05:28Z)
• Confidence-aware Training of Smoothed Classifiers for Certified Robustness [75.95332266383417]
  我々は「ガウス雑音下での精度」を、入力に対する対角的ロバスト性の容易に計算可能なプロキシとして利用する。 実験の結果, 提案手法は, 最先端の訓練手法による信頼性向上を継続的に示すことがわかった。
  論文  参考訳（メタデータ） (2022-12-18T03:57:12Z)
• SmoothMix: Training Confidence-calibrated Smoothed Classifiers for Certified Robustness [61.212486108346695]
  自己混合によるスムーズな分類器のロバスト性を制御するためのトレーニングスキームSmoothMixを提案する。 提案手法は, 厳密性に制限された原因として, 信頼性の低い, オフクラスに近いサンプルを効果的に同定する。 提案手法はスムーズな分類器の検証値である$ell$-robustnessを大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2021-11-17T18:20:59Z)
• An Orthogonal Classifier for Improving the Adversarial Robustness of Neural Networks [21.13588742648554]
  近年の研究では、分類層に特定の変更を加えることで、ニューラルネットワークの堅牢性を向上させることが示されている。 我々は、成分が同じ大きさの高密度直交重み行列を明示的に構築し、新しいロバストな分類器を生み出す。 我々の方法は、多くの最先端の防衛アプローチに対して効率的で競争力がある。
  論文  参考訳（メタデータ） (2021-05-19T13:12:14Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Provable tradeoffs in adversarially robust classification [96.48180210364893]
  我々は、ロバストなイソペリメトリに関する確率論の最近のブレークスルーを含む、新しいツールを開発し、活用する。 この結果から,データの不均衡時に増加する標準精度とロバスト精度の基本的なトレードオフが明らかになった。
  論文  参考訳（メタデータ） (2020-06-09T09:58:19Z)
• Consistency Regularization for Certified Robustness of Smoothed Classifiers [89.72878906950208]
  最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。 その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
  論文  参考訳（メタデータ） (2020-06-07T06:57:43Z)
• Regularized Training and Tight Certification for Randomized Smoothed Classifier with Provable Robustness [15.38718018477333]
  我々は新たな正規化リスクを導出し、正規化器はスムーズな手法の精度と堅牢性を適応的に促進することができる。 また、正規化効果を利用して、高い確率で保持されるより厳密なロバスト性の下限を提供する新しい認証アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2020-02-17T20:54:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。