論文の概要: Mixing Classifiers to Alleviate the Accuracy-Robustness Trade-Off
- arxiv url: http://arxiv.org/abs/2311.15165v1
- Date: Sun, 26 Nov 2023 02:25:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-28 18:57:09.545293
- Title: Mixing Classifiers to Alleviate the Accuracy-Robustness Trade-Off
- Title(参考訳): 混成分類器による精度・ロバスト性取引の軽減
- Authors: Yatong Bai, Brendon G. Anderson, Somayeh Sojoudi
- Abstract要約: 我々は,従来のモデルから高い精度とロバストモデルから高いロバスト性を同時に継承する分類器を開発するために,近年の「局所バイアススムース化」手法を構築した。
我々は、ロバストベースモデルのロバスト性が証明された場合、閉形式 $ell_p$ 半径内では、入力に対する変更やアタックは、混合分類器の誤分類をもたらすことを証明した。
- 参考スコア(独自算出の注目度): 9.181698729747687
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Machine learning models have recently found tremendous success in data-driven
control systems. However, standard learning models often suffer from an
accuracy-robustness trade-off, which is a limitation that must be overcome in
the control of safety-critical systems that require both high performance and
rigorous robustness guarantees. In this work, we build upon the recent "locally
biased smoothing" method to develop classifiers that simultaneously inherit
high accuracy from standard models and high robustness from robust models.
Specifically, we extend locally biased smoothing to the multi-class setting,
and then overcome its performance bottleneck by generalizing the formulation to
"mix" the outputs of a standard neural network and a robust neural network. We
prove that when the robustness of the robust base model is certifiable, within
a closed-form $\ell_p$ radius, no alteration or attack on an input can result
in misclassification of the mixed classifier; the proposed model inherits the
certified robustness. Moreover, we use numerical experiments on the CIFAR-10
benchmark dataset to verify that the mixed model noticeably improves the
accuracy-robustness trade-off.
- Abstract(参考訳): 機械学習モデルは、最近データ駆動制御システムで大きな成功を収めている。
しかし、標準学習モデルは、高い性能と厳密な堅牢性保証を必要とする安全クリティカルなシステムの制御において克服されなければならない制限である精度・ロバスト性トレードオフに苦しむことが多い。
本研究では,標準モデルから高い精度とロバストモデルから高いロバスト性を同時に継承する分類器を開発するため,近年の"局所偏り平滑化"法を基礎としている。
具体的には、局所バイアススムーシングをマルチクラス設定に拡張し、定式化を一般化して標準ニューラルネットワークとロバストニューラルネットワークの出力を“混合”することで、パフォーマンスボトルネックを克服する。
我々は、ロバストなベースモデルのロバスト性が証明可能であれば、閉じた形式の$\ell_p$半径内で、入力に対する変更や攻撃が混合分類器の誤分類をもたらすことはないことを証明する。
さらに、CIFAR-10ベンチマークデータセット上で数値実験を行い、混合モデルが精度・損耗トレードオフを著しく改善することを確認した。
関連論文リスト
- MixedNUTS: Training-Free Accuracy-Robustness Balance via Nonlinearly
Mixed Classifiers [45.41170733091113]
MixedNUTSは、ロバストな分類器の出力ロジットを3つのパラメータしか持たない非線形変換で処理する訓練不要の手法である。
MixedNUTSは変換されたロジットを確率に変換し、それらを全体の出力として混合する。
CIFAR-10、CIFAR-100、ImageNetデータセットでは、MixedNUTSの精度とほぼSOTAの堅牢性を大幅に改善した。
論文 参考訳(メタデータ) (2024-02-03T21:12:36Z) - Adaptive Certified Training: Towards Better Accuracy-Robustness
Tradeoffs [17.46692880231195]
本稿では,適応型認定ラジイを用いたトレーニングがモデルの精度と堅牢性の向上に役立つというキーインサイトに基づく,新しい認定トレーニング手法を提案する。
提案手法の有効性を,MNIST,CIFAR-10,TinyImageNetデータセットに示す。
論文 参考訳(メタデータ) (2023-07-24T18:59:46Z) - Towards Better Certified Segmentation via Diffusion Models [62.21617614504225]
セグメンテーションモデルは敵の摂動に弱いため、医療や自動運転といった重要な意思決定システムでの使用を妨げます。
近年,理論的保証を得るためにガウス雑音を入力に加えることにより,セグメント化予測のランダム化が提案されている。
本稿では,ランダムな平滑化と拡散モデルを組み合わせたセグメンテーション予測の問題に対処する。
論文 参考訳(メタデータ) (2023-06-16T16:30:39Z) - Precision-Recall Divergence Optimization for Generative Modeling with
GANs and Normalizing Flows [54.050498411883495]
本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。
指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。
当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
論文 参考訳(メタデータ) (2023-05-30T10:07:17Z) - Calibration-Aware Bayesian Learning [31.31288398691955]
本稿では、キャリブレーション対応ベイズニューラルネットワーク(CA-BNN)と呼ばれる統合フレームワークを提案する。
ベイズ学習のように変分分布を最適化しながら、データ依存あるいはデータ非依存の正則化をそれぞれ適用する。
予測キャリブレーション誤差(ECE)と信頼性図を用いて,提案手法の利点を検証した。
論文 参考訳(メタデータ) (2023-05-12T14:19:15Z) - Certified Adversarial Defenses Meet Out-of-Distribution Corruptions:
Benchmarking Robustness and Simple Baselines [65.0803400763215]
この研究は、最先端のロバストモデルがアウト・オブ・ディストリビューションデータに遭遇した場合、敵のロバスト性がどのように変化を保証しているかを批判的に検証する。
本稿では,トレーニングデータのスペクトルカバレッジを改善するために,新たなデータ拡張方式であるFourierMixを提案する。
また,FourierMixの拡張により,様々なOODベンチマークにおいて,より優れたロバスト性保証を実現することが可能となる。
論文 参考訳(メタデータ) (2021-12-01T17:11:22Z) - SmoothMix: Training Confidence-calibrated Smoothed Classifiers for
Certified Robustness [61.212486108346695]
自己混合によるスムーズな分類器のロバスト性を制御するためのトレーニングスキームSmoothMixを提案する。
提案手法は, 厳密性に制限された原因として, 信頼性の低い, オフクラスに近いサンプルを効果的に同定する。
提案手法はスムーズな分類器の検証値である$ell$-robustnessを大幅に改善できることを示す。
論文 参考訳(メタデータ) (2021-11-17T18:20:59Z) - Adversarial robustness for latent models: Revisiting the robust-standard
accuracies tradeoff [12.386462516398472]
標準的なテストの精度を落とすために、しばしば逆行訓練が観察される。
本稿では、このトレードオフは、データが低次元構造を楽しむ場合に緩和されると論じる。
周囲次元に対する多様体次元が減少するにつれて、標準精度とロバスト精度の両方に関してほぼ最適に近いモデルが得られることを示す。
論文 参考訳(メタデータ) (2021-10-22T17:58:27Z) - Anomaly Detection of Time Series with Smoothness-Inducing Sequential
Variational Auto-Encoder [59.69303945834122]
Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。
我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。
合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
論文 参考訳(メタデータ) (2021-02-02T06:15:15Z) - Consistency Regularization for Certified Robustness of Smoothed
Classifiers [89.72878906950208]
最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。
その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
論文 参考訳(メタデータ) (2020-06-07T06:57:43Z) - Revisiting Ensembles in an Adversarial Context: Improving Natural
Accuracy [5.482532589225552]
頑丈なモデルと非ロバストなモデルの間には、依然として自然な精度に大きなギャップがある。
この性能差を軽減するために,多数のアンサンブル法について検討する。
ランダムにロバストなモデルからの予測と、ロバストモデルと標準モデルから特徴を融合する2つのスキームを考える。
論文 参考訳(メタデータ) (2020-02-26T15:45:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。