論文の概要: Enhancing Certified Robustness via Smoothed Weighted Ensembling
- arxiv url: http://arxiv.org/abs/2005.09363v3
- Date: Tue, 23 Feb 2021 14:03:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-01 13:39:16.681343
- Title: Enhancing Certified Robustness via Smoothed Weighted Ensembling
- Title(参考訳): Smoothed Weighted Ensemblingによる認証ロバストネスの向上
- Authors: Chizhou Liu, Yunzhen Feng, Ranran Wang, Bin Dong
- Abstract要約: Smoothed Weighted ENsembling scheme を用いてランダム化スムーズな分類器の性能を向上させる。
SWEENが最適な証明された堅牢性を達成するのに有効であることを示す。
また,SWEENモデルの予測と認証コストを削減するための適応予測アルゴリズムを開発した。
- 参考スコア(独自算出の注目度): 7.217295098686032
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Randomized smoothing has achieved state-of-the-art certified robustness
against $l_2$-norm adversarial attacks. However, it is not wholly resolved on
how to find the optimal base classifier for randomized smoothing. In this work,
we employ a Smoothed WEighted ENsembling (SWEEN) scheme to improve the
performance of randomized smoothed classifiers. We show the ensembling
generality that SWEEN can help achieve optimal certified robustness.
Furthermore, theoretical analysis proves that the optimal SWEEN model can be
obtained from training under mild assumptions. We also develop an adaptive
prediction algorithm to reduce the prediction and certification cost of SWEEN
models. Extensive experiments show that SWEEN models outperform the upper
envelope of their corresponding candidate models by a large margin. Moreover,
SWEEN models constructed using a few small models can achieve comparable
performance to a single large model with a notable reduction in training time.
- Abstract(参考訳): ランダム化平滑化は、$l_2$-normの敵攻撃に対して最先端の認証堅牢性を達成している。
しかし,ランダム化平滑化のための最適ベース分類器の探索方法については,完全には解決されていない。
本研究では,スムーズなスムーズな分類器の性能向上のために,Smoothed Weighted ENsembling (SWEEN) 方式を用いる。
SWEENが最適な証明された堅牢性を達成するのに有効であることを示す。
さらに,理論解析により,軽度仮定下でのトレーニングから最適スウェンモデルが得られることを証明した。
また,SWEENモデルの予測と認証コストを削減するための適応予測アルゴリズムを開発した。
広範な実験により、スウェンモデルが対応する候補モデルの上限を大きなマージンで上回っていることが示されている。
さらに、少数の小さなモデルを用いて構築されたSWEENモデルは、トレーニング時間を大幅に短縮した1つの大きなモデルに匹敵する性能を達成することができる。
関連論文リスト
- Mixing Classifiers to Alleviate the Accuracy-Robustness Trade-Off [9.181698729747687]
我々は,従来のモデルから高い精度とロバストモデルから高いロバスト性を同時に継承する分類器を開発するために,近年の「局所バイアススムース化」手法を構築した。
我々は、ロバストベースモデルのロバスト性が証明された場合、閉形式 $ell_p$ 半径内では、入力に対する変更やアタックは、混合分類器の誤分類をもたらすことを証明した。
論文 参考訳(メタデータ) (2023-11-26T02:25:30Z) - Distributionally Robust Post-hoc Classifiers under Prior Shifts [31.237674771958165]
本研究では,クラスプライヤやグループプライヤの分布の変化による変化に頑健なトレーニングモデルの問題点について検討する。
本稿では,事前学習モデルからの予測に対するスケーリング調整を行う,非常に軽量なポストホック手法を提案する。
論文 参考訳(メタデータ) (2023-09-16T00:54:57Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳(メタデータ) (2022-04-13T12:43:12Z) - Model soups: averaging weights of multiple fine-tuned models improves
accuracy without increasing inference time [69.7693300927423]
複数モデルの重み付けを異なるパラメータ構成で微調整することにより,精度とロバスト性が向上することを示す。
モデルスープ手法は,複数の画像分類や自然言語処理タスクにまで拡張されている。
論文 参考訳(メタデータ) (2022-03-10T17:03:49Z) - Sparse MoEs meet Efficient Ensembles [49.313497379189315]
このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。
Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
論文 参考訳(メタデータ) (2021-10-07T11:58:35Z) - On the Certified Robustness for Ensemble Models and Beyond [22.43134152931209]
ディープニューラルネットワーク(DNN)は、敵の例に対して脆弱であり、それらを誤解することを目的としている。
我々は、アンサンブルMLモデルの信頼性の高いロバスト性を分析し、提供する。
理論的な知見に触発されて、我々は、頑健なアンサンブルMLモデルを訓練するための軽量なダイバーシティ正規化訓練(DRT)を提案する。
論文 参考訳(メタデータ) (2021-07-22T18:10:41Z) - Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。
このアプローチは多くの実装と最適化の課題をもたらします。
提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
論文 参考訳(メタデータ) (2021-03-18T14:26:26Z) - Insta-RS: Instance-wise Randomized Smoothing for Improved Robustness and
Accuracy [9.50143683501477]
Insta-RSは、テスト例にカスタマイズされたガウス分散を割り当てるマルチスタート検索アルゴリズムである。
Insta-RS Trainは、各トレーニング例のノイズレベルを適応的に調整し、カスタマイズする新しい2段階トレーニングアルゴリズムです。
本手法は,平均認定半径(ACR)とクリーンデータ精度を有意に向上させることを示した。
論文 参考訳(メタデータ) (2021-03-07T19:46:07Z) - Dynamic Model Pruning with Feedback [64.019079257231]
余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。
CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
論文 参考訳(メタデータ) (2020-06-12T15:07:08Z) - Consistency Regularization for Certified Robustness of Smoothed
Classifiers [89.72878906950208]
最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。
その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
論文 参考訳(メタデータ) (2020-06-07T06:57:43Z) - Joint Stochastic Approximation and Its Application to Learning Discrete
Latent Variable Models [19.07718284287928]
推定モデルに対する信頼度勾配を得るのが困難であることや、間接的にターゲットのログを最適化することの欠点を優雅に解決できることが示される。
本稿では,対象の対数類似度を直接最大化し,後部モデルと推論モデルとの包摂的ばらつきを同時に最小化することを提案する。
結果の学習アルゴリズムは、ジョイントSA(JSA)と呼ばれる。
論文 参考訳(メタデータ) (2020-05-28T13:50:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。