論文の概要: Enhancing Certified Robustness via Smoothed Weighted Ensembling

• arxiv url: http://arxiv.org/abs/2005.09363v3
• Date: Tue, 23 Feb 2021 14:03:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 13:39:16.681343
• Title: Enhancing Certified Robustness via Smoothed Weighted Ensembling
• Title（参考訳）: Smoothed Weighted Ensemblingによる認証ロバストネスの向上
• Authors: Chizhou Liu, Yunzhen Feng, Ranran Wang, Bin Dong
• Abstract要約: Smoothed Weighted ENsembling scheme を用いてランダム化スムーズな分類器の性能を向上させる。 SWEENが最適な証明された堅牢性を達成するのに有効であることを示す。 また,SWEENモデルの予測と認証コストを削減するための適応予測アルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 7.217295098686032
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Randomized smoothing has achieved state-of-the-art certified robustness against $l_2$-norm adversarial attacks. However, it is not wholly resolved on how to find the optimal base classifier for randomized smoothing. In this work, we employ a Smoothed WEighted ENsembling (SWEEN) scheme to improve the performance of randomized smoothed classifiers. We show the ensembling generality that SWEEN can help achieve optimal certified robustness. Furthermore, theoretical analysis proves that the optimal SWEEN model can be obtained from training under mild assumptions. We also develop an adaptive prediction algorithm to reduce the prediction and certification cost of SWEEN models. Extensive experiments show that SWEEN models outperform the upper envelope of their corresponding candidate models by a large margin. Moreover, SWEEN models constructed using a few small models can achieve comparable performance to a single large model with a notable reduction in training time.
• Abstract（参考訳）: ランダム化平滑化は、$l_2$-normの敵攻撃に対して最先端の認証堅牢性を達成している。 しかし,ランダム化平滑化のための最適ベース分類器の探索方法については,完全には解決されていない。 本研究では,スムーズなスムーズな分類器の性能向上のために,Smoothed Weighted ENsembling (SWEEN) 方式を用いる。 SWEENが最適な証明された堅牢性を達成するのに有効であることを示す。 さらに,理論解析により,軽度仮定下でのトレーニングから最適スウェンモデルが得られることを証明した。 また,SWEENモデルの予測と認証コストを削減するための適応予測アルゴリズムを開発した。 広範な実験により、スウェンモデルが対応する候補モデルの上限を大きなマージンで上回っていることが示されている。 さらに、少数の小さなモデルを用いて構築されたSWEENモデルは、トレーニング時間を大幅に短縮した1つの大きなモデルに匹敵する性能を達成することができる。

関連論文リスト

• Supervised Score-Based Modeling by Gradient Boosting [49.556736252628745]
  本稿では,スコアマッチングを組み合わせた勾配向上アルゴリズムとして,SSM(Supervised Score-based Model)を提案する。 推測時間と予測精度のバランスをとるため,SSMの学習とサンプリングに関する理論的解析を行った。 我々のモデルは、精度と推測時間の両方で既存のモデルより優れています。
  論文  参考訳（メタデータ） (2024-11-02T07:06:53Z)
• Advancing the Robustness of Large Language Models through Self-Denoised Smoothing [50.54276872204319]
  大規模言語モデル(LLM)は大きな成功を収めたが、敵の摂動に対する脆弱性は大きな懸念を引き起こしている。 本稿では,LLMのマルチタスク特性を活用して,まずノイズの入力を識別し,次にこれらの復号化バージョンに基づいて予測を行う。 LLMのロバスト性を高めるために個別のモデルを訓練する必要がある従来のコンピュータビジョンのスムース化技術とは異なり、本手法は効率と柔軟性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-04-18T15:47:00Z)
• Towards Stable Machine Learning Model Retraining via Slowly Varying Sequences [6.067007470552307]
  そこで本研究では,繰り返しのトレーニングにおいて安定な機械学習モデルのシーケンスを見つける手法を提案する。 最適モデルの復元が保証される混合整数最適化の定式化を開発する。 本手法は, 予測力の小さい, 制御可能な犠牲を伴い, 厳密に訓練されたモデルよりも強い安定性を示す。
  論文  参考訳（メタデータ） (2024-03-28T22:45:38Z)
• Distributionally Robust Post-hoc Classifiers under Prior Shifts [31.237674771958165]
  本研究では,クラスプライヤやグループプライヤの分布の変化による変化に頑健なトレーニングモデルの問題点について検討する。 本稿では,事前学習モデルからの予測に対するスケーリング調整を行う,非常に軽量なポストホック手法を提案する。
  論文  参考訳（メタデータ） (2023-09-16T00:54:57Z)
• Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time [69.7693300927423]
  複数モデルの重み付けを異なるパラメータ構成で微調整することにより,精度とロバスト性が向上することを示す。 モデルスープ手法は,複数の画像分類や自然言語処理タスクにまで拡張されている。
  論文  参考訳（メタデータ） (2022-03-10T17:03:49Z)
• Sparse MoEs meet Efficient Ensembles [49.313497379189315]
  このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。 Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
  論文  参考訳（メタデータ） (2021-10-07T11:58:35Z)
• On the Certified Robustness for Ensemble Models and Beyond [22.43134152931209]
  ディープニューラルネットワーク(DNN)は、敵の例に対して脆弱であり、それらを誤解することを目的としている。 我々は、アンサンブルMLモデルの信頼性の高いロバスト性を分析し、提供する。 理論的な知見に触発されて、我々は、頑健なアンサンブルMLモデルを訓練するための軽量なダイバーシティ正規化訓練(DRT)を提案する。
  論文  参考訳（メタデータ） (2021-07-22T18:10:41Z)
• Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
  我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。 このアプローチは多くの実装と最適化の課題をもたらします。 提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
  論文  参考訳（メタデータ） (2021-03-18T14:26:26Z)
• Insta-RS: Instance-wise Randomized Smoothing for Improved Robustness and Accuracy [9.50143683501477]
  Insta-RSは、テスト例にカスタマイズされたガウス分散を割り当てるマルチスタート検索アルゴリズムである。 Insta-RS Trainは、各トレーニング例のノイズレベルを適応的に調整し、カスタマイズする新しい2段階トレーニングアルゴリズムです。 本手法は,平均認定半径(ACR)とクリーンデータ精度を有意に向上させることを示した。
  論文  参考訳（メタデータ） (2021-03-07T19:46:07Z)
• Dynamic Model Pruning with Feedback [64.019079257231]
  余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。 CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-12T15:07:08Z)
• Joint Stochastic Approximation and Its Application to Learning Discrete Latent Variable Models [19.07718284287928]
  推定モデルに対する信頼度勾配を得るのが困難であることや、間接的にターゲットのログを最適化することの欠点を優雅に解決できることが示される。 本稿では,対象の対数類似度を直接最大化し,後部モデルと推論モデルとの包摂的ばらつきを同時に最小化することを提案する。 結果の学習アルゴリズムは、ジョイントSA(JSA)と呼ばれる。
  論文  参考訳（メタデータ） (2020-05-28T13:50:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。