論文の概要: Voting based ensemble improves robustness of defensive models

• arxiv url: http://arxiv.org/abs/2011.14031v1
• Date: Sat, 28 Nov 2020 00:08:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-19 19:12:38.990957
• Title: Voting based ensemble improves robustness of defensive models
• Title（参考訳）: 投票に基づくアンサンブルは防御モデルの堅牢性を改善する
• Authors: Devvrit, Minhao Cheng, Cho-Jui Hsieh, Inderjit Dhillon
• Abstract要約: 我々は、より堅牢性を高めるためのアンサンブルを作ることができるかどうか研究する。 最先端の先制防衛モデルを複数組み合わせることで,59.8%の堅牢な精度を達成できる。
• 参考スコア（独自算出の注目度）: 82.70303474487105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Developing robust models against adversarial perturbations has been an active area of research and many algorithms have been proposed to train individual robust models. Taking these pretrained robust models, we aim to study whether it is possible to create an ensemble to further improve robustness. Several previous attempts tackled this problem by ensembling the soft-label prediction and have been proved vulnerable based on the latest attack methods. In this paper, we show that if the robust training loss is diverse enough, a simple hard-label based voting ensemble can boost the robust error over each individual model. Furthermore, given a pool of robust models, we develop a principled way to select which models to ensemble. Finally, to verify the improved robustness, we conduct extensive experiments to study how to attack a voting-based ensemble and develop several new white-box attacks. On CIFAR-10 dataset, by ensembling several state-of-the-art pre-trained defense models, our method can achieve a 59.8% robust accuracy, outperforming all the existing defensive models without using additional data.
• Abstract（参考訳）: 逆摂動に対するロバストモデルの開発は活発な研究分野であり、個々のロバストモデルを訓練するために多くのアルゴリズムが提案されている。 これらの事前学習されたロバストモデルを用いて,ロバスト性をさらに向上させるアンサンブルを作成することができるか検討する。 以前のいくつかの試みは、ソフトラベル予測を解読することでこの問題に取り組み、最新の攻撃方法に基づいて脆弱であることが証明された。 本稿では,頑健な学習損失が十分に多様であれば,各モデルに対する頑健な誤差を増大させることができることを示す。 さらに,ロバストなモデルのプールが与えられると,どのモデルをアンサンブルにするかを原則的に選択する手法を考案する。 最後に, 改良されたロバスト性を検証するために, 投票に基づくアンサンブルの攻撃方法と, 新たなホワイトボックス攻撃の開発方法について, 広範な実験を行った。 CIFAR-10データセットでは、いくつかの最先端の事前訓練された防衛モデルを組み込むことで、59.8%の堅牢な精度を達成でき、追加データを用いることなく既存の防衛モデルよりも優れる。

関連論文リスト

• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• Not All Steps are Equal: Efficient Generation with Progressive Diffusion Models [62.155612146799314]
  ステップ適応トレーニングと呼ばれる新しい2段階のトレーニング戦略を提案する。 初期段階では、ベース・デノナイジング・モデルはすべてのタイムステップを包含するように訓練される。 タイムステップを別々のグループに分割し、各グループ内でモデルを微調整して、特殊な認知機能を実現します。
  論文  参考訳（メタデータ） (2023-12-20T03:32:58Z)
• Self-Ensemble Adversarial Training for Improved Robustness [14.244311026737666]
  敵の訓練は、あらゆる種類の防衛方法において、様々な敵の攻撃に対する最強の戦略である。 最近の研究は主に新しい損失関数や正規化器の開発に重点を置いており、重み空間の特異な最適点を見つけようとしている。 我々は,歴史モデルの重みを平均化し,頑健な分類器を生成するための,単純だが強力なemphSelf-Ensemble Adversarial Training (SEAT)法を考案した。
  論文  参考訳（メタデータ） (2022-03-18T01:12:18Z)
• Mutual Adversarial Training: Learning together is better than going alone [82.78852509965547]
  モデル間の相互作用が知識蒸留による堅牢性に与える影響について検討する。 本稿では,複数のモデルを同時に訓練する相互対人訓練(MAT)を提案する。 MATは、ホワイトボックス攻撃下で、モデル堅牢性と最先端メソッドを効果的に改善することができる。
  論文  参考訳（メタデータ） (2021-12-09T15:59:42Z)
• Analysis and Applications of Class-wise Robustness in Adversarial Training [92.08430396614273]
  敵の訓練は、敵の例に対するモデルロバスト性を改善するための最も効果的な手法の1つである。 従来の研究は主にモデルの全体的な堅牢性に焦点を当てており、各クラスの役割に関する詳細な分析はいまだに欠落している。 MNIST, CIFAR-10, CIFAR-100, SVHN, STL-10, ImageNetの6つのベンチマークデータセットに対して, 逆トレーニングの詳細な診断を行う。 対戦型学習におけるより強力な攻撃手法は、主に脆弱なクラスに対するより成功した攻撃から、性能の向上を達成することを観察する。
  論文  参考訳（メタデータ） (2021-05-29T07:28:35Z)
• "What's in the box?!": Deflecting Adversarial Attacks by Randomly Deploying Adversarially-Disjoint Models [71.91835408379602]
  敵の例は長い間、機械学習モデルに対する真の脅威と考えられてきた。 我々は、従来のホワイトボックスやブラックボックスの脅威モデルを超えた、配置ベースの防衛パラダイムを提案する。
  論文  参考訳（メタデータ） (2021-02-09T20:07:13Z)
• Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
  我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。 プレトレーニング自体が多様性の優れた源であることが示される。 本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-14T07:59:00Z)
• DVERGE: Diversifying Vulnerabilities for Enhanced Robust Generation of Ensembles [20.46399318111058]
  敵攻撃は、小さな摂動でCNNモデルを誤解させる可能性があるため、同じデータセットでトレーニングされた異なるモデル間で効果的に転送することができる。 非破壊的特徴を蒸留することにより,各サブモデルの逆脆弱性を分離するDVERGEを提案する。 新たな多様性基準とトレーニング手順により、DVERGEは転送攻撃に対して高い堅牢性を達成することができる。
  論文  参考訳（メタデータ） (2020-09-30T14:57:35Z)
• Provably robust deep generative models [1.52292571922932]
  本稿では,確率的に堅牢な生成モデル,特に可変オートエンコーダ(VAE)の確率的に堅牢なバージョンを訓練する手法を提案する。 敵攻撃に対して極めて堅牢な生成モデルを生成することができることを示す。
  論文  参考訳（メタデータ） (2020-04-22T14:47:41Z)
• Revisiting Ensembles in an Adversarial Context: Improving Natural Accuracy [5.482532589225552]
  頑丈なモデルと非ロバストなモデルの間には、依然として自然な精度に大きなギャップがある。 この性能差を軽減するために,多数のアンサンブル法について検討する。 ランダムにロバストなモデルからの予測と、ロバストモデルと標準モデルから特徴を融合する2つのスキームを考える。
  論文  参考訳（メタデータ） (2020-02-26T15:45:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。