論文の概要: On the Certified Robustness for Ensemble Models and Beyond

• arxiv url: http://arxiv.org/abs/2107.10873v1
• Date: Thu, 22 Jul 2021 18:10:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-26 14:04:24.677624
• Title: On the Certified Robustness for Ensemble Models and Beyond
• Title（参考訳）: 組立モデルとそれ以上の証明されたロバスト性について
• Authors: Zhuolin Yang, Linyi Li, Xiaojun Xu, Bhavya Kailkhura, Tao Xie, Bo Li
• Abstract要約: ディープニューラルネットワーク(DNN)は、敵の例に対して脆弱であり、それらを誤解することを目的としている。 我々は、アンサンブルMLモデルの信頼性の高いロバスト性を分析し、提供する。 理論的な知見に触発されて、我々は、頑健なアンサンブルMLモデルを訓練するための軽量なダイバーシティ正規化訓練(DRT)を提案する。
• 参考スコア（独自算出の注目度）: 22.43134152931209
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent studies show that deep neural networks (DNN) are vulnerable to adversarial examples, which aim to mislead DNNs by adding perturbations with small magnitude. To defend against such attacks, both empirical and theoretical defense approaches have been extensively studied for a single ML model. In this work, we aim to analyze and provide the certified robustness for ensemble ML models, together with the sufficient and necessary conditions of robustness for different ensemble protocols. Although ensemble models are shown more robust than a single model empirically; surprisingly, we find that in terms of the certified robustness the standard ensemble models only achieve marginal improvement compared to a single model. Thus, to explore the conditions that guarantee to provide certifiably robust ensemble ML models, we first prove that diversified gradient and large confidence margin are sufficient and necessary conditions for certifiably robust ensemble models under the model-smoothness assumption. We then provide the bounded model-smoothness analysis based on the proposed Ensemble-before-Smoothing strategy. We also prove that an ensemble model can always achieve higher certified robustness than a single base model under mild conditions. Inspired by the theoretical findings, we propose the lightweight Diversity Regularized Training (DRT) to train certifiably robust ensemble ML models. Extensive experiments show that our DRT enhanced ensembles can consistently achieve higher certified robustness than existing single and ensemble ML models, demonstrating the state-of-the-art certified L2-robustness on MNIST, CIFAR-10, and ImageNet datasets.
• Abstract（参考訳）: 最近の研究では、ディープニューラルネットワーク(DNN)は敵の例に弱いことが示されている。 このような攻撃に対して防御するために、単一のMLモデルに対して経験的および理論的防御アプローチが広く研究されている。 本研究は、異なるアンサンブルプロトコルのロバスト性に関する十分かつ必要な条件とともに、アンサンブルmlモデルの認定ロバスト性を分析し、提供することを目的としている。 アンサンブルモデルは1つのモデルよりも頑丈に示されるが、驚くべきことに、標準的なアンサンブルモデルは1つのモデルに比べて限界的な改善しか得られない。 そこで,確率的に頑健なアンサンブルMLモデルを提供することを保証する条件を検討するために,モデルの平滑性仮定の下では,多角化勾配と大きな信頼率が十分かつ必要条件であることを示す。 次に,提案手法に基づく境界モデル・スムースネス解析を行う。 また,温和な条件下では,アンサンブルモデルが単一ベースモデルよりも高い信頼性のロバスト性が得られることも証明した。 理論的な知見にインスパイアされた本研究では,頑健なアンサンブルMLモデルを訓練するための軽量な多様性正規化訓練(DRT)を提案する。 我々のDRT拡張アンサンブルは、既存のシングルおよびアンサンブルMLモデルよりも高い信頼性のロバスト性を達成することができ、MNIST、CIFAR-10、ImageNetデータセット上で、最先端の認定L2-ロバスト性を示す。

関連論文リスト

• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Benchmarking Zero-Shot Robustness of Multimodal Foundation Models: A Pilot Study [61.65123150513683]
  CLIPのようなマルチモーダル基盤モデルは、最先端のゼロショット結果を生成する。 これらのモデルは、ImageNetでトレーニングされた教師付きモデルのパフォーマンスを一致させることで、ロバスト性ギャップを埋めることが報告されている。 CLIPは、ベンチマーク上の教師付きImageNetモデルと比較して、かなりの堅牢性低下をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-03-15T17:33:49Z)
• Latent Semantic Consensus For Deterministic Geometric Model Fitting [109.44565542031384]
  我々はLSC(Latent Semantic Consensus)と呼ばれる効果的な方法を提案する。 LSCは、モデルフィッティング問題をデータポイントとモデル仮説に基づく2つの潜在意味空間に定式化する。 LSCは、一般的な多構造モデルフィッティングのために、数ミリ秒以内で一貫した、信頼性の高いソリューションを提供することができる。
  論文  参考訳（メタデータ） (2024-03-11T05:35:38Z)
• Multi-View Conformal Learning for Heterogeneous Sensor Fusion [0.12086712057375555]
  異種センサ融合のためのマルチビュー・シングルビューコンフォメーションモデルの構築と試験を行った。 我々のモデルは、共形予測フレームワークに基づいているため、理論的な限界信頼保証を提供する。 また,複数ビューモデルが単一ビューモデルに比べて不確実性の低い予測セットを生成することを示した。
  論文  参考訳（メタデータ） (2024-02-19T17:30:09Z)
• Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
  本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。 この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-11-03T05:41:25Z)
• Certifying Ensembles: A General Certification Theory with S-Lipschitzness [128.2881318211724]
  組み立ては、一般化、不確実性推定、校正、コンセプトドリフトの効果の緩和に有用であることが示されている。 本研究では、S-Lipschitz分類器を導入し、アンサンブルの理論的堅牢性を分析することにより、リプシッツ連続性を一般化する。
  論文  参考訳（メタデータ） (2023-04-25T17:50:45Z)
• Sparse MoEs meet Efficient Ensembles [49.313497379189315]
  このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。 Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
  論文  参考訳（メタデータ） (2021-10-07T11:58:35Z)
• Enhancing Certified Robustness via Smoothed Weighted Ensembling [7.217295098686032]
  Smoothed Weighted ENsembling scheme を用いてランダム化スムーズな分類器の性能を向上させる。 SWEENが最適な証明された堅牢性を達成するのに有効であることを示す。 また,SWEENモデルの予測と認証コストを削減するための適応予測アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-05-19T11:13:43Z)
• Revisiting Ensembles in an Adversarial Context: Improving Natural Accuracy [5.482532589225552]
  頑丈なモデルと非ロバストなモデルの間には、依然として自然な精度に大きなギャップがある。 この性能差を軽減するために,多数のアンサンブル法について検討する。 ランダムにロバストなモデルからの予測と、ロバストモデルと標準モデルから特徴を融合する2つのスキームを考える。
  論文  参考訳（メタデータ） (2020-02-26T15:45:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。