論文の概要: On the Certified Robustness for Ensemble Models and Beyond
- arxiv url: http://arxiv.org/abs/2107.10873v1
- Date: Thu, 22 Jul 2021 18:10:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-26 14:04:24.677624
- Title: On the Certified Robustness for Ensemble Models and Beyond
- Title(参考訳): 組立モデルとそれ以上の証明されたロバスト性について
- Authors: Zhuolin Yang, Linyi Li, Xiaojun Xu, Bhavya Kailkhura, Tao Xie, Bo Li
- Abstract要約: ディープニューラルネットワーク(DNN)は、敵の例に対して脆弱であり、それらを誤解することを目的としている。
我々は、アンサンブルMLモデルの信頼性の高いロバスト性を分析し、提供する。
理論的な知見に触発されて、我々は、頑健なアンサンブルMLモデルを訓練するための軽量なダイバーシティ正規化訓練(DRT)を提案する。
- 参考スコア(独自算出の注目度): 22.43134152931209
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent studies show that deep neural networks (DNN) are vulnerable to
adversarial examples, which aim to mislead DNNs by adding perturbations with
small magnitude. To defend against such attacks, both empirical and theoretical
defense approaches have been extensively studied for a single ML model. In this
work, we aim to analyze and provide the certified robustness for ensemble ML
models, together with the sufficient and necessary conditions of robustness for
different ensemble protocols. Although ensemble models are shown more robust
than a single model empirically; surprisingly, we find that in terms of the
certified robustness the standard ensemble models only achieve marginal
improvement compared to a single model. Thus, to explore the conditions that
guarantee to provide certifiably robust ensemble ML models, we first prove that
diversified gradient and large confidence margin are sufficient and necessary
conditions for certifiably robust ensemble models under the model-smoothness
assumption. We then provide the bounded model-smoothness analysis based on the
proposed Ensemble-before-Smoothing strategy. We also prove that an ensemble
model can always achieve higher certified robustness than a single base model
under mild conditions. Inspired by the theoretical findings, we propose the
lightweight Diversity Regularized Training (DRT) to train certifiably robust
ensemble ML models. Extensive experiments show that our DRT enhanced ensembles
can consistently achieve higher certified robustness than existing single and
ensemble ML models, demonstrating the state-of-the-art certified L2-robustness
on MNIST, CIFAR-10, and ImageNet datasets.
- Abstract(参考訳): 最近の研究では、ディープニューラルネットワーク(DNN)は敵の例に弱いことが示されている。
このような攻撃に対して防御するために、単一のMLモデルに対して経験的および理論的防御アプローチが広く研究されている。
本研究は、異なるアンサンブルプロトコルのロバスト性に関する十分かつ必要な条件とともに、アンサンブルmlモデルの認定ロバスト性を分析し、提供することを目的としている。
アンサンブルモデルは1つのモデルよりも頑丈に示されるが、驚くべきことに、標準的なアンサンブルモデルは1つのモデルに比べて限界的な改善しか得られない。
そこで,確率的に頑健なアンサンブルMLモデルを提供することを保証する条件を検討するために,モデルの平滑性仮定の下では,多角化勾配と大きな信頼率が十分かつ必要条件であることを示す。
次に,提案手法に基づく境界モデル・スムースネス解析を行う。
また,温和な条件下では,アンサンブルモデルが単一ベースモデルよりも高い信頼性のロバスト性が得られることも証明した。
理論的な知見にインスパイアされた本研究では,頑健なアンサンブルMLモデルを訓練するための軽量な多様性正規化訓練(DRT)を提案する。
我々のDRT拡張アンサンブルは、既存のシングルおよびアンサンブルMLモデルよりも高い信頼性のロバスト性を達成することができ、MNIST、CIFAR-10、ImageNetデータセット上で、最先端の認定L2-ロバスト性を示す。
関連論文リスト
- Latent Semantic Consensus For Deterministic Geometric Model Fitting [109.44565542031384]
我々はLSC(Latent Semantic Consensus)と呼ばれる効果的な方法を提案する。
LSCは、モデルフィッティング問題をデータポイントとモデル仮説に基づく2つの潜在意味空間に定式化する。
LSCは、一般的な多構造モデルフィッティングのために、数ミリ秒以内で一貫した、信頼性の高いソリューションを提供することができる。
論文 参考訳(メタデータ) (2024-03-11T05:35:38Z) - Multi-View Conformal Learning for Heterogeneous Sensor Fusion [0.12086712057375555]
異種センサ融合のためのマルチビュー・シングルビューコンフォメーションモデルの構築と試験を行った。
我々のモデルは、共形予測フレームワークに基づいているため、理論的な限界信頼保証を提供する。
また,複数ビューモデルが単一ビューモデルに比べて不確実性の低い予測セットを生成することを示した。
論文 参考訳(メタデータ) (2024-02-19T17:30:09Z) - Decomposing Uncertainty for Large Language Models through Input
Clarification Ensembling [74.00331519233026]
大規模言語モデル(LLM)のための不確実性分解フレームワークを提案する。
我々のフレームワークは入力の一連の明確化を生成し、それらを固定LLMに入力し、対応する予測をアンサンブルする。
実験により,提案手法は様々なタスクに対して正確かつ確実な不確実性定量化を提供することを示した。
論文 参考訳(メタデータ) (2023-11-15T05:58:35Z) - Certifying Ensembles: A General Certification Theory with
S-Lipschitzness [128.2881318211724]
組み立ては、一般化、不確実性推定、校正、コンセプトドリフトの効果の緩和に有用であることが示されている。
本研究では、S-Lipschitz分類器を導入し、アンサンブルの理論的堅牢性を分析することにより、リプシッツ連続性を一般化する。
論文 参考訳(メタデータ) (2023-04-25T17:50:45Z) - Minimal Value-Equivalent Partial Models for Scalable and Robust Planning
in Lifelong Reinforcement Learning [56.50123642237106]
モデルに基づく強化学習における一般的な実践は、エージェントの環境のあらゆる側面をモデル化するモデルを学ぶことである。
このようなモデルは、生涯にわたる強化学習シナリオにおいて、スケーラブルで堅牢な計画を実行するのに特に適していない、と我々は主張する。
我々は,「最小値部分モデル」と呼ぶ,環境の関連する側面のみをモデル化する新しい種類のモデルを提案する。
論文 参考訳(メタデータ) (2023-01-24T16:40:01Z) - General multi-fidelity surrogate models: Framework and active learning
strategies for efficient rare event simulation [1.708673732699217]
複雑な現実世界のシステムの失敗の確率を推定することは、しばしば違法に高価である。
本稿では,頑健な多要素代理モデリング戦略を提案する。
高忠実度モデル呼び出しの数を劇的に削減しながら、非常に正確であることが示されている。
論文 参考訳(メタデータ) (2022-12-07T00:03:21Z) - Sparse MoEs meet Efficient Ensembles [49.313497379189315]
このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。
Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
論文 参考訳(メタデータ) (2021-10-07T11:58:35Z) - Voting based ensemble improves robustness of defensive models [82.70303474487105]
我々は、より堅牢性を高めるためのアンサンブルを作ることができるかどうか研究する。
最先端の先制防衛モデルを複数組み合わせることで,59.8%の堅牢な精度を達成できる。
論文 参考訳(メタデータ) (2020-11-28T00:08:45Z) - Enhancing Certified Robustness via Smoothed Weighted Ensembling [7.217295098686032]
Smoothed Weighted ENsembling scheme を用いてランダム化スムーズな分類器の性能を向上させる。
SWEENが最適な証明された堅牢性を達成するのに有効であることを示す。
また,SWEENモデルの予測と認証コストを削減するための適応予測アルゴリズムを開発した。
論文 参考訳(メタデータ) (2020-05-19T11:13:43Z) - Revisiting Ensembles in an Adversarial Context: Improving Natural
Accuracy [5.482532589225552]
頑丈なモデルと非ロバストなモデルの間には、依然として自然な精度に大きなギャップがある。
この性能差を軽減するために,多数のアンサンブル法について検討する。
ランダムにロバストなモデルからの予測と、ロバストモデルと標準モデルから特徴を融合する2つのスキームを考える。
論文 参考訳(メタデータ) (2020-02-26T15:45:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。