論文の概要: RobustBench: a standardized adversarial robustness benchmark
- arxiv url: http://arxiv.org/abs/2010.09670v3
- Date: Sun, 31 Oct 2021 20:03:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 20:20:18.101296
- Title: RobustBench: a standardized adversarial robustness benchmark
- Title（参考訳）: robustbench: 標準化された逆ロバスト性ベンチマーク
- Authors: Francesco Croce, Maksym Andriushchenko, Vikash Sehwag, Edoardo
Debenedetti, Nicolas Flammarion, Mung Chiang, Prateek Mittal, Matthias Hein
- Abstract要約: ロバストネスのベンチマークにおける主な課題は、その評価がしばしばエラーを起こし、ロバストネス過大評価につながることである。
我々は,白箱攻撃と黒箱攻撃のアンサンブルであるAutoAttackを用いて,敵対的ロバスト性を評価する。
分散シフト,キャリブレーション,アウト・オブ・ディストリビューション検出,フェアネス,プライバシリーク,スムースネス,転送性に対するロバスト性の影響を解析した。
- 参考スコア（独自算出の注目度）: 84.50044645539305
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As a research community, we are still lacking a systematic understanding of
the progress on adversarial robustness which often makes it hard to identify
the most promising ideas in training robust models. A key challenge in
benchmarking robustness is that its evaluation is often error-prone leading to
robustness overestimation. Our goal is to establish a standardized benchmark of
adversarial robustness, which as accurately as possible reflects the robustness
of the considered models within a reasonable computational budget. To this end,
we start by considering the image classification task and introduce
restrictions (possibly loosened in the future) on the allowed models. We
evaluate adversarial robustness with AutoAttack, an ensemble of white- and
black-box attacks, which was recently shown in a large-scale study to improve
almost all robustness evaluations compared to the original publications. To
prevent overadaptation of new defenses to AutoAttack, we welcome external
evaluations based on adaptive attacks, especially where AutoAttack flags a
potential overestimation of robustness. Our leaderboard, hosted at
https://robustbench.github.io/, contains evaluations of 120+ models and aims at
reflecting the current state of the art in image classification on a set of
well-defined tasks in $\ell_\infty$- and $\ell_2$-threat models and on common
corruptions, with possible extensions in the future. Additionally, we
open-source the library https://github.com/RobustBench/robustbench that
provides unified access to 80+ robust models to facilitate their downstream
applications. Finally, based on the collected models, we analyze the impact of
robustness on the performance on distribution shifts, calibration,
out-of-distribution detection, fairness, privacy leakage, smoothness, and
transferability.
- Abstract（参考訳）: 研究コミュニティとして、我々は相反するロバスト性に関する進歩の体系的な理解に欠けており、ロバストモデルのトレーニングにおいて最も有望なアイデアを特定することが難しいことが多い。
堅牢性ベンチマークの重要な課題は、その評価がしばしばエラーを起こしやすく、堅牢性が過大評価されることだ。
我々の目標は、合理的な計算予算内で考慮されたモデルのロバスト性を可能な限り正確に反映する、敵対的ロバスト性の標準ベンチマークを確立することである。
この目的のために、画像分類タスクを考慮し、許容されたモデルに対する制約(おそらく将来緩和される)を導入することから始める。
本研究は,白黒箱攻撃のアンサンブルであるAutoAttackを用いて,敵対的ロバスト性を評価し,本論文と比較してほぼすべてのロバスト性評価を改善するための大規模研究を行った。
AutoAttackへの新たな防御の過度適応を防止するため、特にAutoAttackが強靭性を過大評価している場合において、アダプティブアタックに基づく外部評価を歓迎する。
私たちのリーダーボードは、https://robustbench.github.io/でホストされており、120以上のモデルの評価を含んでおり、$\ell_\infty$-および$\ell_2$-threatモデルの一連のよく定義されたタスクで画像分類における現在の技術を反映し、将来的な拡張を含む共通の汚職に関するものです。
さらに、私たちはライブラリhttps://github.com/robustbench/robustbenchをオープンソースとして公開しました。
最後に,収集したモデルに基づいて,分散シフト,キャリブレーション,分散検出,公平性,プライバシリーク,スムース性,転送性に及ぼすロバスト性の影響を分析する。
関連論文リスト
- Rigorous Probabilistic Guarantees for Robust Counterfactual Explanations [80.86128012438834]
モデルシフトに対する反ファクトの堅牢性を計算することはNP完全であることを示す。
本稿では,頑健性の厳密な推定を高い保証で実現する新しい確率論的手法を提案する。
論文 参考訳（メタデータ） (2024-07-10T09:13:11Z) - Characterizing Data Point Vulnerability via Average-Case Robustness [29.881355412540557]
対向ロバスト性は標準的なフレームワークであり、二眼レフを通して予測のロバスト性を見る。
我々は、局所的な点数を測定する平均ケースロバストネスと呼ばれる、ロバストネスの相補的な枠組みを考察する。
従来のディープラーニングモデルでは,推定値が正確かつ効率的であることを実証的に示す。
論文 参考訳（メタデータ） (2023-07-26T01:10:29Z) - From Adversarial Arms Race to Model-centric Evaluation: Motivating a
Unified Automatic Robustness Evaluation Framework [91.94389491920309]
テキストの敵対攻撃は、セマンティック保存されているが、入力に誤解を招く摂動を加えることでモデルの弱点を発見することができる。
既存のロバストネス評価の実践は、包括的評価、非現実的評価プロトコル、無効な対人サンプルの問題を示す可能性がある。
我々は、敵攻撃の利点を活用するために、モデル中心の評価にシフトする統合された自動ロバストネス評価フレームワークを構築した。
論文 参考訳（メタデータ） (2023-05-29T14:55:20Z) - A Comprehensive Study on Robustness of Image Classification Models:
Benchmarking and Rethinking [54.89987482509155]
ディープニューラルネットワークのロバスト性は、通常、敵の例、共通の腐敗、分散シフトに欠けている。
画像分類タスクにおいてtextbfARES-Bench と呼ばれる総合的なベンチマークロバスト性を確立する。
それに応じてトレーニング設定を設計することにより、新しい最先端の対人ロバスト性を実現する。
論文 参考訳（メタデータ） (2023-02-28T04:26:20Z) - Is RobustBench/AutoAttack a suitable Benchmark for Adversarial
Robustness? [20.660465258314314]
我々は, AutoAttack による l-inf, eps = 8/255 によるデータ交換が非現実的に強く, 対向サンプルの完全検出率に近いことを論じる。
また、同様の成功率を達成しながら、他の攻撃方法を検出するのがずっと難しいことも示している。
論文 参考訳（メタデータ） (2021-12-02T20:44:16Z) - Clustering Effect of (Linearized) Adversarial Robust Models [60.25668525218051]
本稿では, 敵の強靭性に対する新たな理解を提案し, ドメイン適応や頑健性向上といったタスクに適用する。
提案したクラスタリング戦略の合理性と優越性を実験的に評価した。
論文 参考訳（メタデータ） (2021-11-25T05:51:03Z) - A Comprehensive Evaluation Framework for Deep Model Robustness [44.20580847861682]
ディープニューラルネットワーク(DNN)は、幅広いアプリケーションで顕著なパフォーマンスを達成しています。
彼らは敵の防御を動機付ける敵の例に弱い。
本稿では,包括的で厳密で一貫性のある評価指標を含むモデル評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-01-24T01:04:25Z) - A general framework for defining and optimizing robustness [74.67016173858497]
分類器の様々な種類の堅牢性を定義するための厳密でフレキシブルなフレームワークを提案する。
我々の概念は、分類器の堅牢性は正確性とは無関係な性質と考えるべきであるという仮定に基づいている。
我々は,任意の分類モデルに適用可能な,非常に一般的なロバスト性フレームワークを開発する。
論文 参考訳（メタデータ） (2020-06-19T13:24:20Z) - Benchmarking Robustness of Machine Reading Comprehension Models [29.659586787812106]
我々は,4種類の敵攻撃下でのMRCモデルのロバスト性を評価するためのモデルに依存しない新しいベンチマークAdvRACEを構築した。
最新のSOTA(State-of-the-art)モデルがこれらすべての攻撃に対して脆弱であることを示す。
我々は、より堅牢なMCCモデルを構築する余地があることを結論し、我々のベンチマークはこの分野の進歩を動機づけ、測定するのに役立ちます。
論文 参考訳（メタデータ） (2020-04-29T08:05:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。