Fugu-MT 論文翻訳(概要): RoBIC: A benchmark suite for assessing classifiers robustness

論文の概要: RoBIC: A benchmark suite for assessing classifiers robustness

arxiv url: http://arxiv.org/abs/2102.05368v2
Date: Wed, 22 Mar 2023 15:21:10 GMT
ステータス: 処理完了
システム内更新日: 2023-03-24 08:40:44.822966
Title: RoBIC: A benchmark suite for assessing classifiers robustness
Title（参考訳）: RoBIC: 分類器の堅牢性を評価するベンチマークスイート
Authors: Thibault Maho, Beno\^it Bonnet, Teddy Furon, Erwan Le Merrer
Abstract要約: 本稿では,RoBICを作成したパラメータフリーな新しいベンチマークを提案する。ネットワークの堅牢性は、その正確性とは無関係に、白と黒のボックス攻撃に対して測定する。本稿では,RoBICによる最近の16モデルのロバスト性に有意な差が認められた。
参考スコア（独自算出の注目度）: 15.413863648187675
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Many defenses have emerged with the development of adversarial attacks. Models must be objectively evaluated accordingly. This paper systematically tackles this concern by proposing a new parameter-free benchmark we coin RoBIC. RoBIC fairly evaluates the robustness of image classifiers using a new half-distortion measure. It gauges the robustness of the network against white and black box attacks, independently of its accuracy. RoBIC is faster than the other available benchmarks. We present the significant differences in the robustness of 16 recent models as assessed by RoBIC.
Abstract（参考訳）: 敵の攻撃の進展により多くの防衛が出現した。モデルは客観的に評価されなければならない。本稿では,RoBICを用いた新しいパラメータフリーベンチマークを提案することにより,この問題を体系的に解決する。 RoBICは新しい半歪み尺度を用いて画像分類器の堅牢性を評価する。白黒ボックス攻撃に対するネットワークの堅牢さを、その正確性とは独立に測定する。 RoBICは他のベンチマークよりも高速である。本稿では,RoBICによる最近の16モデルのロバスト性に大きな違いを示す。

関連論文リスト

Speech Robust Bench: A Robustness Benchmark For Speech Recognition [20.758654420612793]
Speech Robust Bench (SRB) は、さまざまな汚職に対するASRモデルの堅牢性を評価するためのベンチマークである。 SRBは114の入力摂動で構成されており、ASRモデルが野生に展開する際の不均一な破損をシミュレートする。
論文参考訳（メタデータ） (2024-03-08T08:10:29Z)
From Adversarial Arms Race to Model-centric Evaluation: Motivating a Unified Automatic Robustness Evaluation Framework [91.94389491920309]
テキストの敵対攻撃は、セマンティック保存されているが、入力に誤解を招く摂動を加えることでモデルの弱点を発見することができる。既存のロバストネス評価の実践は、包括的評価、非現実的評価プロトコル、無効な対人サンプルの問題を示す可能性がある。我々は、敵攻撃の利点を活用するために、モデル中心の評価にシフトする統合された自動ロバストネス評価フレームワークを構築した。
論文参考訳（メタデータ） (2023-05-29T14:55:20Z)
Certifying Ensembles: A General Certification Theory with S-Lipschitzness [128.2881318211724]
組み立ては、一般化、不確実性推定、校正、コンセプトドリフトの効果の緩和に有用であることが示されている。本研究では、S-Lipschitz分類器を導入し、アンサンブルの理論的堅牢性を分析することにより、リプシッツ連続性を一般化する。
論文参考訳（メタデータ） (2023-04-25T17:50:45Z)
GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。 GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
論文参考訳（メタデータ） (2023-04-19T14:58:27Z)
Open-Set Recognition: A Good Closed-Set Classifier is All You Need [146.6814176602689]
分類器が「ゼロ・オブ・ア・ア・ア・ベ」決定を行う能力は、閉集合クラスにおける精度と高い相関関係があることが示される。この相関を利用して、閉セット精度を向上させることにより、クロスエントロピーOSR'ベースライン'の性能を向上させる。また、セマンティックノベルティを検出するタスクをより尊重する新しいベンチマークを構築した。
論文参考訳（メタデータ） (2021-10-12T17:58:59Z)
RobustBench: a standardized adversarial robustness benchmark [84.50044645539305]
ロバストネスのベンチマークにおける主な課題は、その評価がしばしばエラーを起こし、ロバストネス過大評価につながることである。我々は,白箱攻撃と黒箱攻撃のアンサンブルであるAutoAttackを用いて,敵対的ロバスト性を評価する。分散シフト,キャリブレーション,アウト・オブ・ディストリビューション検出,フェアネス,プライバシリーク,スムースネス,転送性に対するロバスト性の影響を解析した。
論文参考訳（メタデータ） (2020-10-19T17:06:18Z)
RobFR: Benchmarking Adversarial Robustness on Face Recognition [41.296221656624716]
顔認識(FR)は、最近大きく進歩し、標準ベンチマークで高い精度を達成した。 FRの逆方向の脆弱性をよりよく理解するために,textbfRobFRというFR上の逆方向の頑健性評価ライブラリを開発した。 RobFRには15の一般的な自然訓練されたFRモデル、代表防御機構を備えた9つのモデル、2つの商用FR APIサービスが含まれている。
論文参考訳（メタデータ） (2020-07-08T13:39:22Z)
A general framework for defining and optimizing robustness [74.67016173858497]
分類器の様々な種類の堅牢性を定義するための厳密でフレキシブルなフレームワークを提案する。我々の概念は、分類器の堅牢性は正確性とは無関係な性質と考えるべきであるという仮定に基づいている。我々は,任意の分類モデルに適用可能な,非常に一般的なロバスト性フレームワークを開発する。
論文参考訳（メタデータ） (2020-06-19T13:24:20Z)
Benchmarking Robustness of Machine Reading Comprehension Models [29.659586787812106]
我々は,4種類の敵攻撃下でのMRCモデルのロバスト性を評価するためのモデルに依存しない新しいベンチマークAdvRACEを構築した。最新のSOTA(State-of-the-art)モデルがこれらすべての攻撃に対して脆弱であることを示す。我々は、より堅牢なMCCモデルを構築する余地があることを結論し、我々のベンチマークはこの分野の進歩を動機づけ、測定するのに役立ちます。
論文参考訳（メタデータ） (2020-04-29T08:05:32Z)
How to compare adversarial robustness of classifiers from a global perspective [0.0]
敵対的攻撃は、機械学習モデルの信頼性と信頼性を損なう。特定の脅威モデルのポイントワイド測度は、現在、分類器の堅牢性を比較するための最も一般的なツールである。本研究では,最近提案されたロバストネス曲線を用いて,ポイントワイド測度が重要なグローバルな特性を捉えることができないことを示す。
論文参考訳（メタデータ） (2020-04-22T22:07:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。