Fugu-MT 論文翻訳(概要): A Comprehensive Evaluation Framework for Deep Model Robustness

論文の概要: A Comprehensive Evaluation Framework for Deep Model Robustness

arxiv url: http://arxiv.org/abs/2101.09617v1
Date: Sun, 24 Jan 2021 01:04:25 GMT
ステータス: 処理完了
システム内更新日: 2021-03-16 09:14:24.964972
Title: A Comprehensive Evaluation Framework for Deep Model Robustness
Title（参考訳）: 深層モデルロバスト性のための総合評価フレームワーク
Authors: Aishan Liu, Xianglong Liu, Jun Guo, Jiakai Wang, Yuqing Ma, Ze Zhao, Xinghai Gao, Gang Xiao
Abstract要約: ディープニューラルネットワーク(DNN)は、幅広いアプリケーションで顕著なパフォーマンスを達成しています。彼らは敵の防御を動機付ける敵の例に弱い。本稿では,包括的で厳密で一貫性のある評価指標を含むモデル評価フレームワークを提案する。
参考スコア（独自算出の注目度）: 44.20580847861682
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep neural networks (DNNs) have achieved remarkable performance across a wide area of applications. However, they are vulnerable to adversarial examples, which motivates the adversarial defense. By adopting simple evaluation metrics, most of the current defenses only conduct incomplete evaluations, which are far from providing comprehensive understandings of the limitations of these defenses. Thus, most proposed defenses are quickly shown to be attacked successfully, which result in the "arm race" phenomenon between attack and defense. To mitigate this problem, we establish a model robustness evaluation framework containing a comprehensive, rigorous, and coherent set of evaluation metrics, which could fully evaluate model robustness and provide deep insights into building robust models. With 23 evaluation metrics in total, our framework primarily focuses on the two key factors of adversarial learning (\ie, data and model). Through neuron coverage and data imperceptibility, we use data-oriented metrics to measure the integrity of test examples; by delving into model structure and behavior, we exploit model-oriented metrics to further evaluate robustness in the adversarial setting. To fully demonstrate the effectiveness of our framework, we conduct large-scale experiments on multiple datasets including CIFAR-10 and SVHN using different models and defenses with our open-source platform AISafety. Overall, our paper aims to provide a comprehensive evaluation framework which could demonstrate detailed inspections of the model robustness, and we hope that our paper can inspire further improvement to the model robustness.
Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、幅広いアプリケーションで顕著なパフォーマンスを達成しています。しかし、彼らは敵の防衛を動機づける敵の例に対して脆弱です。単純な評価基準を採用することで、現在の防御のほとんどは不完全な評価しか行わず、これらの防御の限界に関する包括的理解を提供するには程遠い。したがって、ほとんどの提案された防御はすぐに攻撃に成功し、攻撃と防衛の間の「武装レース」現象を引き起こします。この問題を軽減するため,我々は,モデルロバスト性を完全に評価し,ロバストモデルの構築に深い洞察を与える総合的かつ厳密でコヒーレントな評価指標を含むモデルロバスト性評価フレームワークを構築した。総合評価指標23項目において,本フレームワークは主に,逆学習(\ie,データ,モデル)の2つの重要な要素に注目した。ニューロンのカバレッジとデータインセプティビリティを通じて、データ指向のメトリクスを使用してテスト例の整合性を測定します。モデル構造と振る舞いを掘り下げることにより、モデル指向のメトリクスを活用して、敵対的な設定における堅牢性をさらに評価します。 CIFAR-10やSVHNを含む複数のデータセットに対して,オープンソースプラットフォームであるAISafetyを使って,さまざまなモデルとディフェンスを使用して大規模な実験を行う。本研究の目的は,モデルロバストネスの詳細な検査を行うための総合的な評価フレームワークを提供することであり,本論文がモデルロバストネスにさらなる改善をもたらすことを願っている。

関連論文リスト

Towards Million-Scale Adversarial Robustness Evaluation With Stronger Individual Attacks [26.422616504640786]
本稿では,ロジット空間ではなく,確率空間における対角的マージン・アタック(Probability Margin Attack, PMA)を提案する。我々は、百万スケールのデータセットCC1Mを作成し、それを用いて、敵に訓練されたImageNetモデルの最初の百万スケールの対角ロバスト性評価を行う。
論文参考訳（メタデータ） (2024-11-20T10:41:23Z)
MIBench: A Comprehensive Benchmark for Model Inversion Attack and Defense [43.71365087852274]
Model Inversion (MI)攻撃は、ターゲットモデルの出力情報を活用して、プライバシに敏感なトレーニングデータを再構築することを目的としている。包括的で整合性があり、信頼性の高いベンチマークが欠如していることは、非常に大きな課題である。この致命的なギャップに対処するため、モデル反転攻撃と防御のための最初の実用的なベンチマーク(textitMIBench)を紹介した。
論文参考訳（メタデータ） (2024-10-07T16:13:49Z)
StructEval: Deepen and Broaden Large Language Model Assessment via Structured Evaluation [46.59416831869014]
本稿では,StructEvalと呼ばれる新しい評価フレームワークを提案する。原子テストの目的から始めて、StructEvalは、複数の認知レベルと批判的概念にまたがって構造化された評価を行うことによって、評価をさらに深め、拡張する。広く使用されている3つのベンチマークの実験は、StructEvalがデータ汚染のリスクに抵抗する信頼性の高いツールであることを示している。
論文参考訳（メタデータ） (2024-08-06T16:28:30Z)
Constrained Adaptive Attacks: Realistic Evaluation of Adversarial Examples and Robust Training of Deep Neural Networks for Tabular Data [19.579837693614326]
本稿では,制約付きディープラーニングモデルに対する最初の効率的な回避攻撃であるCAAを提案する。 CAAを活用して、クレジットスコア、フィッシング、ボットネット攻撃検出という3つの一般的なユースケースにわたる、ディープタブモデルのベンチマークを構築します。
論文参考訳（メタデータ） (2023-11-08T07:35:28Z)
From Adversarial Arms Race to Model-centric Evaluation: Motivating a Unified Automatic Robustness Evaluation Framework [91.94389491920309]
テキストの敵対攻撃は、セマンティック保存されているが、入力に誤解を招く摂動を加えることでモデルの弱点を発見することができる。既存のロバストネス評価の実践は、包括的評価、非現実的評価プロトコル、無効な対人サンプルの問題を示す可能性がある。我々は、敵攻撃の利点を活用するために、モデル中心の評価にシフトする統合された自動ロバストネス評価フレームワークを構築した。
論文参考訳（メタデータ） (2023-05-29T14:55:20Z)
GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。 GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
論文参考訳（メタデータ） (2023-04-19T14:58:27Z)
A Unified Evaluation of Textual Backdoor Learning: Frameworks and Benchmarks [72.7373468905418]
我々は,テキストバックドア学習の実装と評価を促進するオープンソースツールキットOpenBackdoorを開発した。また,単純なクラスタリングに基づく防御ベースラインであるCUBEを提案する。
論文参考訳（メタデータ） (2022-06-17T02:29:23Z)
Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial Robustness [53.094682754683255]
モデル非依存型メタアタック(MAMA)アプローチにより,より強力な攻撃アルゴリズムを自動検出する。本手法は、繰り返しニューラルネットワークによってパラメータ化された逆攻撃を学習する。本研究では,未知の防御を攻撃した場合の学習能力を向上させるために,モデルに依存しない訓練アルゴリズムを開発した。
論文参考訳（メタデータ） (2021-10-13T13:54:24Z)
RobustBench: a standardized adversarial robustness benchmark [84.50044645539305]
ロバストネスのベンチマークにおける主な課題は、その評価がしばしばエラーを起こし、ロバストネス過大評価につながることである。我々は,白箱攻撃と黒箱攻撃のアンサンブルであるAutoAttackを用いて,敵対的ロバスト性を評価する。分散シフト,キャリブレーション,アウト・オブ・ディストリビューション検出,フェアネス,プライバシリーク,スムースネス,転送性に対するロバスト性の影響を解析した。
論文参考訳（メタデータ） (2020-10-19T17:06:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。