論文の概要: GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models

• arxiv url: http://arxiv.org/abs/2304.09875v3
• Date: Mon, 28 Oct 2024 05:47:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:16:59.611960
• Title: GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models
• Title（参考訳）: GREATスコア: 生成モデルを用いた対向摂動のグローバルロバストネス評価
• Authors: Zaitang Li, Pin-Yu Chen, Tsung-Yi Ho,
• Abstract要約: GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。 我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。 GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
• 参考スコア（独自算出の注目度）: 60.48306899271866
• License:
• Abstract: Current studies on adversarial robustness mainly focus on aggregating local robustness results from a set of data samples to evaluate and rank different models. However, the local statistics may not well represent the true global robustness of the underlying unknown data distribution. To address this challenge, this paper makes the first attempt to present a new framework, called GREAT Score , for global robustness evaluation of adversarial perturbation using generative models. Formally, GREAT Score carries the physical meaning of a global statistic capturing a mean certified attack-proof perturbation level over all samples drawn from a generative model. For finite-sample evaluation, we also derive a probabilistic guarantee on the sample complexity and the difference between the sample mean and the true mean. GREAT Score has several advantages: (1) Robustness evaluations using GREAT Score are efficient and scalable to large models, by sparing the need of running adversarial attacks. In particular, we show high correlation and significantly reduced computation cost of GREAT Score when compared to the attack-based model ranking on RobustBench (Croce,et. al. 2021). (2) The use of generative models facilitates the approximation of the unknown data distribution. In our ablation study with different generative adversarial networks (GANs), we observe consistency between global robustness evaluation and the quality of GANs. (3) GREAT Score can be used for remote auditing of privacy-sensitive black-box models, as demonstrated by our robustness evaluation on several online facial recognition services.
• Abstract（参考訳）: 対向ロバストネスに関する最近の研究は、主に異なるモデルの評価とランク付けを行う一連のデータサンプルからの局所ロバストネス結果の集約に焦点を当てている。 しかし、ローカル統計は、基礎となる未知のデータ分布の真の大域的堅牢性を表すものではないかもしれない。 この課題に対処するために、生成モデルを用いた対向摂動の大域的堅牢性評価のためのGREAT Scoreと呼ばれる新しいフレームワークを初めて提示する。 正式には、GREAT Scoreは、生成モデルから引き出された全てのサンプルに対して平均的な攻撃防御摂動レベルを捕捉するグローバル統計の物理的意味を持つ。 また, 有限サンプル評価において, サンプル平均と真の平均との差と, サンプルの複雑性の確率的保証を導出する。 GREATスコアにはいくつかの利点がある: 1) GREATスコアを用いたロバストネスの評価は、敵攻撃の実行の必要性を緩和することにより、大規模モデルに対して効率的でスケーラブルである。 特に,ロバストベンチ(Croce,et al 2021)の攻撃ベースモデルと比較すると,高い相関性を示し,GREATスコアの計算コストを大幅に削減した。 2) 生成モデルを用いることで未知のデータ分布の近似が容易になる。 本研究は,GAN (Generative Adversarial Network) とGAN (Generative Adversarial Network) を併用したアブレーション研究において,グローバルロバストネス評価とGANの品質の整合性について検討した。 (3)GREATスコアは、いくつかのオンライン顔認識サービスにおける堅牢性評価で示されるように、プライバシーに敏感なブラックボックスモデルのリモート監査に使用できる。

関連論文リスト

• Benchmarking Zero-Shot Robustness of Multimodal Foundation Models: A Pilot Study [61.65123150513683]
  CLIPのようなマルチモーダル基盤モデルは、最先端のゼロショット結果を生成する。 これらのモデルは、ImageNetでトレーニングされた教師付きモデルのパフォーマンスを一致させることで、ロバスト性ギャップを埋めることが報告されている。 CLIPは、ベンチマーク上の教師付きImageNetモデルと比較して、かなりの堅牢性低下をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-03-15T17:33:49Z)
• Characterizing Data Point Vulnerability via Average-Case Robustness [29.881355412540557]
  対向ロバスト性は標準的なフレームワークであり、二眼レフを通して予測のロバスト性を見る。 我々は、局所的な点数を測定する平均ケースロバストネスと呼ばれる、ロバストネスの相補的な枠組みを考察する。 従来のディープラーニングモデルでは,推定値が正確かつ効率的であることを実証的に示す。
  論文  参考訳（メタデータ） (2023-07-26T01:10:29Z)
• From Adversarial Arms Race to Model-centric Evaluation: Motivating a Unified Automatic Robustness Evaluation Framework [91.94389491920309]
  テキストの敵対攻撃は、セマンティック保存されているが、入力に誤解を招く摂動を加えることでモデルの弱点を発見することができる。 既存のロバストネス評価の実践は、包括的評価、非現実的評価プロトコル、無効な対人サンプルの問題を示す可能性がある。 我々は、敵攻撃の利点を活用するために、モデル中心の評価にシフトする統合された自動ロバストネス評価フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-05-29T14:55:20Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
  本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。 特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
  論文  参考訳（メタデータ） (2023-04-04T17:54:32Z)
• FedRAD: Federated Robust Adaptive Distillation [7.775374800382709]
  一般的にモデルの更新を集約するコラボレーション学習フレームワークは、敵のクライアントによる毒殺攻撃のモデルに対して脆弱である。 本稿では,新たなロバスト適応蒸留法 (FedRAD) を提案する。 その結果,FedRADは敵の存在や異種データ分布において,他のアグリゲータよりも優れていた。
  論文  参考訳（メタデータ） (2021-12-02T16:50:57Z)
• A Comprehensive Evaluation Framework for Deep Model Robustness [44.20580847861682]
  ディープニューラルネットワーク(DNN)は、幅広いアプリケーションで顕著なパフォーマンスを達成しています。 彼らは敵の防御を動機付ける敵の例に弱い。 本稿では,包括的で厳密で一貫性のある評価指標を含むモデル評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-24T01:04:25Z)
• On the Evaluation of Generative Adversarial Networks By Discriminative Models [0.0]
  GAN(Generative Adversarial Networks)は、複雑な多次元データを正確にモデル化し、現実的なサンプルを生成する。 この問題に対処する研究努力の大部分は、質的な視覚的評価によって検証された。 本研究では,シームズニューラルネットワークを用いてドメインに依存しない評価指標を提案する。
  論文  参考訳（メタデータ） (2020-10-07T17:50:39Z)
• From Sound Representation to Model Robustness [82.21746840893658]
  本研究では, 環境音の標準的な表現(スペクトログラム)が, 被害者の残差畳み込みニューラルネットワークの認識性能と対角攻撃性に与える影響について検討する。 3つの環境音響データセットの様々な実験から、ResNet-18モデルは、他のディープラーニングアーキテクチャよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-07-27T17:30:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。