論文の概要: Evaluating the Evaluators: Trust in Adversarial Robustness Tests

• arxiv url: http://arxiv.org/abs/2507.03450v1
• Date: Fri, 04 Jul 2025 10:07:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.739097
• Title: Evaluating the Evaluators: Trust in Adversarial Robustness Tests
• Title（参考訳）: 評価指標の評価:対人ロバストネステストにおける信頼
• Authors: Antonio Emanuele Cinà, Maura Pintor, Luca Demetrio, Ambra Demontis, Battista Biggio, Fabio Roli,
• Abstract要約: AttackBenchは、新しい最適度基準に基づいて既存の攻撃実装をランク付けする評価ツールである。 このフレームワークは、一貫したテスト条件を実行し、継続的な更新を可能にする。
• 参考スコア（独自算出の注目度）: 17.06660302788049
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite significant progress in designing powerful adversarial evasion attacks for robustness verification, the evaluation of these methods often remains inconsistent and unreliable. Many assessments rely on mismatched models, unverified implementations, and uneven computational budgets, which can lead to biased results and a false sense of security. Consequently, robustness claims built on such flawed testing protocols may be misleading and give a false sense of security. As a concrete step toward improving evaluation reliability, we present AttackBench, a benchmark framework developed to assess the effectiveness of gradient-based attacks under standardized and reproducible conditions. AttackBench serves as an evaluation tool that ranks existing attack implementations based on a novel optimality metric, which enables researchers and practitioners to identify the most reliable and effective attack for use in subsequent robustness evaluations. The framework enforces consistent testing conditions and enables continuous updates, making it a reliable foundation for robustness verification.
• Abstract（参考訳）: 堅牢性検証のための強力な敵の回避攻撃を設計する大きな進歩にもかかわらず、これらの手法の評価は一貫性がなく信頼性の低いままであることが多い。 多くの評価は、ミスマッチしたモデル、検証されていない実装、不均一な計算予算に依存しており、偏見のある結果と誤ったセキュリティ感覚につながる可能性がある。 その結果、このような欠陥のあるテストプロトコル上に構築された堅牢性主張は誤解を招く可能性があり、セキュリティの誤った感覚を与える。 評価信頼性を向上させるための具体的なステップとして,標準化および再現可能な条件下での勾配に基づく攻撃の有効性を評価するためのベンチマークフレームワークであるAttackBenchを提案する。 アタックベンチは、新しい最適度基準に基づいて既存の攻撃実装をランク付けする評価ツールとして機能し、研究者や実践者は、その後の堅牢性評価において最も信頼性が高く効果的な攻撃を特定できる。 このフレームワークは、一貫したテスト条件を実行し、継続的な更新を可能にする。

関連論文リスト

• Aurora: Are Android Malware Classifiers Reliable and Stable under Distribution Shift? [51.12297424766236]
  AURORAは、その信頼性と運用上のレジリエンスに基づいて、マルウェア分類器を評価するためのフレームワークである。 AURORAは、ポイント・イン・タイムのパフォーマンスを超えるように設計されたメトリクスのセットによって補完される。 さまざまなドリフトのデータセットにわたるSOTAフレームワークの脆弱性は、ホワイトボードへの復帰の必要性を示唆している。
  論文  参考訳（メタデータ） (2025-05-28T20:22:43Z)
• Advancing Embodied Agent Security: From Safety Benchmarks to Input Moderation [52.83870601473094]
  エンボディード・エージェントは、複数のドメインにまたがって大きな潜在能力を示す。 既存の研究は主に、一般的な大言語モデルのセキュリティに重点を置いている。 本稿では, エンボディエージェントの保護を目的とした新しい入力モデレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-22T08:34:35Z)
• A New Framework of Software Obfuscation Evaluation Criteria [3.0567294793102784]
  過去には、有効性、レジリエンス、ステルス、コストなどの保護の強さを評価するために、いくつかの基準が提案されている。 我々は、ソフトウェア保護評価基準の新たな枠組みとして、妥当性、有効性(または有効性)、堅牢性、隠蔽性、頑健性、感受性、予測可能性、コストを提案する。
  論文  参考訳（メタデータ） (2025-02-19T20:45:47Z)
• Dual-Channel Reliable Breast Ultrasound Image Classification Based on Explainable Attribution and Uncertainty Quantification [4.868832755218741]
  本稿では乳房超音波画像の分類課題について述べる。 本稿では,提案した推定信頼性と予測信頼性のスコアに基づく2チャンネル評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-08T04:37:18Z)
• From Adversarial Arms Race to Model-centric Evaluation: Motivating a Unified Automatic Robustness Evaluation Framework [91.94389491920309]
  テキストの敵対攻撃は、セマンティック保存されているが、入力に誤解を招く摂動を加えることでモデルの弱点を発見することができる。 既存のロバストネス評価の実践は、包括的評価、非現実的評価プロトコル、無効な対人サンプルの問題を示す可能性がある。 我々は、敵攻撃の利点を活用するために、モデル中心の評価にシフトする統合された自動ロバストネス評価フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-05-29T14:55:20Z)
• PixMix: Dreamlike Pictures Comprehensively Improve Safety Measures [65.36234499099294]
  フラクタルなどの画像の自然な構造的複雑さを利用した新しいデータ拡張戦略を提案する。 この課題に対処するために、フラクタルなどの画像の自然な構造的複雑さを利用した新しいデータ拡張戦略を設計する。
  論文  参考訳（メタデータ） (2021-12-09T18:59:31Z)
• Indicators of Attack Failure: Debugging and Improving Optimization of Adversarial Examples [29.385242714424624]
  機械学習モデルの頑健さを敵の例に評価することは難しい問題である。 我々は、勾配に基づく攻撃の最適化において共通の障害を明らかにするための定量的指標のセットを定義する。 実験により,現在の対向ロバスト性評価を可視化し,デバッグし,改善するために,提案した障害指標が有効であることを示す。
  論文  参考訳（メタデータ） (2021-06-18T06:57:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。