論文の概要: SCOOTER: A Human Evaluation Framework for Unrestricted Adversarial Examples

• arxiv url: http://arxiv.org/abs/2507.07776v1
• Date: Thu, 10 Jul 2025 13:56:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-11 16:40:15.429223
• Title: SCOOTER: A Human Evaluation Framework for Unrestricted Adversarial Examples
• Title（参考訳）: SCOOTER:非制限逆例のためのヒューマンアセスメントフレームワーク
• Authors: Dren Fazlija, Monty-Maximilian Zühlke, Johanna Schrader, Arkadij Orlov, Clara Stein, Iyiola E. Olatunji, Daniel Kudenko,
• Abstract要約: 制限のない敵攻撃は、$ell_p$-normの制限を受けずにコンピュータビジョンモデルを騙すことを目的としている。 これにより、攻撃者は、敵の訓練や認証された防衛戦略のような、伝統的で規範的な防御戦略を回避できる。 SCOOTERは、制約のない敵の例を評価するための、オープンソースの統計的に駆動するフレームワークである。
• 参考スコア（独自算出の注目度）: 2.7641556116998656
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unrestricted adversarial attacks aim to fool computer vision models without being constrained by $\ell_p$-norm bounds to remain imperceptible to humans, for example, by changing an object's color. This allows attackers to circumvent traditional, norm-bounded defense strategies such as adversarial training or certified defense strategies. However, due to their unrestricted nature, there are also no guarantees of norm-based imperceptibility, necessitating human evaluations to verify just how authentic these adversarial examples look. While some related work assesses this vital quality of adversarial attacks, none provide statistically significant insights. This issue necessitates a unified framework that supports and streamlines such an assessment for evaluating and comparing unrestricted attacks. To close this gap, we introduce SCOOTER - an open-source, statistically powered framework for evaluating unrestricted adversarial examples. Our contributions are: $(i)$ best-practice guidelines for crowd-study power, compensation, and Likert equivalence bounds to measure imperceptibility; $(ii)$ the first large-scale human vs. model comparison across 346 human participants showing that three color-space attacks and three diffusion-based attacks fail to produce imperceptible images. Furthermore, we found that GPT-4o can serve as a preliminary test for imperceptibility, but it only consistently detects adversarial examples for four out of six tested attacks; $(iii)$ open-source software tools, including a browser-based task template to collect annotations and analysis scripts in Python and R; $(iv)$ an ImageNet-derived benchmark dataset containing 3K real images, 7K adversarial examples, and over 34K human ratings. Our findings demonstrate that automated vision systems do not align with human perception, reinforcing the need for a ground-truth SCOOTER benchmark.
• Abstract（参考訳）: 制限されない敵攻撃は、例えばオブジェクトの色を変えることで、$\ell_p$-norm境界によって制約されることなく、コンピュータビジョンモデルを騙すことを目的としている。 これにより、攻撃者は、敵の訓練や認証された防衛戦略のような、伝統的で規範的な防御戦略を回避できる。 しかし、その制約のない性質のため、これらの敵対的な例がいかに本物であるかを正当に検証するためには、人間の評価を必要とするノルムベースの非受容性の保証も存在しない。 いくつかの関連する研究は、この敵攻撃の致命的な品質を評価するが、統計的に重要な洞察を与えるものはない。 この問題は、制限のない攻撃を評価し、比較するための評価のような、統一されたフレームワークを必要とします。 このギャップを埋めるために、制約のない敵の例を評価するための、オープンソースで統計的に駆動されたフレームワークであるSCOOTERを紹介します。 私たちのコントリビューションは以下のとおりです。 (i)群衆の学習力、補償、および非受容性を測定するためのQuatt同値境界に関するベストプラクティスガイドライン$ (ii)346人の被験者を対象に,3つの色空間攻撃と3つの拡散攻撃が知覚不可能な画像の生成に失敗することを示す,最初の大規模人間対モデルの比較を行った。 さらに, GPT-4oは, 6件の攻撃のうち, 4件の攻撃例のみを連続して検出する。 (iii)PythonとRでアノテーションや分析スクリプトを収集するブラウザベースのタスクテンプレートを含むオープンソースソフトウェアツール。 (iv)ImageNet由来のベンチマークデータセットで、3Kの実画像、7Kの敵画像、34K以上の人間のレーティングを含む。 この結果,自動視覚システムは人間の知覚と一致しないことが明らかとなり,SCOOTERベンチマークの必要性が高まった。

関連論文リスト

• How stealthy is stealthy? Studying the Efficacy of Black-Box Adversarial Attacks in the Real World [1.799933345199395]
  本研究では,コンピュータビジョンにおけるブラックボックス攻撃について検討する。 ECLIPSE, サンプル勾配に基づくガウス的ぼかしを用いた新たな攻撃法と局所代理モデルを提案する。
  論文  参考訳（メタデータ） (2025-06-03T08:56:37Z)
• AdvQDet: Detecting Query-Based Adversarial Attacks with Adversarial Contrastive Prompt Tuning [93.77763753231338]
  CLIP画像エンコーダを微調整し、2つの中間対向クエリに対して同様の埋め込みを抽出するために、ACPT(Adversarial Contrastive Prompt Tuning)を提案する。 我々は,ACPTが7つの最先端クエリベースの攻撃を検出できることを示す。 また,ACPTは3種類のアダプティブアタックに対して堅牢であることを示す。
  論文  参考訳（メタデータ） (2024-08-04T09:53:50Z)
• How Real Is Real? A Human Evaluation Framework for Unrestricted Adversarial Examples [8.483679748399036]
  敵の例は、自動運転車のようなAIベースのシステムの安全性を脅かす。 画像領域では、悪質に摂動したデータポイントを表現し、人間に相応しいように見える。 本研究では,制限のない画像ベース攻撃に対する評価フレームワークであるSCOOTERを提案する。
  論文  参考訳（メタデータ） (2024-04-19T06:42:01Z)
• BruSLeAttack: A Query-Efficient Score-Based Black-Box Sparse Adversarial Attack [22.408968332454062]
  モデルクエリに対するスコアベースの応答を単純に観察することで、スパース対逆サンプルを生成するという、独特であまりよく理解されていない問題について検討する。 この問題に対するBruSLeAttackアルゴリズムを開発した。 私たちの作業は、モデル脆弱性の迅速な評価を促進し、デプロイされたシステムの安全性、セキュリティ、信頼性に対する警戒を高めます。
  論文  参考訳（メタデータ） (2024-04-08T08:59:26Z)
• The Best Defense is a Good Offense: Adversarial Augmentation against Adversarial Attacks [91.56314751983133]
  A5$は、手元の入力に対する攻撃が失敗することを保証するために防御的摂動を構築するためのフレームワークである。 我々は,地上の真理ラベルを無視するロバスト化ネットワークを用いて,実機での防御強化を効果的に示す。 また、A5$を適用して、確実に堅牢な物理オブジェクトを作成する方法も示します。
  論文  参考訳（メタデータ） (2023-05-23T16:07:58Z)
• A Unified Evaluation of Textual Backdoor Learning: Frameworks and Benchmarks [72.7373468905418]
  我々は,テキストバックドア学習の実装と評価を促進するオープンソースツールキットOpenBackdoorを開発した。 また,単純なクラスタリングに基づく防御ベースラインであるCUBEを提案する。
  論文  参考訳（メタデータ） (2022-06-17T02:29:23Z)
• Practical Evaluation of Adversarial Robustness via Adaptive Auto Attack [96.50202709922698]
  実用的な評価手法は、便利な(パラメータフリー)、効率的な(イテレーションの少ない)、信頼性を持つべきである。 本稿では,パラメータフリーな適応オートアタック (A$3$) 評価手法を提案する。
  論文  参考訳（メタデータ） (2022-03-10T04:53:54Z)
• Improving the Adversarial Robustness for Speaker Verification by Self-Supervised Learning [95.60856995067083]
  この研究は、特定の攻撃アルゴリズムを知らずにASVの敵防衛を行う最初の試みの一つである。 本研究の目的は,1) 対向摂動浄化と2) 対向摂動検出の2つの視点から対向防御を行うことである。 実験の結果, 検出モジュールは, 約80%の精度で対向検体を検出することにより, ASVを効果的に遮蔽することがわかった。
  論文  参考訳（メタデータ） (2021-06-01T07:10:54Z)
• Towards Adversarial Patch Analysis and Certified Defense against Crowd Counting [61.99564267735242]
  安全クリティカルな監視システムの重要性から、群衆のカウントは多くの注目を集めています。 近年の研究では、ディープニューラルネットワーク(DNN)の手法が敵の攻撃に弱いことが示されている。 群衆カウントモデルのロバスト性を評価するために,Momentumを用いた攻撃戦略としてAdversarial Patch Attackを提案する。
  論文  参考訳（メタデータ） (2021-04-22T05:10:55Z)
• Generating Unrestricted Adversarial Examples via Three Parameters [11.325135016306165]
  提案された敵対攻撃は、限られたパラメータ数を持つ無制限の敵対的例を生成する。 MNISTとSVHNデータセットの人間による評価で平均的な成功率は93.5%である。 また、モデル精度を6つのデータセットで平均73%削減します。
  論文  参考訳（メタデータ） (2021-03-13T07:20:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。