論文の概要: The Adaptive Arms Race: Redefining Robustness in AI Security

• arxiv url: http://arxiv.org/abs/2312.13435v3
• Date: Tue, 06 May 2025 14:21:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-07 14:45:08.92018
• Title: The Adaptive Arms Race: Redefining Robustness in AI Security
• Title（参考訳）: AIセキュリティにおけるロバスト性を再定義するアダプティブアームレース
• Authors: Ilias Tsingenopoulos, Vera Rimmer, Davy Preuveneers, Fabio Pierazzi, Lorenzo Cavallaro, Wouter Joosen,
• Abstract要約: 我々は,ブラックボックス攻撃と防御を適応的に最適化するフレームワークを,彼らが形成する競争ゲームの下で導入する。 システム応答を動的に制御するアクティブディフェンスは、決定に基づく攻撃に対するモデル強化に不可欠である。 我々の発見は、広範囲な理論的および実証的な調査によって裏付けられ、適応的敵がブラックボックスAIベースのシステムに深刻な脅威をもたらすことを確認した。
• 参考スコア（独自算出の注目度）: 21.759075171536388
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite considerable efforts on making them robust, real-world AI-based systems remain vulnerable to decision based attacks, as definitive proofs of their operational robustness have so far proven intractable. Canonical robustness evaluation relies on adaptive attacks, which leverage complete knowledge of the defense and are tailored to bypass it. This work broadens the notion of adaptivity, which we employ to enhance both attacks and defenses, showing how they can benefit from mutual learning through interaction. We introduce a framework for adaptively optimizing black-box attacks and defenses under the competitive game they form. To assess robustness reliably, it is essential to evaluate against realistic and worst-case attacks. We thus enhance attacks and their evasive arsenal together using RL, apply the same principle to defenses, and evaluate them first independently and then jointly under a multi-agent perspective. We find that active defenses, those that dynamically control system responses, are an essential complement to model hardening against decision-based attacks; that these defenses can be circumvented by adaptive attacks, something that elicits defenses being adaptive too. Our findings, supported by an extensive theoretical and empirical investigation, confirm that adaptive adversaries pose a serious threat to black-box AI-based systems, rekindling the proverbial arms race. Notably, our approach outperforms the state-of-the-art black-box attacks and defenses, while bringing them together to render effective insights into the robustness of real-world deployed ML-based systems.
• Abstract（参考訳）: それらを堅牢化するためのかなりの努力にもかかわらず、現実のAIベースのシステムは、決定に基づく攻撃に弱いままである。 正準ロバスト性評価は、防御の完全な知識を活用し、それをバイパスするように調整された適応攻撃に依存する。 この研究は、我々が攻撃と防御の両方を強化するために用いている適応性の概念を拡張し、相互作用を通じて相互学習の恩恵を受ける方法を示す。 我々は,ブラックボックス攻撃と防御を適応的に最適化するフレームワークを,彼らが形成する競争ゲームの下で導入する。 堅牢性を確実に評価するには、現実的かつ最悪の攻撃に対する評価が不可欠である。 そこで我々は,RLを用いて攻撃と回避兵器を併用し,防衛に同じ原理を適用し,まず独立に,次いでマルチエージェントの視点で評価する。 システム応答を動的に制御するアクティブディフェンスは、決定に基づく攻撃に対するモデル強化に不可欠な補完であり、これらのディフェンスは適応的なアタックによって回避できる。 我々の発見は、広範囲な理論的および実証的な調査によって裏付けられ、適応的敵がブラックボックスAIベースのシステムに深刻な脅威をもたらすことを確認した。 特に、我々のアプローチは最先端のブラックボックス攻撃や防衛よりも優れており、実際のMLベースのシステムのロバスト性に関する効果的な洞察をまとめることができる。

関連論文リスト

• Adaptive Attacks Break Defenses Against Indirect Prompt Injection Attacks on LLM Agents [3.5248694676821484]
  我々は8つの異なる防御効果を評価し、それら全てを適応攻撃を用いてバイパスし、連続して50%以上の攻撃成功率を達成する。 本研究は,ロバスト性と信頼性を確保するために,防御設計における適応攻撃評価の必要性を明らかにするものである。
  論文  参考訳（メタデータ） (2025-02-27T04:04:50Z)
• A Novel Approach to Guard from Adversarial Attacks using Stable Diffusion [0.0]
  我々の提案は、AI Guardianフレームワークに対する別のアプローチを提案する。 トレーニングプロセスに敵対的な例を含める代わりに、AIシステムをトレーニングせずに行うことを提案する。 これは、より広い範囲の攻撃に対して本質的に回復力のあるシステムを構築することを目的としています。
  論文  参考訳（メタデータ） (2024-05-03T04:08:15Z)
• Position: Towards Resilience Against Adversarial Examples [42.09231029292568]
  我々は、敵の弾力性の定義と、敵の弾力性のある防御を設計する方法について概観する。 次に, 対向弾性のサブプロブレムを導入し, 連続適応ロバストネス(continuousal adapt robustness)と呼ぶ。 本研究では, 連続適応ロバストネスと, マルチアタックロバストネスと予期せぬアタックロバストネスの関連性を実証する。
  論文  参考訳（メタデータ） (2024-05-02T14:58:44Z)
• Avoid Adversarial Adaption in Federated Learning by Multi-Metric Investigations [55.2480439325792]
  Federated Learning(FL)は、分散機械学習モデルのトレーニング、データのプライバシの保護、通信コストの低減、多様化したデータソースによるモデルパフォーマンスの向上を支援する。 FLは、中毒攻撃、標的外のパフォーマンス劣化とターゲットのバックドア攻撃の両方でモデルの整合性を損なうような脆弱性に直面している。 我々は、複数の目的に同時に適応できる、強い適応的敵の概念を新たに定義する。 MESASは、実際のデータシナリオで有効であり、平均オーバーヘッドは24.37秒である。
  論文  参考訳（メタデータ） (2023-06-06T11:44:42Z)
• A Random-patch based Defense Strategy Against Physical Attacks for Face Recognition Systems [3.6202815454709536]
  顔認識システム(FRS)の物理的攻撃を頑健に検出するランダムパッチ型防御戦略を提案する。 本手法は実世界の顔認識システムに容易に適用でき,検出性能を高めるために他の防御方法にも拡張できる。
  論文  参考訳（メタデータ） (2023-04-16T16:11:56Z)
• Ares: A System-Oriented Wargame Framework for Adversarial ML [3.197282271064602]
  Aresは、現実的なウォーゲームのような環境で、研究者が攻撃や防御を探索できる敵MLの評価フレームワークである。 アレスは、攻撃者とディフェンダーの間の対立を、反対の目的を持つ強化学習環境における2つのエージェントとして表している。 これにより、障害発生までの時間や複雑な戦略の評価など、システムレベルの評価指標が導入される。
  論文  参考訳（メタデータ） (2022-10-24T04:55:18Z)
• Scale-Invariant Adversarial Attack for Evaluating and Enhancing Adversarial Defenses [22.531976474053057]
  プロジェクテッド・グラディエント・Descent (PGD) 攻撃は最も成功した敵攻撃の1つであることが示されている。 我々は, 対向層の特徴とソフトマックス層の重みの角度を利用して, 対向層の生成を誘導するスケール不変逆襲 (SI-PGD) を提案する。
  論文  参考訳（メタデータ） (2022-01-29T08:40:53Z)
• Fixed Points in Cyber Space: Rethinking Optimal Evasion Attacks in the Age of AI-NIDS [70.60975663021952]
  ネットワーク分類器に対するブラックボックス攻撃について検討する。 我々は、アタッカー・ディフェンダーの固定点がそれ自体、複雑な位相遷移を持つ一般サムゲームであると主張する。 攻撃防御力学の研究には連続的な学習手法が必要であることを示す。
  論文  参考訳（メタデータ） (2021-11-23T23:42:16Z)
• Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial Robustness [53.094682754683255]
  モデル非依存型メタアタック(MAMA)アプローチにより,より強力な攻撃アルゴリズムを自動検出する。 本手法は、繰り返しニューラルネットワークによってパラメータ化された逆攻撃を学習する。 本研究では,未知の防御を攻撃した場合の学習能力を向上させるために,モデルに依存しない訓練アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-10-13T13:54:24Z)
• Adversarial defense for automatic speaker verification by cascaded self-supervised learning models [101.42920161993455]
  ますます悪意のある攻撃者は、自動話者検証(ASV)システムで敵攻撃を仕掛けようとする。 本稿では,逐次的自己教師付き学習モデルに基づく標準的かつ攻撃非依存な手法を提案する。 実験により, 本手法は効果的な防御性能を実現し, 敵攻撃に対抗できることを示した。
  論文  参考訳（メタデータ） (2021-02-14T01:56:43Z)
• Guided Adversarial Attack for Evaluating and Enhancing Adversarial Defenses [59.58128343334556]
  我々は、より適切な勾配方向を見つけ、攻撃効果を高め、より効率的な対人訓練をもたらす標準損失に緩和項を導入する。 本稿では, クリーン画像の関数マッピングを用いて, 敵生成を誘導するGAMA ( Guided Adversarial Margin Attack) を提案する。 また,一段防衛における最先端性能を実現するためのGAT ( Guided Adversarial Training) を提案する。
  論文  参考訳（メタデータ） (2020-11-30T16:39:39Z)
• On Adaptive Attacks to Adversarial Example Defenses [123.32678153377915]
  本稿では、敵の事例に対して、防御に対する適応攻撃を行うために必要な方法論とアプローチを概説する。 これらの分析が、敵の事例に対して適切な防御攻撃を行うためのガイダンスとして役立てられることを期待している。
  論文  参考訳（メタデータ） (2020-02-19T18:50:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。