論文の概要: Ares: A System-Oriented Wargame Framework for Adversarial ML
- arxiv url: http://arxiv.org/abs/2210.12952v1
- Date: Mon, 24 Oct 2022 04:55:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 15:14:45.541434
- Title: Ares: A System-Oriented Wargame Framework for Adversarial ML
- Title（参考訳）: Ares: 敵対的MLのためのシステム指向のウォーゲームフレームワーク
- Authors: Farhan Ahmed, Pratik Vaishnavi, Kevin Eykholt, Amir Rahmati
- Abstract要約: Aresは、現実的なウォーゲームのような環境で、研究者が攻撃や防御を探索できる敵MLの評価フレームワークである。
アレスは、攻撃者とディフェンダーの間の対立を、反対の目的を持つ強化学習環境における2つのエージェントとして表している。
これにより、障害発生までの時間や複雑な戦略の評価など、システムレベルの評価指標が導入される。
- 参考スコア（独自算出の注目度）: 3.197282271064602
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Since the discovery of adversarial attacks against machine learning models
nearly a decade ago, research on adversarial machine learning has rapidly
evolved into an eternal war between defenders, who seek to increase the
robustness of ML models against adversarial attacks, and adversaries, who seek
to develop better attacks capable of weakening or defeating these defenses.
This domain, however, has found little buy-in from ML practitioners, who are
neither overtly concerned about these attacks affecting their systems in the
real world nor are willing to trade off the accuracy of their models in pursuit
of robustness against these attacks.
In this paper, we motivate the design and implementation of Ares, an
evaluation framework for adversarial ML that allows researchers to explore
attacks and defenses in a realistic wargame-like environment. Ares frames the
conflict between the attacker and defender as two agents in a reinforcement
learning environment with opposing objectives. This allows the introduction of
system-level evaluation metrics such as time to failure and evaluation of
complex strategies such as moving target defenses. We provide the results of
our initial exploration involving a white-box attacker against an adversarially
trained defender.
- Abstract（参考訳）: 10年近く前に機械学習モデルに対する敵の攻撃が発見されて以来、敵の機械学習の研究は急速に進化し、敵の攻撃に対するMLモデルの堅牢性を高めようとするディフェンダーと、これらの防御を弱めたり打ち負かすことができるより良い攻撃を開拓しようとする敵の間での永遠の戦争へと発展した。
しかし、このドメインはMLの実践者からはほとんど買われていない。これらの攻撃が現実世界のシステムに影響を及ぼすことを気にせず、またこれらの攻撃に対して堅牢性を求めるためにモデルの正確性を交換する意思もない。
本稿では、現実的なウォーゲームのような環境で、研究者が攻撃や防御を探索できる敵MLの評価フレームワークであるAlesの設計と実装の動機付けを行う。
aresは、攻撃者と防御者の間の対立を、対立する目標を持つ強化学習環境において2つのエージェントとして構成している。
これにより、障害発生時間などのシステムレベルの評価指標の導入と、標的防御の移動などの複雑な戦略の評価が可能になる。
我々は、敵が訓練したディフェンダーに対してホワイトボックス攻撃を仕掛けた最初の調査の結果を提供する。
関連論文リスト
- Attack Atlas: A Practitioner's Perspective on Challenges and Pitfalls in Red Teaming GenAI [52.138044013005]
生成AI、特に大規模言語モデル(LLM)は、製品アプリケーションにますます統合される。
新たな攻撃面と脆弱性が出現し、自然言語やマルチモーダルシステムにおける敵の脅威に焦点を当てる。
レッドチーム(英語版)はこれらのシステムの弱点を積極的に識別する上で重要となり、ブルーチーム(英語版)はそのような敵の攻撃から保護する。
この研究は、生成AIシステムの保護のための学術的な洞察と実践的なセキュリティ対策のギャップを埋めることを目的としている。
論文 参考訳（メタデータ） (2024-09-23T10:18:10Z) - A Novel Approach to Guard from Adversarial Attacks using Stable Diffusion [0.0]
我々の提案は、AI Guardianフレームワークに対する別のアプローチを提案する。
トレーニングプロセスに敵対的な例を含める代わりに、AIシステムをトレーニングせずに行うことを提案する。
これは、より広い範囲の攻撃に対して本質的に回復力のあるシステムを構築することを目的としています。
論文 参考訳（メタデータ） (2024-05-03T04:08:15Z) - Adversarial Markov Games: On Adaptive Decision-Based Attacks and Defenses [21.759075171536388]
攻撃だけでなく、防御も、相互作用を通じてお互いから学び合うことによって、どのような恩恵を受けるかを示します。
我々は、システムがどのように反応するかを制御するアクティブディフェンスが、意思決定ベースの攻撃に直面した際のモデルの強化に必須の補完であることを示した。
実世界で展開されるMLベースのシステムの堅牢性を確保するための効果的な戦略を策定する。
論文 参考訳（メタデータ） (2023-12-20T21:24:52Z) - On the Difficulty of Defending Contrastive Learning against Backdoor
Attacks [58.824074124014224]
バックドア攻撃が、特有のメカニズムによってどのように動作するかを示す。
本研究は, 対照的なバックドア攻撃の特異性に合わせて, 防御の必要性を浮き彫りにした。
論文 参考訳（メタデータ） (2023-12-14T15:54:52Z) - BadCLIP: Dual-Embedding Guided Backdoor Attack on Multimodal Contrastive
Learning [85.2564206440109]
本報告では,防衛後においてもバックドア攻撃が有効であり続けるという現実的なシナリオにおける脅威を明らかにする。
バックドア検出や細調整防御のモデル化に抵抗性のあるemphtoolnsアタックを導入する。
論文 参考訳（メタデータ） (2023-11-20T02:21:49Z) - Game Theoretic Mixed Experts for Combinational Adversarial Machine
Learning [10.368343314144553]
我々は、敵の攻撃と防御をアンサンブルするためのゲーム理論の枠組みを提供する。
本稿では, ランダム化変換, マルチモデル投票方式, 対向検出器アーキテクチャによる防御を目標とする3つの新しい攻撃アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-11-26T21:35:01Z) - StratDef: Strategic Defense Against Adversarial Attacks in ML-based
Malware Detection [0.0]
StratDefは、移動目標防衛アプローチに基づく戦略的防衛システムである。
我々は,StratDefが最強の敵対的脅威に直面した場合でも,他の防御よりも優れた性能を示すことを示す。
論文 参考訳（メタデータ） (2022-02-15T16:51:53Z) - Fixed Points in Cyber Space: Rethinking Optimal Evasion Attacks in the
Age of AI-NIDS [70.60975663021952]
ネットワーク分類器に対するブラックボックス攻撃について検討する。
我々は、アタッカー・ディフェンダーの固定点がそれ自体、複雑な位相遷移を持つ一般サムゲームであると主張する。
攻撃防御力学の研究には連続的な学習手法が必要であることを示す。
論文 参考訳（メタデータ） (2021-11-23T23:42:16Z) - Adversarial Attacks on ML Defense Models Competition [82.37504118766452]
清華大学のTSAILグループとAlibaba Securityグループがこの競争を組織した。
この競争の目的は、敵の堅牢性を評価するために、新しい攻撃アルゴリズムを動機付けることである。
論文 参考訳（メタデータ） (2021-10-15T12:12:41Z) - Against All Odds: Winning the Defense Challenge in an Evasion
Competition with Diversification [13.236009846517662]
本稿では,Microsoft Evasion Competitionのディフェンダーチャレンジで最初に獲得した,学習ベースのPEberusについて概説する。
セマンティック・ギャップに対処し、様々な分類モデルを使用し、ステートフル・ディフェンスを適用する。
論文 参考訳（メタデータ） (2020-10-19T14:53:06Z) - Deflecting Adversarial Attacks [94.85315681223702]
我々は、攻撃者が攻撃対象クラスに似た入力を生成することによって、敵攻撃を「防御」するこのサイクルを終わらせる新しいアプローチを提案する。
本稿ではまず,3つの検出機構を組み合わせたカプセルネットワークに基づくより強力な防御手法を提案する。
論文 参考訳（メタデータ） (2020-02-18T06:59:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。