論文の概要: Taking off the Rose-Tinted Glasses: A Critical Look at Adversarial ML Through the Lens of Evasion Attacks

• arxiv url: http://arxiv.org/abs/2410.12076v1
• Date: Tue, 15 Oct 2024 21:33:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:42:32.551077
• Title: Taking off the Rose-Tinted Glasses: A Critical Look at Adversarial ML Through the Lens of Evasion Attacks
• Title（参考訳）: バラ色のグラスを脱ぐ: 侵略的攻撃のレンズを通して、敵対的MLを批判的に見る
• Authors: Kevin Eykholt, Farhan Ahmed, Pratik Vaishnavi, Amir Rahmati,
• Abstract要約: 我々は、過度に寛容な攻撃と過度に制限された防衛脅威モデルが、MLドメインにおける防衛開発を妨げていると主張している。 我々は、AIの観点からではなく、システムセキュリティの観点から、敵対的機械学習を分析する。
• 参考スコア（独自算出の注目度）: 11.830908033835728
• License:
• Abstract: The vulnerability of machine learning models in adversarial scenarios has garnered significant interest in the academic community over the past decade, resulting in a myriad of attacks and defenses. However, while the community appears to be overtly successful in devising new attacks across new contexts, the development of defenses has stalled. After a decade of research, we appear no closer to securing AI applications beyond additional training. Despite a lack of effective mitigations, AI development and its incorporation into existing systems charge full speed ahead with the rise of generative AI and large language models. Will our ineffectiveness in developing solutions to adversarial threats further extend to these new technologies? In this paper, we argue that overly permissive attack and overly restrictive defensive threat models have hampered defense development in the ML domain. Through the lens of adversarial evasion attacks against neural networks, we critically examine common attack assumptions, such as the ability to bypass any defense not explicitly built into the model. We argue that these flawed assumptions, seen as reasonable by the community based on paper acceptance, have encouraged the development of adversarial attacks that map poorly to real-world scenarios. In turn, new defenses evaluated against these very attacks are inadvertently required to be almost perfect and incorporated as part of the model. But do they need to? In practice, machine learning models are deployed as a small component of a larger system. We analyze adversarial machine learning from a system security perspective rather than an AI perspective and its implications for emerging AI paradigms.
• Abstract（参考訳）: 敵対的なシナリオにおける機械学習モデルの脆弱性は、過去10年間、学術的コミュニティに大きな関心を寄せてきた。 しかし、コミュニティは新しい状況にまたがって新たな攻撃を考案することに大成功しているように見えるが、防衛の開発は停滞している。 10年にわたる研究の末、私たちは、追加のトレーニング以上のAIアプリケーションを確保することに近づいたようです。 効果的な緩和策の欠如にもかかわらず、AI開発とその既存のシステムへの組み入れは、生成的AIと大規模言語モデルの台頭に先立ち、完全なスピードを突破する。 敵の脅威に対する解決策開発における我々の非効率性は、これらの新技術をさらに拡張するのか? 本稿では,過度に寛容な攻撃と過度に制限された防衛脅威モデルが,MLドメインにおける防衛開発を妨げていることを論じる。 ニューラルネットワークに対する敵対的回避攻撃のレンズを通して、モデルに明示的に構築されていない防御を回避できるなど、一般的な攻撃仮定を批判的に検証する。 論文の受理に基づくコミュニティが合理的とみなすこれらの欠点のある仮定は、現実のシナリオにはあまり対応しない敵攻撃の開発を奨励していると論じる。 逆に、これらの攻撃に対して評価された新しい防御は、ほぼ完璧で、モデルの一部として組み込まれることが必然的に要求される。 しかし、必要か? 実際に、機械学習モデルは、より大きなシステムの小さなコンポーネントとしてデプロイされます。 我々は、AIの観点からではなく、システムセキュリティの観点から、敵対的機械学習を分析し、その進化するAIパラダイムに対する意味を明らかにする。

関連論文リスト

• Attack Atlas: A Practitioner's Perspective on Challenges and Pitfalls in Red Teaming GenAI [52.138044013005]
  生成AI、特に大規模言語モデル(LLM)は、製品アプリケーションにますます統合される。 新たな攻撃面と脆弱性が出現し、自然言語やマルチモーダルシステムにおける敵の脅威に焦点を当てる。 レッドチーム(英語版)はこれらのシステムの弱点を積極的に識別する上で重要となり、ブルーチーム(英語版)はそのような敵の攻撃から保護する。 この研究は、生成AIシステムの保護のための学術的な洞察と実践的なセキュリティ対策のギャップを埋めることを目的としている。
  論文  参考訳（メタデータ） (2024-09-23T10:18:10Z)
• A Novel Approach to Guard from Adversarial Attacks using Stable Diffusion [0.0]
  我々の提案は、AI Guardianフレームワークに対する別のアプローチを提案する。 トレーニングプロセスに敵対的な例を含める代わりに、AIシステムをトレーニングせずに行うことを提案する。 これは、より広い範囲の攻撃に対して本質的に回復力のあるシステムを構築することを目的としています。
  論文  参考訳（メタデータ） (2024-05-03T04:08:15Z)
• BadCLIP: Dual-Embedding Guided Backdoor Attack on Multimodal Contrastive Learning [85.2564206440109]
  本報告では,防衛後においてもバックドア攻撃が有効であり続けるという現実的なシナリオにおける脅威を明らかにする。 バックドア検出や細調整防御のモデル化に抵抗性のあるemphtoolnsアタックを導入する。
  論文  参考訳（メタデータ） (2023-11-20T02:21:49Z)
• Towards more Practical Threat Models in Artificial Intelligence Security [66.67624011455423]
  最近の研究で、人工知能のセキュリティの研究と実践のギャップが特定されている。 我々は、AIセキュリティ研究で最も研究されている6つの攻撃の脅威モデルを再検討し、実際にAIの使用と一致させる。
  論文  参考訳（メタデータ） (2023-11-16T16:09:44Z)
• Isolation and Induction: Training Robust Deep Neural Networks against Model Stealing Attacks [51.51023951695014]
  既存のモデル盗難防衛は、被害者の後部確率に偽りの摂動を加え、攻撃者を誤解させる。 本稿では,モデルステルス防衛のための新規かつ効果的なトレーニングフレームワークである分離誘導(InI)を提案する。 モデルの精度を損なうモデル予測に摂動を加えるのとは対照的に、我々はモデルを訓練して、盗むクエリに対して非形式的なアウトプットを生成する。
  論文  参考訳（メタデータ） (2023-08-02T05:54:01Z)
• Fixed Points in Cyber Space: Rethinking Optimal Evasion Attacks in the Age of AI-NIDS [70.60975663021952]
  ネットワーク分類器に対するブラックボックス攻撃について検討する。 我々は、アタッカー・ディフェンダーの固定点がそれ自体、複雑な位相遷移を持つ一般サムゲームであると主張する。 攻撃防御力学の研究には連続的な学習手法が必要であることを示す。
  論文  参考訳（メタデータ） (2021-11-23T23:42:16Z)
• Towards Evaluating the Robustness of Neural Networks Learned by Transduction [44.189248766285345]
  Greedy Model Space Attack (GMSA)は、トランスダクティブ学習に基づく防御を評価するための新しいベースラインとして機能する攻撃フレームワークである。 GMSAは, 弱いインスタンス化であっても, 従来のトランスダクティブ・ラーニングに基づく防御を破ることができることを示す。
  論文  参考訳（メタデータ） (2021-10-27T19:39:50Z)
• The Feasibility and Inevitability of Stealth Attacks [63.14766152741211]
  我々は、攻撃者が汎用人工知能システムにおける決定を制御できる新しい敵の摂動について研究する。 敵対的なデータ修正とは対照的に、ここで考慮する攻撃メカニズムには、AIシステム自体の変更が含まれる。
  論文  参考訳（メタデータ） (2021-06-26T10:50:07Z)
• Security and Privacy for Artificial Intelligence: Opportunities and Challenges [11.368470074697747]
  近年、ほとんどのAIモデルは高度なハッキング技術に弱い。 この課題は、敵AIの研究努力を共同で進めるきっかけとなった。 我々は、AIアプリケーションに対する敵攻撃を実証する総合的なサイバーセキュリティレビューを提示する。
  論文  参考訳（メタデータ） (2021-02-09T06:06:13Z)
• An Analysis of Adversarial Attacks and Defenses on Autonomous Driving Models [15.007794089091616]
  畳み込みニューラルネットワーク(CNN)は、自律運転において重要な要素である。 これまでの研究では、CNNベースの分類モデルは敵の攻撃に弱いことが示されている。 本稿では,3つの駆動モデルに対する5つの敵攻撃と4つの防御手法の詳細な解析を行う。
  論文  参考訳（メタデータ） (2020-02-06T09:49:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。