論文の概要: "Real Attackers Don't Compute Gradients": Bridging the Gap Between
Adversarial ML Research and Practice
- arxiv url: http://arxiv.org/abs/2212.14315v1
- Date: Thu, 29 Dec 2022 14:11:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-02 17:32:29.458480
- Title: "Real Attackers Don't Compute Gradients": Bridging the Gap Between
Adversarial ML Research and Practice
- Title(参考訳): リアルアタッカーはグラディエントを計算しない」:敵対的ML研究と実践のギャップを埋める
- Authors: Giovanni Apruzzese, Hyrum S. Anderson, Savino Dambra, David Freeman,
Fabio Pierazzi, Kevin A. Roundy
- Abstract要約: 研究者と実践者の間に明らかなギャップがあることから,本論文は2つの領域を橋渡しすることを目的としている。
まず実世界のケーススタディを3つのケーススタディで提示し、そのケーススタディから、未知の、あるいは無視された実用的な洞察を導き出すことができる。
次に、トップセキュリティカンファレンスで最近公開されたすべての敵対的ML論文を分析し、ポジティブなトレンドと盲点を強調します。
- 参考スコア(独自算出の注目度): 10.814642396601139
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent years have seen a proliferation of research on adversarial machine
learning. Numerous papers demonstrate powerful algorithmic attacks against a
wide variety of machine learning (ML) models, and numerous other papers propose
defenses that can withstand most attacks. However, abundant real-world evidence
suggests that actual attackers use simple tactics to subvert ML-driven systems,
and as a result security practitioners have not prioritized adversarial ML
defenses.
Motivated by the apparent gap between researchers and practitioners, this
position paper aims to bridge the two domains. We first present three
real-world case studies from which we can glean practical insights unknown or
neglected in research. Next we analyze all adversarial ML papers recently
published in top security conferences, highlighting positive trends and blind
spots. Finally, we state positions on precise and cost-driven threat modeling,
collaboration between industry and academia, and reproducible research. We
believe that our positions, if adopted, will increase the real-world impact of
future endeavours in adversarial ML, bringing both researchers and
practitioners closer to their shared goal of improving the security of ML
systems.
- Abstract(参考訳): 近年、敵対的機械学習の研究が急増している。
多くの論文が、さまざまな機械学習(ml)モデルに対する強力なアルゴリズム攻撃を示し、他の多くの論文は、ほとんどの攻撃に耐えうる防御を提案する。
しかし、現実の証拠が豊富にあることから、実際の攻撃者はML駆動システムを回避するために単純な戦術を用いており、その結果、セキュリティ実践者は敵のML防御を優先していない。
研究者と実践者の間に明らかなギャップがあることから,本稿は2つの領域を橋渡しすることを目的としている。
まず実世界のケーススタディを3つのケーススタディで提示し、そのケーススタディから、未知の、あるいは無視された実用的な洞察を導き出すことができる。
次に、最近top security conferencesで発表されたadversarial mlのすべての論文を分析し、ポジティブな傾向と盲点を強調した。
最後に,正確かつコスト駆動の脅威モデリング,産学連携,再現可能な研究の立場を述べる。
我々は、我々の立場が採用されれば、敵MLにおける将来の取り組みの現実的な影響を増大させ、研究者と実践者がMLシステムのセキュリティを改善するという共通の目標に近づくだろうと考えている。
関連論文リスト
- Towards more Practical Threat Models in Artificial Intelligence Security [71.53333444240076]
我々は、AIセキュリティ研究で最も研究されている6つの攻撃の脅威モデルを再検討し、実際にAIの使用と一致させる。
我々の論文は、人工知能のセキュリティにおけるより実用的な脅威モデルを研究するための行動である。
論文 参考訳(メタデータ) (2023-11-16T16:09:44Z) - Baseline Defenses for Adversarial Attacks Against Aligned Language
Models [109.75753454188705]
最近の研究は、テキストのモデレーションが防御をバイパスするジェイルブレイクのプロンプトを生み出すことを示している。
検出(複雑度に基づく)、入力前処理(言い換えと再帰化)、対人訓練の3種類の防衛について検討する。
テキストに対する既存の離散化の弱点と比較的高いコストの最適化が組み合わさって、標準適応攻撃をより困難にしていることがわかった。
論文 参考訳(メタデータ) (2023-09-01T17:59:44Z) - Visual Adversarial Examples Jailbreak Aligned Large Language Models [66.53468356460365]
視覚入力の連続的かつ高次元的な性質は、敵対的攻撃に対する弱いリンクであることを示す。
我々は、視力統合されたLLMの安全ガードレールを回避するために、視覚的敵の例を利用する。
本研究は,マルチモダリティの追求に伴う敵のエスカレーションリスクを浮き彫りにする。
論文 参考訳(メタデータ) (2023-06-22T22:13:03Z) - Adversarial Evasion Attacks Practicality in Networks: Testing the Impact
of Dynamic Learning [4.822598110892847]
敵攻撃は、MLモデルを騙して欠陥予測を生成することを目的としている。
連続的な再訓練は、敵の訓練なしでも、敵の攻撃の効果を減らすことができる。
我々の目標は、この領域における研究と現実の実践の間に大きなギャップがあることを強調することです。
論文 参考訳(メタデータ) (2023-06-08T18:32:08Z) - Review on the Feasibility of Adversarial Evasion Attacks and Defenses
for Network Intrusion Detection Systems [0.7829352305480285]
最近の研究は、サイバーセキュリティ分野における多くの懸念を提起している。
機械学習アルゴリズムに基づくセキュリティシステムに対する攻撃の可能性について研究する研究者が増えている。
論文 参考訳(メタデータ) (2023-03-13T11:00:05Z) - Attacks in Adversarial Machine Learning: A Systematic Survey from the
Life-cycle Perspective [69.25513235556635]
敵対的機械学習(英: Adversarial Machine Learning、AML)は、機械学習の逆行現象を研究する。
機械学習システムの異なる段階で発生するこの敵対現象を探求するために、いくつかのパラダイムが最近開発された。
既存の攻撃パラダイムをカバーするための統一的な数学的枠組みを提案する。
論文 参考訳(メタデータ) (2023-02-19T02:12:21Z) - Ares: A System-Oriented Wargame Framework for Adversarial ML [3.197282271064602]
Aresは、現実的なウォーゲームのような環境で、研究者が攻撃や防御を探索できる敵MLの評価フレームワークである。
アレスは、攻撃者とディフェンダーの間の対立を、反対の目的を持つ強化学習環境における2つのエージェントとして表している。
これにより、障害発生までの時間や複雑な戦略の評価など、システムレベルの評価指標が導入される。
論文 参考訳(メタデータ) (2022-10-24T04:55:18Z) - Adversarial for Good? How the Adversarial ML Community's Values Impede
Socially Beneficial Uses of Attacks [1.2664869982542892]
対人機械学習(ML)攻撃は「善のために」使われる可能性がある
しかし、敵対的MLに関する研究の多くは、MLシステムに対する抵抗ツールの開発に関わっていない。
論文 参考訳(メタデータ) (2021-07-11T13:51:52Z) - ML-Doctor: Holistic Risk Assessment of Inference Attacks Against Machine
Learning Models [64.03398193325572]
機械学習(ML)モデルに対する推論攻撃により、敵はトレーニングデータやモデルパラメータなどを学ぶことができる。
私たちは、メンバシップ推論、モデル反転、属性推論、モデル盗難の4つの攻撃に集中しています。
私たちの分析では、MLモデルオーナがモデルをデプロイするリスクを評価することができる、モジュール化された再使用可能なソフトウェアであるML-Doctorに依存しています。
論文 参考訳(メタデータ) (2021-02-04T11:35:13Z) - Adversarial Machine Learning Attacks and Defense Methods in the Cyber
Security Domain [58.30296637276011]
本稿では,機械学習技術に基づくセキュリティソリューションに対する敵攻撃に関する最新の研究を要約する。
サイバーセキュリティドメインでエンドツーエンドの敵攻撃を実装するという、ユニークな課題を議論するのは、これが初めてである。
論文 参考訳(メタデータ) (2020-07-05T18:22:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。