論文の概要: Towards more Practical Threat Models in Artificial Intelligence Security
- arxiv url: http://arxiv.org/abs/2311.09994v1
- Date: Thu, 16 Nov 2023 16:09:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 13:40:16.433255
- Title: Towards more Practical Threat Models in Artificial Intelligence Security
- Title(参考訳): 人工知能セキュリティにおけるより実用的な脅威モデルに向けて
- Authors: Kathrin Grosse, Lukas Bieringer, Tarek Richard Besold, Alexandre Alahi
- Abstract要約: 我々は、AIセキュリティ研究で最も研究されている6つの攻撃の脅威モデルを再検討し、実際にAIの使用と一致させる。
我々の論文は、人工知能のセキュリティにおけるより実用的な脅威モデルを研究するための行動である。
- 参考スコア(独自算出の注目度): 71.53333444240076
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent works have identified a gap between research and practice in
artificial intelligence security: threats studied in academia do not always
reflect the practical use and security risks of AI. For example, while models
are often studied in isolation, they form part of larger ML pipelines in
practice. Recent works also brought forward that adversarial manipulations
introduced by academic attacks are impractical. We take a first step towards
describing the full extent of this disparity. To this end, we revisit the
threat models of the six most studied attacks in AI security research and match
them to AI usage in practice via a survey with \textbf{271} industrial
practitioners. On the one hand, we find that all existing threat models are
indeed applicable. On the other hand, there are significant mismatches:
research is often too generous with the attacker, assuming access to
information not frequently available in real-world settings. Our paper is thus
a call for action to study more practical threat models in artificial
intelligence security.
- Abstract(参考訳): 最近の研究で、人工知能のセキュリティにおける研究と実践のギャップが特定されている: アカデミックで研究されている脅威は、AIの実践的使用とセキュリティリスクを常に反映しているとは限らない。
例えば、モデルはしばしば分離して研究されるが、実際にはより大きなmlパイプラインの一部である。
近年の研究では、学術的な攻撃によって引き起こされる敵対的な操作は非実用的であることも指摘されている。
私たちはこの格差の全体像を説明するための第一歩を踏み出します。
この目的のために、AIセキュリティ研究で最も研究されている6つの攻撃の脅威モデルを再検討し、それを実際にAIの使用と照合するために、‘textbf{271}産業実践者による調査を行った。
一方で、既存の脅威モデルはすべて、実際に適用可能であることが分かりました。
一方で、大きなミスマッチがある: 研究は多くの場合、攻撃者とは寛大であり、実際の設定で頻繁に入手できない情報へのアクセスを想定している。
我々の論文は、人工知能のセキュリティにおけるより実用的な脅威モデルを研究するための行動である。
関連論文リスト
- Taking off the Rose-Tinted Glasses: A Critical Look at Adversarial ML Through the Lens of Evasion Attacks [11.830908033835728]
我々は、過度に寛容な攻撃と過度に制限された防衛脅威モデルが、MLドメインにおける防衛開発を妨げていると主張している。
我々は、AIの観点からではなく、システムセキュリティの観点から、敵対的機械学習を分析する。
論文 参考訳(メタデータ) (2024-10-15T21:33:23Z) - Work-in-Progress: Crash Course: Can (Under Attack) Autonomous Driving Beat Human Drivers? [60.51287814584477]
本稿では,現在のAVの状況を調べることによって,自律運転における本質的なリスクを評価する。
AVの利点と、現実のシナリオにおける潜在的なセキュリティ課題との微妙なバランスを強調した、特定のクレームを開発する。
論文 参考訳(メタデータ) (2024-05-14T09:42:21Z) - A Survey of Robustness and Safety of 2D and 3D Deep Learning Models
Against Adversarial Attacks [22.054275309336]
ディープラーニングモデルは、敵の攻撃に対する堅牢性に制限があるため、十分に信頼できない。
まず、異なる視点から一般的な脅威モデルを構築し、それから2次元および3次元の敵攻撃の最新の進展を包括的にレビューする。
我々は3次元モデルに対する敵攻撃を体系的に研究した最初の人物である。
論文 参考訳(メタデータ) (2023-10-01T10:16:33Z) - A LLM Assisted Exploitation of AI-Guardian [57.572998144258705]
IEEE S&P 2023で発表された敵に対する最近の防衛であるAI-Guardianの堅牢性を評価する。
我々は、このモデルを攻撃するためのコードを書かず、代わりに、GPT-4に命令とガイダンスに従って全ての攻撃アルゴリズムを実装するよう促します。
このプロセスは驚くほど効果的で効率的であり、言語モデルでは、この論文の著者が実行したよりも高速に曖昧な命令からコードを生成することもあった。
論文 参考訳(メタデータ) (2023-07-20T17:33:25Z) - "Real Attackers Don't Compute Gradients": Bridging the Gap Between
Adversarial ML Research and Practice [10.814642396601139]
研究者と実践者の間に明らかなギャップがあることから,本論文は2つの領域を橋渡しすることを目的としている。
まず実世界のケーススタディを3つのケーススタディで提示し、そのケーススタディから、未知の、あるいは無視された実用的な洞察を導き出すことができる。
次に、トップセキュリティカンファレンスで最近公開されたすべての敵対的ML論文を分析し、ポジティブなトレンドと盲点を強調します。
論文 参考訳(メタデータ) (2022-12-29T14:11:07Z) - Proceedings of the Artificial Intelligence for Cyber Security (AICS)
Workshop at AAAI 2022 [55.573187938617636]
ワークショップは、サイバーセキュリティの問題へのAIの適用に焦点を当てる。
サイバーシステムは大量のデータを生成し、これを効果的に活用することは人間の能力を超えます。
論文 参考訳(メタデータ) (2022-02-28T18:27:41Z) - Inspect, Understand, Overcome: A Survey of Practical Methods for AI
Safety [54.478842696269304]
安全クリティカルなアプリケーションにディープニューラルネットワーク(DNN)を使用することは、多数のモデル固有の欠点のために困難です。
近年,これらの安全対策を目的とした最先端技術動物園が出現している。
本稿は、機械学習の専門家と安全エンジニアの両方に対処する。
論文 参考訳(メタデータ) (2021-04-29T09:54:54Z) - Security and Privacy for Artificial Intelligence: Opportunities and
Challenges [11.368470074697747]
近年、ほとんどのAIモデルは高度なハッキング技術に弱い。
この課題は、敵AIの研究努力を共同で進めるきっかけとなった。
我々は、AIアプリケーションに対する敵攻撃を実証する総合的なサイバーセキュリティレビューを提示する。
論文 参考訳(メタデータ) (2021-02-09T06:06:13Z) - Adversarial Machine Learning Attacks and Defense Methods in the Cyber
Security Domain [58.30296637276011]
本稿では,機械学習技術に基づくセキュリティソリューションに対する敵攻撃に関する最新の研究を要約する。
サイバーセキュリティドメインでエンドツーエンドの敵攻撃を実装するという、ユニークな課題を議論するのは、これが初めてである。
論文 参考訳(メタデータ) (2020-07-05T18:22:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。