論文の概要: Threat Assessment in Machine Learning based Systems
- arxiv url: http://arxiv.org/abs/2207.00091v1
- Date: Thu, 30 Jun 2022 20:19:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-04 13:02:56.726082
- Title: Threat Assessment in Machine Learning based Systems
- Title(参考訳): 機械学習システムにおける脅威評価
- Authors: Lionel Nganyewou Tidjon and Foutse Khomh
- Abstract要約: 我々は機械学習に基づくシステムに対して報告された脅威を実証研究する。
この研究は、MITREのATLASデータベース、AIインシデントデータベース、および文学からの89の現実世界のML攻撃シナリオに基づいている。
その結果,畳み込みニューラルネットワークは攻撃シナリオの中でも最も標的となるモデルの一つであることがわかった。
- 参考スコア(独自算出の注目度): 12.031113181911627
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning is a field of artificial intelligence (AI) that is becoming
essential for several critical systems, making it a good target for threat
actors. Threat actors exploit different Tactics, Techniques, and Procedures
(TTPs) against the confidentiality, integrity, and availability of Machine
Learning (ML) systems. During the ML cycle, they exploit adversarial TTPs to
poison data and fool ML-based systems. In recent years, multiple security
practices have been proposed for traditional systems but they are not enough to
cope with the nature of ML-based systems. In this paper, we conduct an
empirical study of threats reported against ML-based systems with the aim to
understand and characterize the nature of ML threats and identify common
mitigation strategies. The study is based on 89 real-world ML attack scenarios
from the MITRE's ATLAS database, the AI Incident Database, and the literature;
854 ML repositories from the GitHub search and the Python Packaging Advisory
database, selected based on their reputation. Attacks from the AI Incident
Database and the literature are used to identify vulnerabilities and new types
of threats that were not documented in ATLAS. Results show that convolutional
neural networks were one of the most targeted models among the attack
scenarios. ML repositories with the largest vulnerability prominence include
TensorFlow, OpenCV, and Notebook. In this paper, we also report the most
frequent vulnerabilities in the studied ML repositories, the most targeted ML
phases and models, the most used TTPs in ML phases and attack scenarios. This
information is particularly important for red/blue teams to better conduct
attacks/defenses, for practitioners to prevent threats during ML development,
and for researchers to develop efficient defense mechanisms.
- Abstract(参考訳): 機械学習は人工知能(AI)の分野であり、いくつかの重要なシステムにとって欠かせない存在になりつつある。
脅威アクターは、機械学習(ML)システムの機密性、完全性、可用性に対して、さまざまな戦術、テクニック、手続き(TTP)を利用する。
MLサイクルの間、彼らは敵のTPを利用してデータに毒を盛り、MLベースのシステムを騙す。
近年、従来のシステムには複数のセキュリティプラクティスが提案されているが、MLベースのシステムの性質に対処するには不十分である。
本稿では,MLの脅威の性質を理解し,特徴付けることを目的として,MLベースのシステムに対して報告された脅威に関する実証的研究を行い,共通緩和戦略を同定する。
この研究は、MITREのATLASデータベース、AIインシデントデータベース、文学からの89の実際のML攻撃シナリオ、GitHub検索からの854のMLリポジトリと、その評判に基づいて選択されたPython Packaging Advisoryデータベースに基づいている。
AIインシデントデータベースと文献からの攻撃は、ATLASに記録されていない脆弱性と新しいタイプの脅威を特定するために使用される。
その結果,畳み込みニューラルネットワークは攻撃シナリオの中でも最も標的となるモデルの一つであることがわかった。
最大の脆弱性を持つMLリポジトリには、TensorFlow、OpenCV、Notebookがある。
本稿では,研究対象のMLフェーズやモデル,MLフェーズやアタックシナリオにおいて最も使用されるTPなど,研究対象のMLリポジトリの最も頻繁な脆弱性についても報告する。
この情報は、赤/青のチームが攻撃/防御をより良く行い、実践者がml開発中に脅威を防ぎ、研究者が効率的な防御メカニズムを開発するために特に重要である。
関連論文リスト
- The Wolf Within: Covert Injection of Malice into MLLM Societies via an
MLLM Operative [57.84617923683107]
本稿では,MLLM社会において,悪意のあるコンテンツの間接的伝播という新たな脆弱性について検討する。
MLLMの直接有害な出力生成とは違って,1つのMLLMエージェントを微妙に影響してプロンプトを生成する方法を示す。
この微妙で強力な間接的影響の手法は、MLLMに関連するセキュリティリスクを著しくエスカレーションしている。
論文 参考訳(メタデータ) (2024-02-20T23:08:21Z) - On the Safety Concerns of Deploying LLMs/VLMs in Robotics: Highlighting
the Risks and Vulnerabilities [50.31806287390321]
ロボットの動作を操作または誤操作することは容易であり、安全上の危険をもたらす。
我々のデータは、即時攻撃で21.2%、知覚攻撃で30.2%の平均的なパフォーマンス劣化を示す。
論文 参考訳(メタデータ) (2024-02-15T22:01:45Z) - Attacks in Adversarial Machine Learning: A Systematic Survey from the
Life-cycle Perspective [69.25513235556635]
敵対的機械学習(英: Adversarial Machine Learning、AML)は、機械学習の逆行現象を研究する。
機械学習システムの異なる段階で発生するこの敵対現象を探求するために、いくつかのパラダイムが最近開発された。
既存の攻撃パラダイムをカバーするための統一的な数学的枠組みを提案する。
論文 参考訳(メタデータ) (2023-02-19T02:12:21Z) - Threats, Vulnerabilities, and Controls of Machine Learning Based
Systems: A Survey and Taxonomy [1.2043574473965317]
まず、MLベースのシステムに対する攻撃による被害を分類し、ML固有のセキュリティを定義し、その特性について議論する。
我々は、すべての関連資産と利害関係者を列挙し、ML固有の脅威に対する一般的な分類を提供する。
最後に、MLベースのシステムの脆弱性とコントロールを、システムのライフサイクル全体における各脆弱な資産の観点から分類する。
論文 参考訳(メタデータ) (2023-01-18T12:32:51Z) - Automatic Mapping of Unstructured Cyber Threat Intelligence: An
Experimental Study [1.1470070927586016]
機械学習(ML)を用いた攻撃手法における非構造化サイバー脅威情報(CTI)の自動分類に関する実験的検討を行った。
CTI分析のための2つの新しいデータセットにコントリビュートし、従来の機械学習モデルとディープラーニングモデルの両方を含む、いくつかのMLモデルを評価した。
本稿では,このタスクにおいてMLがどのように機能するか,どの分類器が最善か,どの条件下か,その主な原因である分類誤り,CTI分析の課題について,いくつかの教訓を提示する。
論文 参考訳(メタデータ) (2022-08-25T15:01:42Z) - Machine Learning Security against Data Poisoning: Are We There Yet? [23.809841593870757]
この記事では、機械学習モデル学習に使用されるトレーニングデータを侵害するデータ中毒攻撃についてレビューする。
基本的なセキュリティ原則を用いてこれらの攻撃を緩和するか、あるいはML指向の防御機構をデプロイするかについて議論する。
論文 参考訳(メタデータ) (2022-04-12T17:52:09Z) - Adversarial Machine Learning Threat Analysis in Open Radio Access
Networks [37.23982660941893]
Open Radio Access Network (O-RAN) は、新しい、オープンで適応的でインテリジェントなRANアーキテクチャである。
本稿では,O-RANに対する体系的対向機械学習脅威分析を提案する。
論文 参考訳(メタデータ) (2022-01-16T17:01:38Z) - Practical Machine Learning Safety: A Survey and Primer [81.73857913779534]
自動運転車のような安全クリティカルなアプリケーションにおける機械学習アルゴリズムのオープンワールド展開は、さまざまなML脆弱性に対処する必要がある。
一般化エラーを低減し、ドメイン適応を実現し、外乱例や敵攻撃を検出するための新しいモデルと訓練技術。
我々の組織は、MLアルゴリズムの信頼性を異なる側面から向上するために、最先端のML技術を安全戦略にマッピングする。
論文 参考訳(メタデータ) (2021-06-09T05:56:42Z) - ML-Doctor: Holistic Risk Assessment of Inference Attacks Against Machine
Learning Models [64.03398193325572]
機械学習(ML)モデルに対する推論攻撃により、敵はトレーニングデータやモデルパラメータなどを学ぶことができる。
私たちは、メンバシップ推論、モデル反転、属性推論、モデル盗難の4つの攻撃に集中しています。
私たちの分析では、MLモデルオーナがモデルをデプロイするリスクを評価することができる、モジュール化された再使用可能なソフトウェアであるML-Doctorに依存しています。
論文 参考訳(メタデータ) (2021-02-04T11:35:13Z) - Transfer Learning without Knowing: Reprogramming Black-box Machine
Learning Models with Scarce Data and Limited Resources [78.72922528736011]
そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。
ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。
BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
論文 参考訳(メタデータ) (2020-07-17T01:52:34Z) - ConAML: Constrained Adversarial Machine Learning for Cyber-Physical
Systems [7.351477761427584]
サイバー物理システムに適用された機械学習の潜在的な脆弱性について検討する。
本稿では,本システム固有の制約を満たす逆例を生成するConstrained Adversarial Machine Learning (ConAML)を提案する。
論文 参考訳(メタデータ) (2020-03-12T05:59:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。