論文の概要: Threat Assessment in Machine Learning based Systems

• arxiv url: http://arxiv.org/abs/2207.00091v1
• Date: Thu, 30 Jun 2022 20:19:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-04 13:02:56.726082
• Title: Threat Assessment in Machine Learning based Systems
• Title（参考訳）: 機械学習システムにおける脅威評価
• Authors: Lionel Nganyewou Tidjon and Foutse Khomh
• Abstract要約: 我々は機械学習に基づくシステムに対して報告された脅威を実証研究する。 この研究は、MITREのATLASデータベース、AIインシデントデータベース、および文学からの89の現実世界のML攻撃シナリオに基づいている。 その結果,畳み込みニューラルネットワークは攻撃シナリオの中でも最も標的となるモデルの一つであることがわかった。
• 参考スコア（独自算出の注目度）: 12.031113181911627
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning is a field of artificial intelligence (AI) that is becoming essential for several critical systems, making it a good target for threat actors. Threat actors exploit different Tactics, Techniques, and Procedures (TTPs) against the confidentiality, integrity, and availability of Machine Learning (ML) systems. During the ML cycle, they exploit adversarial TTPs to poison data and fool ML-based systems. In recent years, multiple security practices have been proposed for traditional systems but they are not enough to cope with the nature of ML-based systems. In this paper, we conduct an empirical study of threats reported against ML-based systems with the aim to understand and characterize the nature of ML threats and identify common mitigation strategies. The study is based on 89 real-world ML attack scenarios from the MITRE's ATLAS database, the AI Incident Database, and the literature; 854 ML repositories from the GitHub search and the Python Packaging Advisory database, selected based on their reputation. Attacks from the AI Incident Database and the literature are used to identify vulnerabilities and new types of threats that were not documented in ATLAS. Results show that convolutional neural networks were one of the most targeted models among the attack scenarios. ML repositories with the largest vulnerability prominence include TensorFlow, OpenCV, and Notebook. In this paper, we also report the most frequent vulnerabilities in the studied ML repositories, the most targeted ML phases and models, the most used TTPs in ML phases and attack scenarios. This information is particularly important for red/blue teams to better conduct attacks/defenses, for practitioners to prevent threats during ML development, and for researchers to develop efficient defense mechanisms.
• Abstract（参考訳）: 機械学習は人工知能(AI)の分野であり、いくつかの重要なシステムにとって欠かせない存在になりつつある。 脅威アクターは、機械学習(ML)システムの機密性、完全性、可用性に対して、さまざまな戦術、テクニック、手続き(TTP)を利用する。 MLサイクルの間、彼らは敵のTPを利用してデータに毒を盛り、MLベースのシステムを騙す。 近年、従来のシステムには複数のセキュリティプラクティスが提案されているが、MLベースのシステムの性質に対処するには不十分である。 本稿では,MLの脅威の性質を理解し,特徴付けることを目的として,MLベースのシステムに対して報告された脅威に関する実証的研究を行い,共通緩和戦略を同定する。 この研究は、MITREのATLASデータベース、AIインシデントデータベース、文学からの89の実際のML攻撃シナリオ、GitHub検索からの854のMLリポジトリと、その評判に基づいて選択されたPython Packaging Advisoryデータベースに基づいている。 AIインシデントデータベースと文献からの攻撃は、ATLASに記録されていない脆弱性と新しいタイプの脅威を特定するために使用される。 その結果,畳み込みニューラルネットワークは攻撃シナリオの中でも最も標的となるモデルの一つであることがわかった。 最大の脆弱性を持つMLリポジトリには、TensorFlow、OpenCV、Notebookがある。 本稿では,研究対象のMLフェーズやモデル,MLフェーズやアタックシナリオにおいて最も使用されるTPなど,研究対象のMLリポジトリの最も頻繁な脆弱性についても報告する。 この情報は、赤/青のチームが攻撃/防御をより良く行い、実践者がml開発中に脅威を防ぎ、研究者が効率的な防御メカニズムを開発するために特に重要である。

関連論文リスト

• A Survey of Attacks on Large Vision-Language Models: Resources, Advances, and Future Trends [78.3201480023907]
  LVLM(Large Vision-Language Models)は、多モーダルな理解と推論タスクにまたがる顕著な能力を示す。 LVLMの脆弱性は比較的過小評価されており、日々の使用において潜在的なセキュリティリスクを生じさせる。 本稿では,既存のLVLM攻撃の様々な形態について概説する。
  論文  参考訳（メタデータ） (2024-07-10T06:57:58Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)
• Vulnerability of Machine Learning Approaches Applied in IoT-based Smart Grid: A Review [51.31851488650698]
  機械学習(ML)は、IoT(Internet-of-Things)ベースのスマートグリッドでの使用頻度が高まっている。 電力信号に注入された逆方向の歪みは システムの正常な制御と操作に大きな影響を及ぼす 安全クリティカルパワーシステムに適用されたMLsgAPPの脆弱性評価を行うことが不可欠である。
  論文  参考訳（メタデータ） (2023-08-30T03:29:26Z)
• Threats, Vulnerabilities, and Controls of Machine Learning Based Systems: A Survey and Taxonomy [1.2043574473965317]
  まず、MLベースのシステムに対する攻撃による被害を分類し、ML固有のセキュリティを定義し、その特性について議論する。 我々は、すべての関連資産と利害関係者を列挙し、ML固有の脅威に対する一般的な分類を提供する。 最後に、MLベースのシステムの脆弱性とコントロールを、システムのライフサイクル全体における各脆弱な資産の観点から分類する。
  論文  参考訳（メタデータ） (2023-01-18T12:32:51Z)
• A Survey of Machine Unlearning [56.017968863854186]
  最近の規制では、要求に応じて、ユーザに関する個人情報をコンピュータシステムから削除する必要がある。 MLモデルは古いデータをよく記憶します。 機械学習に関する最近の研究は、この問題を完全に解決することはできなかった。
  論文  参考訳（メタデータ） (2022-09-06T08:51:53Z)
• Automatic Mapping of Unstructured Cyber Threat Intelligence: An Experimental Study [1.1470070927586016]
  機械学習(ML)を用いた攻撃手法における非構造化サイバー脅威情報(CTI)の自動分類に関する実験的検討を行った。 CTI分析のための2つの新しいデータセットにコントリビュートし、従来の機械学習モデルとディープラーニングモデルの両方を含む、いくつかのMLモデルを評価した。 本稿では,このタスクにおいてMLがどのように機能するか,どの分類器が最善か,どの条件下か,その主な原因である分類誤り,CTI分析の課題について,いくつかの教訓を提示する。
  論文  参考訳（メタデータ） (2022-08-25T15:01:42Z)
• Machine Learning Security against Data Poisoning: Are We There Yet? [23.809841593870757]
  この記事では、機械学習モデル学習に使用されるトレーニングデータを侵害するデータ中毒攻撃についてレビューする。 基本的なセキュリティ原則を用いてこれらの攻撃を緩和するか、あるいはML指向の防御機構をデプロイするかについて議論する。
  論文  参考訳（メタデータ） (2022-04-12T17:52:09Z)
• Adversarial Machine Learning Threat Analysis in Open Radio Access Networks [37.23982660941893]
  Open Radio Access Network (O-RAN) は、新しい、オープンで適応的でインテリジェントなRANアーキテクチャである。 本稿では,O-RANに対する体系的対向機械学習脅威分析を提案する。
  論文  参考訳（メタデータ） (2022-01-16T17:01:38Z)
• Practical Machine Learning Safety: A Survey and Primer [81.73857913779534]
  自動運転車のような安全クリティカルなアプリケーションにおける機械学習アルゴリズムのオープンワールド展開は、さまざまなML脆弱性に対処する必要がある。 一般化エラーを低減し、ドメイン適応を実現し、外乱例や敵攻撃を検出するための新しいモデルと訓練技術。 我々の組織は、MLアルゴリズムの信頼性を異なる側面から向上するために、最先端のML技術を安全戦略にマッピングする。
  論文  参考訳（メタデータ） (2021-06-09T05:56:42Z)
• ML-Doctor: Holistic Risk Assessment of Inference Attacks Against Machine Learning Models [64.03398193325572]
  機械学習(ML)モデルに対する推論攻撃により、敵はトレーニングデータやモデルパラメータなどを学ぶことができる。 私たちは、メンバシップ推論、モデル反転、属性推論、モデル盗難の4つの攻撃に集中しています。 私たちの分析では、MLモデルオーナがモデルをデプロイするリスクを評価することができる、モジュール化された再使用可能なソフトウェアであるML-Doctorに依存しています。
  論文  参考訳（メタデータ） (2021-02-04T11:35:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。