論文の概要: Learned Systems Security

• arxiv url: http://arxiv.org/abs/2212.10318v1
• Date: Tue, 20 Dec 2022 15:09:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 17:29:10.915345
• Title: Learned Systems Security
• Title（参考訳）: システムセキュリティを学ぶ
• Authors: Roei Schuster, Jin Peng Zhou, Paul Grubbs, Thorsten Eisenhofer, Nicolas Papernot
• Abstract要約: 学習システムは内部で機械学習(ML)を使用してパフォーマンスを向上させる。 このようなシステムは、いくつかの敵対的ML攻撃に対して脆弱であることが期待できる。 MLの使用に起因した脆弱性を識別するフレームワークを開発する。
• 参考スコア（独自算出の注目度）: 30.39158287782567
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A learned system uses machine learning (ML) internally to improve performance. We can expect such systems to be vulnerable to some adversarial-ML attacks. Often, the learned component is shared between mutually-distrusting users or processes, much like microarchitectural resources such as caches, potentially giving rise to highly-realistic attacker models. However, compared to attacks on other ML-based systems, attackers face a level of indirection as they cannot interact directly with the learned model. Additionally, the difference between the attack surface of learned and non-learned versions of the same system is often subtle. These factors obfuscate the de-facto risks that the incorporation of ML carries. We analyze the root causes of potentially-increased attack surface in learned systems and develop a framework for identifying vulnerabilities that stem from the use of ML. We apply our framework to a broad set of learned systems under active development. To empirically validate the many vulnerabilities surfaced by our framework, we choose 3 of them and implement and evaluate exploits against prominent learned-system instances. We show that the use of ML caused leakage of past queries in a database, enabled a poisoning attack that causes exponential memory blowup in an index structure and crashes it in seconds, and enabled index users to snoop on each others' key distributions by timing queries over their own keys. We find that adversarial ML is a universal threat against learned systems, point to open research gaps in our understanding of learned-systems security, and conclude by discussing mitigations, while noting that data leakage is inherent in systems whose learned component is shared between multiple parties.
• Abstract（参考訳）: 学習システムは内部で機械学習(ML)を使用してパフォーマンスを向上させる。 このようなシステムは、いくつかの敵対的ML攻撃に対して脆弱であることが期待できる。 多くの場合、学習されたコンポーネントは、キャッシュのようなマイクロアーキテクチャリソースのように、相互に信頼できないユーザやプロセス間で共有される。 しかし、他のMLベースのシステムに対する攻撃と比較して、攻撃者は学習モデルと直接対話できないため、間接的なレベルに直面している。 さらに、学習されたバージョンの攻撃面と、同じシステムの非学習バージョンの違いは、しばしば微妙である。 これらの要因は、MLが持つデファクトリスクを曖昧にする。 学習システムにおける潜在的攻撃面の根本原因を分析し,mlの利用に起因する脆弱性を識別するためのフレームワークを開発した。 当社のフレームワークを,アクティブな開発中の幅広い学習システムに適用する。 当社のフレームワークが抱える多くの脆弱性を実証的に検証するために,その中の3つを選択し,著名な学習システムインスタンスに対するエクスプロイトを実装し,評価する。 mlを使用することで過去のクエリがデータベースに漏洩し、インデックス構造に指数的メモリブローアップを引き起こして数秒でクラッシュする毒殺攻撃が可能となり、インデックスユーザが自身のキーに対するタイミングクエリによってお互いのキー分布をスヌープできることを示した。 敵MLは学習システムに対する普遍的な脅威であり、学習システムのセキュリティに対する理解において研究ギャップを開くことを示し、データ漏洩が学習コンポーネントが複数の当事者間で共有されているシステムに固有のものであることを指摘しながら、緩和について議論することで結論付ける。

関連論文リスト

• "Glue pizza and eat rocks" -- Exploiting Vulnerabilities in Retrieval-Augmented Generative Models [74.05368440735468]
  Retrieval-Augmented Generative (RAG)モデルにより大規模言語モデル(LLM)が強化される 本稿では,これらの知識基盤の開放性を敵が活用できるセキュリティ上の脅威を示す。
  論文  参考訳（メタデータ） (2024-06-26T05:36:23Z)
• On Security Weaknesses and Vulnerabilities in Deep Learning Systems [32.14068820256729]
  具体的には、ディープラーニング(DL)フレームワークについて検討し、DLシステムにおける脆弱性に関する最初の体系的な研究を行う。 各種データベースの脆弱性パターンを探索する2ストリームデータ分析フレームワークを提案する。 我々は,脆弱性のパターンと修正の課題をよりよく理解するために,3,049個のDL脆弱性を大規模に検討した。
  論文  参考訳（メタデータ） (2024-06-12T23:04:13Z)
• Transfer Learning in Pre-Trained Large Language Models for Malware Detection Based on System Calls [3.5698678013121334]
  本研究は,システムコールデータに基づいてマルウェアを分類するために,大規模言語モデル(LLM)を利用した新しいフレームワークを提案する。 1TBを超えるシステムコールのデータセットによる実験では、BigBirdやLongformerのようなより大きなコンテキストサイズを持つモデルの方が精度が良く、F1スコアは約0.86である。 このアプローチは、ハイテイク環境におけるリアルタイム検出の大きな可能性を示し、サイバー脅威の進化に対する堅牢なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-05-15T13:19:43Z)
• Vulnerability of Machine Learning Approaches Applied in IoT-based Smart Grid: A Review [51.31851488650698]
  機械学習(ML)は、IoT(Internet-of-Things)ベースのスマートグリッドでの使用頻度が高まっている。 電力信号に注入された逆方向の歪みは システムの正常な制御と操作に大きな影響を及ぼす 安全クリティカルパワーシステムに適用されたMLsgAPPの脆弱性評価を行うことが不可欠である。
  論文  参考訳（メタデータ） (2023-08-30T03:29:26Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)
• Threat Assessment in Machine Learning based Systems [12.031113181911627]
  我々は機械学習に基づくシステムに対して報告された脅威を実証研究する。 この研究は、MITREのATLASデータベース、AIインシデントデータベース、および文学からの89の現実世界のML攻撃シナリオに基づいている。 その結果,畳み込みニューラルネットワークは攻撃シナリオの中でも最も標的となるモデルの一つであることがわかった。
  論文  参考訳（メタデータ） (2022-06-30T20:19:50Z)
• Adversarial Machine Learning Threat Analysis in Open Radio Access Networks [37.23982660941893]
  Open Radio Access Network (O-RAN) は、新しい、オープンで適応的でインテリジェントなRANアーキテクチャである。 本稿では,O-RANに対する体系的対向機械学習脅威分析を提案する。
  論文  参考訳（メタデータ） (2022-01-16T17:01:38Z)
• RoFL: Attestable Robustness for Secure Federated Learning [59.63865074749391]
  フェデレートラーニング(Federated Learning)により、多数のクライアントが、プライベートデータを共有することなく、ジョイントモデルをトレーニングできる。 クライアントのアップデートの機密性を保証するため、フェデレートラーニングシステムはセキュアなアグリゲーションを採用している。 悪意のあるクライアントに対する堅牢性を向上させるセキュアなフェデレート学習システムであるRoFLを提案する。
  論文  参考訳（メタデータ） (2021-07-07T15:42:49Z)
• Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
  大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。 我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。 我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
  論文  参考訳（メタデータ） (2020-10-19T13:09:31Z)
• Adversarial Machine Learning: Bayesian Perspectives [0.4915744683251149]
  Adversarial Machine Learning (AML)は、機械学習(ML)システムをセキュリティ上の脅威から保護することを目的とした、主要な分野として浮上している。 あるシナリオでは、愚かな学習システムに入力データを積極的に操作する敵が存在するかもしれません。 これにより、MLシステムが直面する可能性のある、新たなセキュリティ脆弱性のクラスと、信頼性操作に不可欠な敵の堅牢性と呼ばれる、新たな望ましいプロパティが生成される。
  論文  参考訳（メタデータ） (2020-03-07T10:30:43Z)
• Enhanced Adversarial Strategically-Timed Attacks against Deep Reinforcement Learning [91.13113161754022]
  本稿では,DRLに基づくナビゲーションシステムに対して,選択した時間フレーム上の物理ノイズパターンを妨害することにより,タイミングに基づく逆方向戦略を導入する。 実験結果から, 対向タイミング攻撃は性能低下を引き起こす可能性が示唆された。
  論文  参考訳（メタデータ） (2020-02-20T21:39:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。