論文の概要: Learned Systems Security
- arxiv url: http://arxiv.org/abs/2212.10318v2
- Date: Thu, 22 Dec 2022 17:36:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-23 11:26:40.915433
- Title: Learned Systems Security
- Title(参考訳): システムセキュリティを学ぶ
- Authors: Roei Schuster, Jin Peng Zhou, Thorsten Eisenhofer, Paul Grubbs,
Nicolas Papernot
- Abstract要約: 学習システムは内部で機械学習(ML)を使用してパフォーマンスを向上させる。
このようなシステムは、いくつかの敵対的ML攻撃に対して脆弱であることが期待できる。
MLの使用に起因した脆弱性を識別するフレームワークを開発する。
- 参考スコア(独自算出の注目度): 30.39158287782567
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A learned system uses machine learning (ML) internally to improve
performance. We can expect such systems to be vulnerable to some adversarial-ML
attacks. Often, the learned component is shared between mutually-distrusting
users or processes, much like microarchitectural resources such as caches,
potentially giving rise to highly-realistic attacker models. However, compared
to attacks on other ML-based systems, attackers face a level of indirection as
they cannot interact directly with the learned model. Additionally, the
difference between the attack surface of learned and non-learned versions of
the same system is often subtle. These factors obfuscate the de-facto risks
that the incorporation of ML carries. We analyze the root causes of
potentially-increased attack surface in learned systems and develop a framework
for identifying vulnerabilities that stem from the use of ML. We apply our
framework to a broad set of learned systems under active development. To
empirically validate the many vulnerabilities surfaced by our framework, we
choose 3 of them and implement and evaluate exploits against prominent
learned-system instances. We show that the use of ML caused leakage of past
queries in a database, enabled a poisoning attack that causes exponential
memory blowup in an index structure and crashes it in seconds, and enabled
index users to snoop on each others' key distributions by timing queries over
their own keys. We find that adversarial ML is a universal threat against
learned systems, point to open research gaps in our understanding of
learned-systems security, and conclude by discussing mitigations, while noting
that data leakage is inherent in systems whose learned component is shared
between multiple parties.
- Abstract(参考訳): 学習システムは内部で機械学習(ML)を使用してパフォーマンスを向上させる。
このようなシステムは、いくつかの敵対的ML攻撃に対して脆弱であることが期待できる。
多くの場合、学習されたコンポーネントは、キャッシュのようなマイクロアーキテクチャリソースのように、相互に信頼できないユーザやプロセス間で共有される。
しかし、他のMLベースのシステムに対する攻撃と比較して、攻撃者は学習モデルと直接対話できないため、間接的なレベルに直面している。
さらに、学習されたバージョンの攻撃面と、同じシステムの非学習バージョンの違いは、しばしば微妙である。
これらの要因は、MLが持つデファクトリスクを曖昧にする。
学習システムにおける潜在的攻撃面の根本原因を分析し,mlの利用に起因する脆弱性を識別するためのフレームワークを開発した。
当社のフレームワークを,アクティブな開発中の幅広い学習システムに適用する。
当社のフレームワークが抱える多くの脆弱性を実証的に検証するために,その中の3つを選択し,著名な学習システムインスタンスに対するエクスプロイトを実装し,評価する。
mlを使用することで過去のクエリがデータベースに漏洩し、インデックス構造に指数的メモリブローアップを引き起こして数秒でクラッシュする毒殺攻撃が可能となり、インデックスユーザが自身のキーに対するタイミングクエリによってお互いのキー分布をスヌープできることを示した。
敵MLは学習システムに対する普遍的な脅威であり、学習システムのセキュリティに対する理解において研究ギャップを開くことを示し、データ漏洩が学習コンポーネントが複数の当事者間で共有されているシステムに固有のものであることを指摘しながら、緩和について議論することで結論付ける。
関連論文リスト
- On the Safety Concerns of Deploying LLMs/VLMs in Robotics: Highlighting
the Risks and Vulnerabilities [50.31806287390321]
ロボットの動作を操作または誤操作することは容易であり、安全上の危険をもたらす。
我々のデータは、即時攻撃で21.2%、知覚攻撃で30.2%の平均的なパフォーマンス劣化を示す。
論文 参考訳(メタデータ) (2024-02-15T22:01:45Z) - Decentralized Online Federated G-Network Learning for Lightweight
Intrusion Detection [2.7225008315665424]
本稿では,協調学習を用いたGネットワークモデルに基づく分散・オンラインフェデレート学習侵入検出アーキテクチャを提案する。
公的なKitsuneデータセットとBot-IoTデータセットを用いた性能評価の結果、DOF-IDは、すべての協調コンポーネントの侵入検出性能を大幅に改善することが示された。
論文 参考訳(メタデータ) (2023-06-22T16:46:00Z) - Not what you've signed up for: Compromising Real-World LLM-Integrated
Applications with Indirect Prompt Injection [64.67495502772866]
大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。
本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。
我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
論文 参考訳(メタデータ) (2023-02-23T17:14:38Z) - Conflicting Interactions Among Protections Mechanisms for Machine
Learning Models [15.047412609389983]
MLモデルは様々な攻撃の標的となっている。
セキュリティとプライバシの交差点における研究、そしてMLは繁栄している。
特定の関心事に最適な解は、他の関心事に対処しようとする解と負に相互作用することがある。
論文 参考訳(メタデータ) (2022-07-05T12:18:06Z) - Threat Assessment in Machine Learning based Systems [12.031113181911627]
我々は機械学習に基づくシステムに対して報告された脅威を実証研究する。
この研究は、MITREのATLASデータベース、AIインシデントデータベース、および文学からの89の現実世界のML攻撃シナリオに基づいている。
その結果,畳み込みニューラルネットワークは攻撃シナリオの中でも最も標的となるモデルの一つであることがわかった。
論文 参考訳(メタデータ) (2022-06-30T20:19:50Z) - Adversarial Machine Learning Threat Analysis in Open Radio Access
Networks [37.23982660941893]
Open Radio Access Network (O-RAN) は、新しい、オープンで適応的でインテリジェントなRANアーキテクチャである。
本稿では,O-RANに対する体系的対向機械学習脅威分析を提案する。
論文 参考訳(メタデータ) (2022-01-16T17:01:38Z) - Attribute Inference Attack of Speech Emotion Recognition in Federated
Learning Settings [56.93025161787725]
Federated Learning(FL)は、クライアントをコーディネートして、ローカルデータを共有せずにモデルを協調的にトレーニングする分散機械学習パラダイムである。
本稿では,共有勾配やモデルパラメータからクライアントの機密属性情報を推測する属性推論攻撃フレームワークを提案する。
FLを用いて学習したSERシステムに対して,属性推論攻撃が達成可能であることを示す。
論文 参考訳(メタデータ) (2021-12-26T16:50:42Z) - RoFL: Attestable Robustness for Secure Federated Learning [59.63865074749391]
フェデレートラーニング(Federated Learning)により、多数のクライアントが、プライベートデータを共有することなく、ジョイントモデルをトレーニングできる。
クライアントのアップデートの機密性を保証するため、フェデレートラーニングシステムはセキュアなアグリゲーションを採用している。
悪意のあるクライアントに対する堅牢性を向上させるセキュアなフェデレート学習システムであるRoFLを提案する。
論文 参考訳(メタデータ) (2021-07-07T15:42:49Z) - Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。
我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。
我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
論文 参考訳(メタデータ) (2020-10-19T13:09:31Z) - Adversarial Machine Learning: Bayesian Perspectives [0.4915744683251149]
Adversarial Machine Learning (AML)は、機械学習(ML)システムをセキュリティ上の脅威から保護することを目的とした、主要な分野として浮上している。
あるシナリオでは、愚かな学習システムに入力データを積極的に操作する敵が存在するかもしれません。
これにより、MLシステムが直面する可能性のある、新たなセキュリティ脆弱性のクラスと、信頼性操作に不可欠な敵の堅牢性と呼ばれる、新たな望ましいプロパティが生成される。
論文 参考訳(メタデータ) (2020-03-07T10:30:43Z) - Enhanced Adversarial Strategically-Timed Attacks against Deep
Reinforcement Learning [91.13113161754022]
本稿では,DRLに基づくナビゲーションシステムに対して,選択した時間フレーム上の物理ノイズパターンを妨害することにより,タイミングに基づく逆方向戦略を導入する。
実験結果から, 対向タイミング攻撃は性能低下を引き起こす可能性が示唆された。
論文 参考訳(メタデータ) (2020-02-20T21:39:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。