論文の概要: Risk Management Framework for Machine Learning Security
- arxiv url: http://arxiv.org/abs/2012.04884v1
- Date: Wed, 9 Dec 2020 06:21:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-16 01:56:43.429802
- Title: Risk Management Framework for Machine Learning Security
- Title(参考訳): 機械学習セキュリティのためのリスク管理フレームワーク
- Authors: Jakub Breier and Adrian Baldwin and Helen Balinsky and Yang Liu
- Abstract要約: 機械学習モデルに対する敵意攻撃は、学界と産業の両方で非常に研究されているトピックとなっている。
本稿では,機械学習モデルに依存する組織に対して,リスク管理プロセスを導くための新しい枠組みを提案する。
- 参考スコア(独自算出の注目度): 7.678455181587705
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial attacks for machine learning models have become a highly studied
topic both in academia and industry. These attacks, along with traditional
security threats, can compromise confidentiality, integrity, and availability
of organization's assets that are dependent on the usage of machine learning
models. While it is not easy to predict the types of new attacks that might be
developed over time, it is possible to evaluate the risks connected to using
machine learning models and design measures that help in minimizing these
risks.
In this paper, we outline a novel framework to guide the risk management
process for organizations reliant on machine learning models. First, we define
sets of evaluation factors (EFs) in the data domain, model domain, and security
controls domain. We develop a method that takes the asset and task importance,
sets the weights of EFs' contribution to confidentiality, integrity, and
availability, and based on implementation scores of EFs, it determines the
overall security state in the organization. Based on this information, it is
possible to identify weak links in the implemented security measures and find
out which measures might be missing completely. We believe our framework can
help in addressing the security issues related to usage of machine learning
models in organizations and guide them in focusing on the adequate security
measures to protect their assets.
- Abstract(参考訳): 機械学習モデルに対する敵意攻撃は、学界と産業の両方で非常に研究されているトピックとなっている。
これらの攻撃は、従来のセキュリティ脅威とともに、機械学習モデルの使用に依存する組織の機密性、完全性、可用性を侵害する可能性がある。
時間とともに展開される可能性のある新たな攻撃のタイプを予測することは容易ではないが、マシンラーニングモデルの使用に伴うリスク評価や、これらのリスクを最小化するための設計措置が可能である。
本稿では,機械学習モデルに依存する組織に対して,リスク管理プロセスを導くための新しい枠組みを提案する。
まず、データドメイン、モデルドメイン、セキュリティコントロールドメインにおける評価係数(EF)のセットを定義します。
我々は,その資産とタスクを重要視する手法を開発し,EFの機密性,完全性,可用性への貢献の重みを設定し,EFの実装スコアに基づいて組織全体のセキュリティ状態を決定する。
この情報に基づいて、実装されたセキュリティ対策の弱いリンクを特定し、どの対策が完全に欠落しているかを突き止めることができる。
弊社のフレームワークは、組織における機械学習モデルの使用に関するセキュリティ問題に対処し、それらの資産を保護するための適切なセキュリティ対策に焦点を合わせるのに役立つと信じている。
関連論文リスト
- A Security Risk Taxonomy for Large Language Models [5.120567378386615]
本稿では,大規模言語モデルによるセキュリティリスクに着目し,現在の研究のギャップに対処する。
本研究は,ユーザモデル通信パイプラインに沿ったセキュリティリスクの分類法を提案する。
ターゲットと攻撃タイプによる攻撃を、プロンプトベースのインタラクションスキームに分類する。
論文 参考訳(メタデータ) (2023-11-19T20:22:05Z) - Safety Margins for Reinforcement Learning [74.13100479426424]
安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。
Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
論文 参考訳(メタデータ) (2023-07-25T16:49:54Z) - Evaluating Model-free Reinforcement Learning toward Safety-critical
Tasks [70.76757529955577]
本稿では、国家安全RLの観点から、この領域における先行研究を再考する。
安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。
この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
論文 参考訳(メタデータ) (2022-12-12T06:30:17Z) - Self-Destructing Models: Increasing the Costs of Harmful Dual Uses of
Foundation Models [103.71308117592963]
本稿ではメタラーニングと逆学習の技法を活用した自己破壊モデルの学習アルゴリズムを提案する。
小規模な実験では、MLACは、BERTスタイルのモデルが性別識別を行うために再目的化されることをほとんど防ぐことができることを示す。
論文 参考訳(メタデータ) (2022-11-27T21:43:45Z) - Assessing Risks and Modeling Threats in the Internet of Things [0.0]
我々は、敵の資産、敵の行動、悪用可能な脆弱性、あらゆるIoT攻撃の構成要素である妥協されたプロパティを記述したIoT攻撃分類を開発する。
我々は、このIoT攻撃分類を、共同リスク評価と成熟度評価の枠組みを設計するための基盤として利用しています。
このIoTフレームワークの有用性は、複数の製造業者のコンテキストにおけるケーススタディの実装によって強調される。
論文 参考訳(メタデータ) (2021-10-14T23:36:00Z) - Automated Security Assessment for the Internet of Things [6.690766107366799]
我々はIoTネットワークの自動セキュリティアセスメントフレームワークを提案する。
我々のフレームワークは、まず機械学習と自然言語処理を利用して脆弱性記述を分析する。
このセキュリティモデルは、潜在的な攻撃経路をキャプチャすることで、IoTネットワークのセキュリティを自動的に評価する。
論文 参考訳(メタデータ) (2021-09-09T04:42:24Z) - RoFL: Attestable Robustness for Secure Federated Learning [59.63865074749391]
フェデレートラーニング(Federated Learning)により、多数のクライアントが、プライベートデータを共有することなく、ジョイントモデルをトレーニングできる。
クライアントのアップデートの機密性を保証するため、フェデレートラーニングシステムはセキュアなアグリゲーションを採用している。
悪意のあるクライアントに対する堅牢性を向上させるセキュアなフェデレート学習システムであるRoFLを提案する。
論文 参考訳(メタデータ) (2021-07-07T15:42:49Z) - Dataset Security for Machine Learning: Data Poisoning, Backdoor Attacks,
and Defenses [150.64470864162556]
この作業は体系的に分類され、幅広いデータセット脆弱性とエクスプロイトを議論する。
様々な毒とバックドアの脅威モデルとそれらの関係を記述することに加えて,それらの統一分類法を展開する。
論文 参考訳(メタデータ) (2020-12-18T22:38:47Z) - Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。
我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。
我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
論文 参考訳(メタデータ) (2020-10-19T13:09:31Z) - Security and Machine Learning in the Real World [33.40597438876848]
私たちは、大規模にデプロイされた機械学習ソフトウェア製品のセキュリティを評価し、システムのセキュリティビューを含む会話を広げるために、私たちの経験に基づいています。
本稿では,機械学習モジュールをデプロイする実践者がシステムを保護するために使用できる,短期的な緩和提案のリストを提案する。
論文 参考訳(メタデータ) (2020-07-13T16:57:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。