論文の概要: Risk Management Framework for Machine Learning Security
- arxiv url: http://arxiv.org/abs/2012.04884v1
- Date: Wed, 9 Dec 2020 06:21:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-16 01:56:43.429802
- Title: Risk Management Framework for Machine Learning Security
- Title（参考訳）: 機械学習セキュリティのためのリスク管理フレームワーク
- Authors: Jakub Breier and Adrian Baldwin and Helen Balinsky and Yang Liu
- Abstract要約: 機械学習モデルに対する敵意攻撃は、学界と産業の両方で非常に研究されているトピックとなっている。
本稿では,機械学習モデルに依存する組織に対して,リスク管理プロセスを導くための新しい枠組みを提案する。
- 参考スコア（独自算出の注目度）: 7.678455181587705
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial attacks for machine learning models have become a highly studied
topic both in academia and industry. These attacks, along with traditional
security threats, can compromise confidentiality, integrity, and availability
of organization's assets that are dependent on the usage of machine learning
models. While it is not easy to predict the types of new attacks that might be
developed over time, it is possible to evaluate the risks connected to using
machine learning models and design measures that help in minimizing these
risks.
In this paper, we outline a novel framework to guide the risk management
process for organizations reliant on machine learning models. First, we define
sets of evaluation factors (EFs) in the data domain, model domain, and security
controls domain. We develop a method that takes the asset and task importance,
sets the weights of EFs' contribution to confidentiality, integrity, and
availability, and based on implementation scores of EFs, it determines the
overall security state in the organization. Based on this information, it is
possible to identify weak links in the implemented security measures and find
out which measures might be missing completely. We believe our framework can
help in addressing the security issues related to usage of machine learning
models in organizations and guide them in focusing on the adequate security
measures to protect their assets.
- Abstract（参考訳）: 機械学習モデルに対する敵意攻撃は、学界と産業の両方で非常に研究されているトピックとなっている。
これらの攻撃は、従来のセキュリティ脅威とともに、機械学習モデルの使用に依存する組織の機密性、完全性、可用性を侵害する可能性がある。
時間とともに展開される可能性のある新たな攻撃のタイプを予測することは容易ではないが、マシンラーニングモデルの使用に伴うリスク評価や、これらのリスクを最小化するための設計措置が可能である。
本稿では,機械学習モデルに依存する組織に対して,リスク管理プロセスを導くための新しい枠組みを提案する。
まず、データドメイン、モデルドメイン、セキュリティコントロールドメインにおける評価係数(EF)のセットを定義します。
我々は,その資産とタスクを重要視する手法を開発し,EFの機密性,完全性,可用性への貢献の重みを設定し,EFの実装スコアに基づいて組織全体のセキュリティ状態を決定する。
この情報に基づいて、実装されたセキュリティ対策の弱いリンクを特定し、どの対策が完全に欠落しているかを突き止めることができる。
弊社のフレームワークは、組織における機械学習モデルの使用に関するセキュリティ問題に対処し、それらの資産を保護するための適切なセキュリティ対策に焦点を合わせるのに役立つと信じている。
関連論文リスト
- SoK: Unifying Cybersecurity and Cybersafety of Multimodal Foundation Models with an Information Theory Approach [58.93030774141753]
MFM(Multimodal foundation model)は、人工知能の大幅な進歩を表す。
本稿では,マルチモーダル学習におけるサイバーセーフティとサイバーセキュリティを概念化する。
我々は、これらの概念をMFMに統一し、重要な脅威を特定するための総合的知識体系化(SoK)を提案する。
論文 参考訳（メタデータ） (2024-11-17T23:06:20Z) - Defining and Evaluating Physical Safety for Large Language Models [62.4971588282174]
大型言語モデル (LLM) は、ドローンのようなロボットシステムを制御するためにますます使われている。
現実世界のアプリケーションに物理的な脅威や害をもたらすリスクは、まだ解明されていない。
我々は,ドローンの物理的安全性リスクを,(1)目標脅威,(2)目標脅威,(3)インフラ攻撃,(4)規制違反の4つのカテゴリに分類する。
論文 参考訳（メタデータ） (2024-11-04T17:41:25Z) - EAIRiskBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [47.69642609574771]
EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。
高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。
しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。
EAIRiskBenchは、EAIシナリオにおける自動物理的リスクアセスメントのための新しいフレームワークである。
論文 参考訳（メタデータ） (2024-08-08T13:19:37Z) - Threat Modelling and Risk Analysis for Large Language Model (LLM)-Powered Applications [0.0]
大規模言語モデル(LLM)は、高度な自然言語処理機能を提供することによって、様々なアプリケーションに革命をもたらした。
本稿では,LSMを利用したアプリケーションに適した脅威モデリングとリスク分析について検討する。
論文 参考訳（メタデータ） (2024-06-16T16:43:58Z) - RMF: A Risk Measurement Framework for Machine Learning Models [2.9833943723592764]
機械学習(ML)をコンポーネントとして使用するシステムのセキュリティを測定することは重要である。
本稿では、MLの分野、特に自動運転車のセキュリティに焦点を当てる。
論文 参考訳（メタデータ） (2024-06-15T13:22:47Z) - Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。
我々の調査は、この信念に対する重大な監視を露呈している。
我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
論文 参考訳（メタデータ） (2024-04-16T13:22:54Z) - Mapping LLM Security Landscapes: A Comprehensive Stakeholder Risk Assessment Proposal [0.0]
本稿では,従来のシステムにおけるリスク評価手法のようなツールを用いたリスク評価プロセスを提案する。
我々は、潜在的な脅威要因を特定し、脆弱性要因に対して依存するシステムコンポーネントをマッピングするためのシナリオ分析を行う。
3つの主要株主グループに対する脅威もマップ化しています。
論文 参考訳（メタデータ） (2024-03-20T05:17:22Z) - Whispers in the Machine: Confidentiality in LLM-integrated Systems [7.893457690926516]
大規模言語モデル(LLM)は、外部ツールや商用サービスをLLM統合システムに拡張する傾向にある。
操作された統合はモデルを悪用し、他のインターフェースを通じてアクセスされた機密データを侵害することができる。
LLM統合システムにおける機密性リスクを評価するための体系的アプローチを提案する。
論文 参考訳（メタデータ） (2024-02-10T11:07:24Z) - Self-Destructing Models: Increasing the Costs of Harmful Dual Uses of
Foundation Models [103.71308117592963]
本稿ではメタラーニングと逆学習の技法を活用した自己破壊モデルの学習アルゴリズムを提案する。
小規模な実験では、MLACは、BERTスタイルのモデルが性別識別を行うために再目的化されることをほとんど防ぐことができることを示す。
論文 参考訳（メタデータ） (2022-11-27T21:43:45Z) - Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。
我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。
我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
論文 参考訳（メタデータ） (2020-10-19T13:09:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。