論文の概要: Risk Assessment for Machine Learning Models
- arxiv url: http://arxiv.org/abs/2011.04328v1
- Date: Mon, 9 Nov 2020 10:50:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-28 00:15:49.860306
- Title: Risk Assessment for Machine Learning Models
- Title(参考訳): 機械学習モデルのリスクアセスメント
- Authors: Paul Schwerdtner, Florens Gre{\ss}ner, Nikhil Kapoor, Felix Assion,
Ren\'e Sass, Wiebke G\"unther, Fabian H\"uger, and Peter Schlicht
- Abstract要約: デプロイシナリオを定義し、各シナリオで指定された条件下で機械学習モデルをテストし、テスト中の機械学習モデルの出力に関連するダメージを推定する手法を開発し、実装する。
特に、我々のフレームワークでは、ランダムな入力汚職に対する機械学習モデルの堅牢性、環境の変化による分布変化、および逆の摂動を評価することができる。
- 参考スコア(独自算出の注目度): 5.136418932626926
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper we propose a framework for assessing the risk associated with
deploying a machine learning model in a specified environment. For that we
carry over the risk definition from decision theory to machine learning. We
develop and implement a method that allows to define deployment scenarios, test
the machine learning model under the conditions specified in each scenario, and
estimate the damage associated with the output of the machine learning model
under test. Using the likelihood of each scenario together with the estimated
damage we define \emph{key risk indicators} of a machine learning model.
The definition of scenarios and weighting by their likelihood allows for
standardized risk assessment in machine learning throughout multiple domains of
application. In particular, in our framework, the robustness of a machine
learning model to random input corruptions, distributional shifts caused by a
changing environment, and adversarial perturbations can be assessed.
- Abstract(参考訳): 本稿では,機械学習モデルを特定の環境にデプロイする際のリスクを評価するためのフレームワークを提案する。
そのため、意思決定理論から機械学習まで、リスク定義を継承します。
デプロイシナリオを定義し,各シナリオで指定された条件下で機械学習モデルをテストし,テスト対象の機械学習モデルの出力に伴う損傷を推定する手法を開発し,実装する。
各シナリオの確率と推定されたダメージを用いて、機械学習モデルのemph{key risk indicators}を定義する。
シナリオの定義とその可能性による重み付けにより、複数のアプリケーション領域にわたる機械学習における標準化されたリスク評価が可能になる。
特に、我々のフレームワークでは、ランダムな入力汚職に対する機械学習モデルの堅牢性、環境の変化による分布変化、および逆の摂動を評価することができる。
関連論文リスト
- Towards a Framework for Deep Learning Certification in Safety-Critical Applications Using Inherently Safe Design and Run-Time Error Detection [0.0]
航空や他の安全上重要な分野における現実世界の問題について検討し,認定モデルの要件について検討する。
我々は、(i)本質的に安全な設計と(ii)実行時のエラー検出に基づいて、ディープラーニング認定に向けた新しいフレームワークを構築した。
論文 参考訳(メタデータ) (2024-03-12T11:38:45Z) - Distribution-free risk assessment of regression-based machine learning
algorithms [6.507711025292814]
我々は回帰アルゴリズムとモデル予測の周囲に定義された区間内に存在する真のラベルの確率を計算するリスク評価タスクに焦点をあてる。
そこで,本研究では,正のラベルを所定の確率で含むことが保証される予測区間を提供する共形予測手法を用いてリスク評価問題を解決する。
論文 参考訳(メタデータ) (2023-10-05T13:57:24Z) - CC-Cert: A Probabilistic Approach to Certify General Robustness of
Neural Networks [58.29502185344086]
安全クリティカルな機械学習アプリケーションでは、モデルを敵の攻撃から守ることが不可欠である。
意味的に意味のある入力変換に対して、ディープラーニングモデルの証明可能な保証を提供することが重要である。
我々はChernoff-Cramer境界に基づく新しい普遍確率的証明手法を提案する。
論文 参考訳(メタデータ) (2021-09-22T12:46:04Z) - Multi Agent System for Machine Learning Under Uncertainty in Cyber
Physical Manufacturing System [78.60415450507706]
近年の予測機械学習の進歩は、製造における様々なユースケースに応用されている。
ほとんどの研究は、それに関連する不確実性に対処することなく予測精度を最大化することに焦点を当てた。
本稿では,機械学習における不確実性の原因を特定し,不確実性下での機械学習システムの成功基準を確立する。
論文 参考訳(メタデータ) (2021-07-28T10:28:05Z) - When and How to Fool Explainable Models (and Humans) with Adversarial
Examples [1.439518478021091]
説明可能な機械学習モデルに対する敵攻撃の可能性と限界について検討する。
まず、逆例の概念を拡張して、説明可能な機械学習シナリオに適合する。
次に、説明可能なモデルに対して、逆例を生成できるかどうかを総合的に検討する枠組みを提案する。
論文 参考訳(メタデータ) (2021-07-05T11:20:55Z) - Generating and Characterizing Scenarios for Safety Testing of Autonomous
Vehicles [86.9067793493874]
最先端運転シミュレータを用いて,テストシナリオを特徴付け,生成するための効率的なメカニズムを提案する。
次世代シミュレーション(NGSIM)プロジェクトにおける実運転データの特徴付けに本手法を用いる。
事故回避の複雑さに基づいてメトリクスを定義してシナリオをランク付けし、事故発生の可能性を最小限に抑えるための洞察を提供します。
論文 参考訳(メタデータ) (2021-03-12T17:00:23Z) - ML-Doctor: Holistic Risk Assessment of Inference Attacks Against Machine
Learning Models [64.03398193325572]
機械学習(ML)モデルに対する推論攻撃により、敵はトレーニングデータやモデルパラメータなどを学ぶことができる。
私たちは、メンバシップ推論、モデル反転、属性推論、モデル盗難の4つの攻撃に集中しています。
私たちの分析では、MLモデルオーナがモデルをデプロイするリスクを評価することができる、モジュール化された再使用可能なソフトウェアであるML-Doctorに依存しています。
論文 参考訳(メタデータ) (2021-02-04T11:35:13Z) - Risk-Sensitive Sequential Action Control with Multi-Modal Human
Trajectory Forecasting for Safe Crowd-Robot Interaction [55.569050872780224]
本稿では,リスクに敏感な最適制御に基づく安全な群集ロボットインタラクションのためのオンラインフレームワークを提案し,そのリスクをエントロピーリスク尺度でモデル化する。
私たちのモジュラーアプローチは、クラウドとロボットの相互作用を学習ベースの予測とモデルベースの制御に分離します。
シミュレーション研究と実世界の実験により、このフレームワークは、現場にいる50人以上の人間との衝突を避けながら、安全で効率的なナビゲーションを実現することができることが示された。
論文 参考訳(メタデータ) (2020-09-12T02:02:52Z) - Plausible Counterfactuals: Auditing Deep Learning Classifiers with
Realistic Adversarial Examples [84.8370546614042]
ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。
GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。
その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
論文 参考訳(メタデータ) (2020-03-25T11:08:56Z) - A Hierarchy of Limitations in Machine Learning [0.0]
本稿では,社会に応用された機械学習におけるモデルの概念的,手続き的,統計的制限の包括的,構造化された概要を論じる。
モデラー自身は、記述された階層を使って、可能な障害点を特定し、それらに対処する方法を考えることができます。
機械学習モデルの消費者は、機械学習を適用するかどうか、場所、方法に関する決定に直面したときに、何を問うべきかを知ることができる。
論文 参考訳(メタデータ) (2020-02-12T19:39:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。