論文の概要: Towards Probability-based Safety Verification of Systems with Components
from Machine Learning
- arxiv url: http://arxiv.org/abs/2003.01155v2
- Date: Mon, 29 Jun 2020 18:45:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-27 06:00:25.603343
- Title: Towards Probability-based Safety Verification of Systems with Components
from Machine Learning
- Title(参考訳): 確率に基づく機械学習のコンポーネントによるシステムの安全性検証に向けて
- Authors: Hermann Kaindl and Stefan Kramer
- Abstract要約: 現在、機械学習システムの安全性の検証は不可能か、少なくとも非常に難しいと考えられている。
i) ほとんどのMLアプローチは、そのパワーとエラーの原因の両方である帰納的です。
制御実験により推定された誤差の確率と帰納的学習自体による出力の確率に基づく検証を提案する。
- 参考スコア(独自算出の注目度): 8.75682288556859
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning (ML) has recently created many new success stories. Hence,
there is a strong motivation to use ML technology in software-intensive
systems, including safety-critical systems. This raises the issue of safety
verification of MLbased systems, which is currently thought to be infeasible
or, at least, very hard. We think that it requires taking into account specific
properties of ML technology such as: (i) Most ML approaches are inductive,
which is both their power and their source of error. (ii) Neural networks (NN)
resulting from deep learning are at the current state of the art not
transparent. Consequently, there will always be errors remaining and, at least
for deep NNs (DNNs), verification of their internal structure is extremely
hard. In general, safety engineering cannot provide full guarantees that no
harm will ever occur. That is why probabilities are used, e.g., for specifying
a risk or a Tolerable Hazard Rate (THR). In this vision paper, we propose
verification based on probabilities of errors both estimated by controlled
experiments and output by the inductively learned classifier itself.
Generalization error bounds may propagate to the probabilities of a hazard,
which must not exceed a THR. As a result, the quantitatively determined bound
on the probability of a classification error of an ML component in a
safety-critical system contributes in a well-defined way to the latter's
overall safety verification.
- Abstract(参考訳): 機械学習(ML)は最近、多くの新しい成功談を生み出した。
したがって、安全クリティカルシステムを含むソフトウェア集約システムにML技術を使用するという強い動機がある。
これはMLベースのシステムの安全性検証の問題を提起する。
我々は、次のようなML技術の特定の特性を考慮する必要があると考えている。
(i)ほとんどのMLアプローチはインダクティブであり、そのパワーとエラーの原因の両方である。
(ii) 深層学習によるニューラルネットワーク(NN)は, 最先端技術が透明でない状態にある。
その結果、常にエラーが残っており、少なくともディープNN(DNN)では、内部構造の検証は非常に困難である。
一般的に、安全工学は害が起こらないという完全な保証を与えることはできない。
そのため、例えばリスクや許容ハザードレート(THR)を指定するために、確率が使われる。
本稿では,制御実験によって推定された誤差の確率と帰納的学習型分類器自体による出力に基づく検証を提案する。
一般化誤差境界は、THRを超えてはならないハザードの確率に伝播する可能性がある。
その結果、安全クリティカルシステムにおけるml成分の分類誤差の確率を定量的に決定することで、後者の全体的な安全性検証の方法が明確に決定される。
関連論文リスト
- Fact-Checking the Output of Large Language Models via Token-Level
Uncertainty Quantification [119.38495860737929]
大型言語モデル(LLM)は幻覚、すなわちその出力に誤った主張を生じさせることで有名である。
本稿では,トークンレベルの不確実性定量化に基づくファクトチェックと幻覚検出パイプラインを提案する。
論文 参考訳(メタデータ) (2024-03-07T17:44:17Z) - Scaling #DNN-Verification Tools with Efficient Bound Propagation and
Parallel Computing [57.49021927832259]
ディープニューラルネットワーク(DNN)は多くのシナリオで異常な結果を示した強力なツールです。
しかし、それらの複雑な設計と透明性の欠如は、現実世界のアプリケーションに適用する際の安全性上の懸念を提起する。
DNNの形式的検証(FV)は、安全面の証明可能な保証を提供する貴重なソリューションとして登場した。
論文 参考訳(メタデータ) (2023-12-10T13:51:25Z) - Enhancing Trustworthiness in ML-Based Network Intrusion Detection with
Uncertainty Quantification [0.0]
侵入検知システム(英語: Intrusion Detection Systems、IDS)は、現代のネットワークに対する攻撃を識別し軽減するために設計されたセキュリティ装置である。
機械学習(ML)に基づくデータ駆動型アプローチは、IDSが必要とする分類タスクの実行において、ますます人気が高まっている。
しかし、この目的のために採用された典型的なMLモデルは、彼ら自身の予測に関連する不確実性を適切に考慮していない。
論文 参考訳(メタデータ) (2023-09-05T13:52:41Z) - Ensembling Uncertainty Measures to Improve Safety of Black-Box
Classifiers [3.130722489512822]
SPROUTは、不確実性対策の安全ラッパースローアンサンブルである。
ブラックボックス分類器の入力と出力に関する不確実性を測定することで、誤分類を疑う。
その結果の安全性への影響は、SPROUTが不規則な出力(ミス分類)をデータ欠落の失敗に変換することである。
論文 参考訳(メタデータ) (2023-08-23T11:24:28Z) - Identifying the Hazard Boundary of ML-enabled Autonomous Systems Using
Cooperative Co-Evolutionary Search [9.511076358998073]
機械学習対応自律システムにおけるMLコンポーネント(MLC)のハザード境界を解析により同定することが不可欠である。
協調進化アルゴリズム(CCEA)に基づく新しい手法であるMLCSHEを提案する。
複雑な自律走行車(AV)のケーススタディにおけるMLCSHEの有効性と効率について検討した。
論文 参考訳(メタデータ) (2023-01-31T17:50:52Z) - The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural
Networks [94.63547069706459]
#DNN-Verification問題は、DNNの入力構成の数を数えることによって安全性に反する結果となる。
違反の正確な数を返す新しい手法を提案する。
安全クリティカルなベンチマークのセットに関する実験結果を示す。
論文 参考訳(メタデータ) (2023-01-17T18:32:01Z) - The Role of Explainability in Assuring Safety of Machine Learning in
Healthcare [9.462125772941347]
本稿では、MLベースのシステムの安全性保証に説明可能なAI手法が寄与する方法について述べる。
結果は安全引数として表現され、どのようにして説明可能なAIメソッドが安全ケースに寄与できるかを示す。
論文 参考訳(メタデータ) (2021-09-01T09:32:14Z) - Practical Machine Learning Safety: A Survey and Primer [81.73857913779534]
自動運転車のような安全クリティカルなアプリケーションにおける機械学習アルゴリズムのオープンワールド展開は、さまざまなML脆弱性に対処する必要がある。
一般化エラーを低減し、ドメイン適応を実現し、外乱例や敵攻撃を検出するための新しいモデルと訓練技術。
我々の組織は、MLアルゴリズムの信頼性を異なる側面から向上するために、最先端のML技術を安全戦略にマッピングする。
論文 参考訳(メタデータ) (2021-06-09T05:56:42Z) - Inspect, Understand, Overcome: A Survey of Practical Methods for AI
Safety [54.478842696269304]
安全クリティカルなアプリケーションにディープニューラルネットワーク(DNN)を使用することは、多数のモデル固有の欠点のために困難です。
近年,これらの安全対策を目的とした最先端技術動物園が出現している。
本稿は、機械学習の専門家と安全エンジニアの両方に対処する。
論文 参考訳(メタデータ) (2021-04-29T09:54:54Z) - Robust Machine Learning Systems: Challenges, Current Trends,
Perspectives, and the Road Ahead [24.60052335548398]
機械学習(ML)技術は、スマートサイバーフィジカルシステム(CPS)とIoT(Internet-of-Things)によって急速に採用されています。
ハードウェアとソフトウェアの両方のレベルで、さまざまなセキュリティと信頼性の脅威に脆弱であり、その正確性を損ないます。
本稿では、現代のMLシステムの顕著な脆弱性を要約し、これらの脆弱性に対する防御と緩和技術の成功を強調する。
論文 参考訳(メタデータ) (2021-01-04T20:06:56Z) - Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。
我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。
我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
論文 参考訳(メタデータ) (2020-10-19T13:09:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。