論文の概要: Towards Probability-based Safety Verification of Systems with Components
from Machine Learning
- arxiv url: http://arxiv.org/abs/2003.01155v2
- Date: Mon, 29 Jun 2020 18:45:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-27 06:00:25.603343
- Title: Towards Probability-based Safety Verification of Systems with Components
from Machine Learning
- Title（参考訳）: 確率に基づく機械学習のコンポーネントによるシステムの安全性検証に向けて
- Authors: Hermann Kaindl and Stefan Kramer
- Abstract要約: 現在、機械学習システムの安全性の検証は不可能か、少なくとも非常に難しいと考えられている。
i) ほとんどのMLアプローチは、そのパワーとエラーの原因の両方である帰納的です。
制御実験により推定された誤差の確率と帰納的学習自体による出力の確率に基づく検証を提案する。
- 参考スコア（独自算出の注目度）: 8.75682288556859
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning (ML) has recently created many new success stories. Hence,
there is a strong motivation to use ML technology in software-intensive
systems, including safety-critical systems. This raises the issue of safety
verification of MLbased systems, which is currently thought to be infeasible
or, at least, very hard. We think that it requires taking into account specific
properties of ML technology such as: (i) Most ML approaches are inductive,
which is both their power and their source of error. (ii) Neural networks (NN)
resulting from deep learning are at the current state of the art not
transparent. Consequently, there will always be errors remaining and, at least
for deep NNs (DNNs), verification of their internal structure is extremely
hard. In general, safety engineering cannot provide full guarantees that no
harm will ever occur. That is why probabilities are used, e.g., for specifying
a risk or a Tolerable Hazard Rate (THR). In this vision paper, we propose
verification based on probabilities of errors both estimated by controlled
experiments and output by the inductively learned classifier itself.
Generalization error bounds may propagate to the probabilities of a hazard,
which must not exceed a THR. As a result, the quantitatively determined bound
on the probability of a classification error of an ML component in a
safety-critical system contributes in a well-defined way to the latter's
overall safety verification.
- Abstract（参考訳）: 機械学習(ML)は最近、多くの新しい成功談を生み出した。
したがって、安全クリティカルシステムを含むソフトウェア集約システムにML技術を使用するという強い動機がある。
これはMLベースのシステムの安全性検証の問題を提起する。
我々は、次のようなML技術の特定の特性を考慮する必要があると考えている。
(i)ほとんどのMLアプローチはインダクティブであり、そのパワーとエラーの原因の両方である。
(ii) 深層学習によるニューラルネットワーク(NN)は, 最先端技術が透明でない状態にある。
その結果、常にエラーが残っており、少なくともディープNN(DNN)では、内部構造の検証は非常に困難である。
一般的に、安全工学は害が起こらないという完全な保証を与えることはできない。
そのため、例えばリスクや許容ハザードレート(THR)を指定するために、確率が使われる。
本稿では,制御実験によって推定された誤差の確率と帰納的学習型分類器自体による出力に基づく検証を提案する。
一般化誤差境界は、THRを超えてはならないハザードの確率に伝播する可能性がある。
その結果、安全クリティカルシステムにおけるml成分の分類誤差の確率を定量的に決定することで、後者の全体的な安全性検証の方法が明確に決定される。
関連論文リスト
- SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.67623347512368]
MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。
我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。
本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
論文 参考訳（メタデータ） (2024-10-24T17:14:40Z) - Enhancing Trustworthiness in ML-Based Network Intrusion Detection with Uncertainty Quantification [0.0]
侵入検知システム(英語: Intrusion Detection Systems、IDS)は、現代のネットワークに対する攻撃を識別し軽減するために設計されたセキュリティ装置である。
機械学習(ML)に基づくデータ駆動型アプローチは、分類タスクの実行でますます人気を集めている。
しかし、この目的のために採用された典型的なMLモデルは、予測に関する不確実性を適切に考慮していない。
論文 参考訳（メタデータ） (2023-09-05T13:52:41Z) - Vulnerability of Machine Learning Approaches Applied in IoT-based Smart Grid: A Review [51.31851488650698]
機械学習(ML)は、IoT(Internet-of-Things)ベースのスマートグリッドでの使用頻度が高まっている。
電力信号に注入された逆方向の歪みは システムの正常な制御と操作に大きな影響を及ぼす
安全クリティカルパワーシステムに適用されたMLsgAPPの脆弱性評価を行うことが不可欠である。
論文 参考訳（メタデータ） (2023-08-30T03:29:26Z) - Ensembling Uncertainty Measures to Improve Safety of Black-Box
Classifiers [3.130722489512822]
SPROUTは、不確実性対策の安全ラッパースローアンサンブルである。
ブラックボックス分類器の入力と出力に関する不確実性を測定することで、誤分類を疑う。
その結果の安全性への影響は、SPROUTが不規則な出力(ミス分類)をデータ欠落の失敗に変換することである。
論文 参考訳（メタデータ） (2023-08-23T11:24:28Z) - Identifying the Hazard Boundary of ML-enabled Autonomous Systems Using
Cooperative Co-Evolutionary Search [9.511076358998073]
機械学習対応自律システムにおけるMLコンポーネント(MLC)のハザード境界を解析により同定することが不可欠である。
協調進化アルゴリズム(CCEA)に基づく新しい手法であるMLCSHEを提案する。
複雑な自律走行車(AV)のケーススタディにおけるMLCSHEの有効性と効率について検討した。
論文 参考訳（メタデータ） (2023-01-31T17:50:52Z) - The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural
Networks [94.63547069706459]
#DNN-Verification問題は、DNNの入力構成の数を数えることによって安全性に反する結果となる。
違反の正確な数を返す新しい手法を提案する。
安全クリティカルなベンチマークのセットに関する実験結果を示す。
論文 参考訳（メタデータ） (2023-01-17T18:32:01Z) - Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions [60.26921219698514]
CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。
次に、結果の安全制御器のポイントワイズ実現可能性条件を示す。
これらの条件を利用して、イベントトリガーによるオンラインデータ収集戦略を考案する。
論文 参考訳（メタデータ） (2022-08-23T05:02:09Z) - The Role of Explainability in Assuring Safety of Machine Learning in
Healthcare [9.462125772941347]
本稿では、MLベースのシステムの安全性保証に説明可能なAI手法が寄与する方法について述べる。
結果は安全引数として表現され、どのようにして説明可能なAIメソッドが安全ケースに寄与できるかを示す。
論文 参考訳（メタデータ） (2021-09-01T09:32:14Z) - Inspect, Understand, Overcome: A Survey of Practical Methods for AI
Safety [54.478842696269304]
安全クリティカルなアプリケーションにディープニューラルネットワーク(DNN)を使用することは、多数のモデル固有の欠点のために困難です。
近年,これらの安全対策を目的とした最先端技術動物園が出現している。
本稿は、機械学習の専門家と安全エンジニアの両方に対処する。
論文 参考訳（メタデータ） (2021-04-29T09:54:54Z) - Robust Machine Learning Systems: Challenges, Current Trends,
Perspectives, and the Road Ahead [24.60052335548398]
機械学習(ML)技術は、スマートサイバーフィジカルシステム(CPS)とIoT(Internet-of-Things)によって急速に採用されています。
ハードウェアとソフトウェアの両方のレベルで、さまざまなセキュリティと信頼性の脅威に脆弱であり、その正確性を損ないます。
本稿では、現代のMLシステムの顕著な脆弱性を要約し、これらの脆弱性に対する防御と緩和技術の成功を強調する。
論文 参考訳（メタデータ） (2021-01-04T20:06:56Z) - Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。
我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。
我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
論文 参考訳（メタデータ） (2020-10-19T13:09:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。