論文の概要: Fail-Safe Execution of Deep Learning based Systems through Uncertainty
Monitoring
- arxiv url: http://arxiv.org/abs/2102.00902v1
- Date: Mon, 1 Feb 2021 15:22:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-02 16:16:18.200060
- Title: Fail-Safe Execution of Deep Learning based Systems through Uncertainty
Monitoring
- Title（参考訳）: 不確実性監視によるディープラーニングシステムのフェールセーフ実行
- Authors: Michael Weiss and Paolo Tonella
- Abstract要約: フェールセーフなディープラーニングベースシステム(DLS)は、スーパーバイザーによってDNNの障害を処理する。
本稿では,DNNの不確実性推定器を用いて,そのようなスーパーバイザを実装する手法を提案する。
通常のtf.keras DNNに対する不確かさを透過的に推定できるツールUNCERTAINTY-WIZARDについて述べる。
- 参考スコア（独自算出の注目度）: 4.56877715768796
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern software systems rely on Deep Neural Networks (DNN) when processing
complex, unstructured inputs, such as images, videos, natural language texts or
audio signals. Provided the intractably large size of such input spaces, the
intrinsic limitations of learning algorithms, and the ambiguity about the
expected predictions for some of the inputs, not only there is no guarantee
that DNN's predictions are always correct, but rather developers must safely
assume a low, though not negligible, error probability. A fail-safe Deep
Learning based System (DLS) is one equipped to handle DNN faults by means of a
supervisor, capable of recognizing predictions that should not be trusted and
that should activate a healing procedure bringing the DLS to a safe state. In
this paper, we propose an approach to use DNN uncertainty estimators to
implement such a supervisor. We first discuss the advantages and disadvantages
of existing approaches to measure uncertainty for DNNs and propose novel
metrics for the empirical assessment of the supervisor that rely on such
approaches. We then describe our publicly available tool UNCERTAINTY-WIZARD,
which allows transparent estimation of uncertainty for regular tf.keras DNNs.
Lastly, we discuss a large-scale study conducted on four different subjects to
empirically validate the approach, reporting the lessons-learned as guidance
for software engineers who intend to monitor uncertainty for fail-safe
execution of DLS.
- Abstract（参考訳）: 現代のソフトウェアシステムは、画像、ビデオ、自然言語テキスト、音声信号などの複雑な非構造化入力を処理する際にDeep Neural Networks (DNN) に依存している。
このような入力空間の難解な大きさ、学習アルゴリズムの本質的な制限、およびいくつかの入力に対する予測の曖昧さが提供され、DNNの予測が常に正しいという保証はない。
フェイルセーフディープラーニングベースシステム(DLS)は、DNN障害をスーパーバイザによって処理する装備の1つであり、信頼すべきでない予測を認識し、DLSを安全な状態にする治癒手順を活性化することができる。
本稿では,DNN不確実性推定器を用いてこのようなスーパーバイザを実装する手法を提案する。
まず、DNNの不確実性を測定するための既存のアプローチの利点と欠点を議論し、そのようなアプローチに依存するスーパーバイザーの実証的評価のための新しいメトリクスを提案します。
次に、公開ツールUNCERTAINTY-WIZARDについて述べ、通常のtf.keras DNNに対する不確実性を透過的に推定する。
最後に,このアプローチを実証的に検証するために,4つの異なる課題について実施した大規模研究について検討し,dlsのフェールセーフ実行の不確実性を監視するソフトウェア技術者への指導として,教訓を報告する。
関連論文リスト
- Uncertainty Calibration with Energy Based Instance-wise Scaling in the Wild Dataset [23.155946032377052]
エネルギーモデルに基づく新しいインスタンスワイドキャリブレーション手法を提案する。
本手法は,ソフトマックス信頼性スコアの代わりにエネルギースコアを組み込むことにより,不確実性を考慮した適応的な検討を可能にする。
実験では,提案手法はスペクトル間のロバストな性能を一貫して維持することを示した。
論文 参考訳（メタデータ） (2024-07-17T06:14:55Z) - Enumerating Safe Regions in Deep Neural Networks with Provable
Probabilistic Guarantees [86.1362094580439]
安全プロパティとDNNが与えられた場合、安全であるプロパティ入力領域のすべての領域の集合を列挙する。
この問題の #P-hardness のため,epsilon-ProVe と呼ばれる効率的な近似法を提案する。
提案手法は, 許容限界の統計的予測により得られた出力可到達集合の制御可能な過小評価を利用する。
論文 参考訳（メタデータ） (2023-08-18T22:30:35Z) - Uncertainty in Natural Language Processing: Sources, Quantification, and
Applications [56.130945359053776]
NLP分野における不確実性関連作業の総合的なレビューを行う。
まず、自然言語の不確実性の原因を、入力、システム、出力の3つのタイプに分類する。
我々は,NLPにおける不確実性推定の課題について論じ,今後の方向性について論じる。
論文 参考訳（メタデータ） (2023-06-05T06:46:53Z) - The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural
Networks [94.63547069706459]
#DNN-Verification問題は、DNNの入力構成の数を数えることによって安全性に反する結果となる。
違反の正確な数を返す新しい手法を提案する。
安全クリティカルなベンチマークのセットに関する実験結果を示す。
論文 参考訳（メタデータ） (2023-01-17T18:32:01Z) - Uncertainty Quantification for Deep Neural Networks: An Empirical
Comparison and Usage Guidelines [4.987581730476023]
ディープニューラルネットワーク(DNN)は、複雑なデータを処理する必要がある大規模ソフトウェアシステムのコンポーネントとして、ますます利用されている。
不確実性推定によりスーパーバイザを実装するディープラーニングベースシステム(DLS)。
論文 参考訳（メタデータ） (2022-12-14T09:12:30Z) - Interpretable Self-Aware Neural Networks for Robust Trajectory
Prediction [50.79827516897913]
本稿では,意味概念間で不確実性を分散する軌道予測のための解釈可能なパラダイムを提案する。
実世界の自動運転データに対する我々のアプローチを検証し、最先端のベースラインよりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-11-16T06:28:20Z) - Learning Uncertainty For Safety-Oriented Semantic Segmentation In
Autonomous Driving [77.39239190539871]
自律運転における安全クリティカル画像セグメンテーションを実現するために、不確実性推定をどのように活用できるかを示す。
相似性関数によって測定された不一致予測に基づく新しい不確実性尺度を導入する。
本研究では,提案手法が競合手法よりも推論時間において計算集約性が低いことを示す。
論文 参考訳（メタデータ） (2021-05-28T09:23:05Z) - Interval Deep Learning for Uncertainty Quantification in Safety
Applications [0.0]
現在のディープニューラルネットワーク(DNN)は、重要な入力データの不確実性を定量化し伝播する暗黙のメカニズムを持っていない。
本稿では、間隔解析を用いて入力とパラメータの不確かさを定量化できる勾配法を最適化したDNNを提案する。
本研究では,Deep Interval Neural Network (DINN) が不確定な入力データから正確な有界推定を生成できることを示した。
論文 参考訳（メタデータ） (2021-05-13T17:21:33Z) - PAC Confidence Predictions for Deep Neural Network Classifiers [28.61937254015157]
ディープニューラルネットワーク(DNN)を安全クリティカルな環境でデプロイする上で重要な課題は、その不確実性を定量化する厳密な方法を提供することだ。
証明可能な正当性保証を備えたDNNに対して,予測された分類信頼度を構築するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-11-02T04:09:17Z) - A Comparison of Uncertainty Estimation Approaches in Deep Learning
Components for Autonomous Vehicle Applications [0.0]
自律走行車(AV)の安全性を確保する主要な要因は、望ましくない、予測できない状況下での異常な行動を避けることである。
データやモデルにおける不確実性の定量化のための様々な手法が近年提案されている。
これらの手法では、高い計算負荷、高いメモリフットプリント、余分なレイテンシが要求され、安全クリティカルなアプリケーションでは禁止される。
論文 参考訳（メタデータ） (2020-06-26T18:55:10Z) - Frequentist Uncertainty in Recurrent Neural Networks via Blockwise
Influence Functions [121.10450359856242]
リカレントニューラルネットワーク(RNN)は、シーケンシャルおよび時系列データのモデリングに有効である。
RNNにおける既存の不確実性定量化のアプローチは、主にベイズ法に基づいている。
a)モデルトレーニングに干渉せず、その精度を損なうことなく、(b)任意のRNNアーキテクチャに適用し、(c)推定不確かさ間隔に関する理論的カバレッジ保証を提供する。
論文 参考訳（メタデータ） (2020-06-20T22:45:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。