論文の概要: A Safety Framework for Critical Systems Utilising Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2003.05311v3
- Date: Sat, 6 Jun 2020 10:49:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-25 19:14:00.268157
- Title: A Safety Framework for Critical Systems Utilising Deep Neural Networks
- Title(参考訳): 深層ニューラルネットワークを用いた臨界システムのための安全枠組み
- Authors: Xingyu Zhao, Alec Banks, James Sharp, Valentin Robu, David Flynn,
Michael Fisher, Xiaowei Huang
- Abstract要約: 本稿では,ディープニューラルネットワークを利用したクリティカルシステムのための新しい安全引数フレームワークを提案する。
このアプローチは、例えば、ある要求をパスする将来の信頼性、あるいは必要な信頼性レベルへの信頼など、様々な形の予測を可能にする。
運用データを用いたベイズ解析と,近年のディープラーニングの検証と検証技術によって支援されている。
- 参考スコア(独自算出の注目度): 13.763070043077633
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Increasingly sophisticated mathematical modelling processes from Machine
Learning are being used to analyse complex data. However, the performance and
explainability of these models within practical critical systems requires a
rigorous and continuous verification of their safe utilisation. Working towards
addressing this challenge, this paper presents a principled novel safety
argument framework for critical systems that utilise deep neural networks. The
approach allows various forms of predictions, e.g., future reliability of
passing some demands, or confidence on a required reliability level. It is
supported by a Bayesian analysis using operational data and the recent
verification and validation techniques for deep learning. The prediction is
conservative -- it starts with partial prior knowledge obtained from lifecycle
activities and then determines the worst-case prediction. Open challenges are
also identified.
- Abstract(参考訳): 機械学習による高度な数学的モデリングプロセスが、複雑なデータの解析に使われている。
しかし、実用クリティカルシステムにおけるこれらのモデルの性能と説明可能性には、安全利用の厳密かつ継続的な検証が必要である。
本稿では,この課題に対処すべく,ディープニューラルネットワークを利用した臨界システムのための原則に基づく新しい安全性議論フレームワークを提案する。
このアプローチは、例えば、ある要求をパスする将来の信頼性、あるいは必要な信頼性レベルへの信頼など、様々な形の予測を可能にする。
運用データと最近のディープラーニングの検証と検証技術を用いたベイズ解析によってサポートされている。
予測は保守的であり、ライフサイクルアクティビティから得られる部分的な事前知識から始まり、最悪のケース予測を決定する。
オープンチャレンジも特定される。
関連論文リスト
- Towards a Framework for Deep Learning Certification in Safety-Critical Applications Using Inherently Safe Design and Run-Time Error Detection [0.0]
航空や他の安全上重要な分野における現実世界の問題について検討し,認定モデルの要件について検討する。
我々は、(i)本質的に安全な設計と(ii)実行時のエラー検出に基づいて、ディープラーニング認定に向けた新しいフレームワークを構築した。
論文 参考訳(メタデータ) (2024-03-12T11:38:45Z) - NeuralSentinel: Safeguarding Neural Network Reliability and
Trustworthiness [0.0]
我々は,AIモデルの信頼性と信頼性を検証するツールであるNeuralSentinel(NS)を提案する。
NSは、モデル決定を理解することによって、専門家以外のスタッフがこの新しいシステムに対する信頼を高めるのに役立つ。
このツールはハッカソンイベントにデプロイされ、皮膚がん画像検出器の信頼性を評価するために使用された。
論文 参考訳(メタデータ) (2024-02-12T09:24:34Z) - Surrogate Neural Networks Local Stability for Aircraft Predictive Maintenance [1.6703148532130556]
サロゲートニューラルネットワークは、計算的に要求されるエンジニアリングシミュレーションの代用として、産業で日常的に使用されている。
性能と時間効率のため、これらのサロゲートモデルは安全クリティカルなアプリケーションでの使用のために開発されている。
論文 参考訳(メタデータ) (2024-01-11T21:04:28Z) - Building Safe and Reliable AI systems for Safety Critical Tasks with
Vision-Language Processing [1.2183405753834557]
現在のAIアルゴリズムでは、障害検出の一般的な原因を特定できない。
予測の質を定量化するためには、追加のテクニックが必要である。
この論文は、分類、画像キャプション、視覚質問応答といったタスクのための視覚言語データ処理に焦点を当てる。
論文 参考訳(メタデータ) (2023-08-06T18:05:59Z) - Adversarial Robustness of Deep Neural Networks: A Survey from a Formal
Verification Perspective [7.821877331499578]
悪意ある操作を受けた入力を扱う場合、ニューラルネットワークの信頼性を懸念する敵対的堅牢性は、セキュリティと機械学習において最もホットなトピックの1つである。
我々は、ニューラルネットワークの対向的堅牢性検証における既存の文献を調査し、機械学習、セキュリティ、ソフトウェアエンジニアリングドメインにわたる39の多様な研究成果を収集する。
我々は、このトピックを包括的に理解するために、形式的検証の観点から分類を提供する。
論文 参考訳(メタデータ) (2022-06-24T11:53:12Z) - The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。
我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
論文 参考訳(メタデータ) (2022-05-20T10:10:32Z) - Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
トレーニングセットとその構造が長期予測の品質に与える影響を考察する。
トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
論文 参考訳(メタデータ) (2021-12-15T20:09:20Z) - Multi Agent System for Machine Learning Under Uncertainty in Cyber
Physical Manufacturing System [78.60415450507706]
近年の予測機械学習の進歩は、製造における様々なユースケースに応用されている。
ほとんどの研究は、それに関連する不確実性に対処することなく予測精度を最大化することに焦点を当てた。
本稿では,機械学習における不確実性の原因を特定し,不確実性下での機械学習システムの成功基準を確立する。
論文 参考訳(メタデータ) (2021-07-28T10:28:05Z) - Increasing the Confidence of Deep Neural Networks by Coverage Analysis [71.57324258813674]
本稿では、異なる安全でない入力に対してモデルを強化するために、カバレッジパラダイムに基づく軽量な監視アーキテクチャを提案する。
実験結果から,提案手法は強力な対向例とアウト・オブ・ディストリビューション・インプットの両方を検出するのに有効であることが示唆された。
論文 参考訳(メタデータ) (2021-01-28T16:38:26Z) - Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。
我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。
我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
論文 参考訳(メタデータ) (2020-10-19T13:09:31Z) - Evaluating the Safety of Deep Reinforcement Learning Models using
Semi-Formal Verification [81.32981236437395]
本稿では,区間分析に基づく半形式的意思決定手法を提案する。
本手法は, 標準ベンチマークに比較して, 形式検証に対して比較結果を得る。
提案手法は, 意思決定モデルにおける安全性特性を効果的に評価することを可能にする。
論文 参考訳(メタデータ) (2020-10-19T11:18:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。