論文の概要: Demonstrating Software Reliability using Possibly Correlated Tests:
Insights from a Conservative Bayesian Approach
- arxiv url: http://arxiv.org/abs/2208.07935v3
- Date: Wed, 11 Oct 2023 13:18:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 15:04:49.303346
- Title: Demonstrating Software Reliability using Possibly Correlated Tests:
Insights from a Conservative Bayesian Approach
- Title(参考訳): 関連性テストによるソフトウェア信頼性の実証:保守的ベイズ的アプローチからの考察
- Authors: Kizito Salako, Xingyu Zhao
- Abstract要約: 我々は、実行が独立したことを「疑う」という非公式な概念を定式化する。
我々は、独立仮定が、評価において保守主義を損なうことができる範囲を明らかにする技術を開発する。
- 参考スコア(独自算出の注目度): 2.152298082788376
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents Bayesian techniques for conservative claims about
software reliability, particularly when evidence suggests the software's
executions are not statistically independent. We formalise informal notions of
"doubting" that the executions are independent, and incorporate such doubts
into reliability assessments. We develop techniques that reveal the extent to
which independence assumptions can undermine conservatism in assessments, and
identify conditions under which this impact is not significant. These
techniques - novel extensions of conservative Bayesian inference (CBI)
approaches - give conservative confidence bounds on the software's failure
probability per execution. With illustrations in two application areas -
nuclear power-plant safety and autonomous vehicle (AV) safety - our analyses
reveals: 1) the confidence an assessor should possess before subjecting a
system to operational testing. Otherwise, such testing is futile - favourable
operational testing evidence will eventually decrease one's confidence in the
system being sufficiently reliable; 2) the independence assumption supports
conservative claims sometimes; 3) in some scenarios, observing a system operate
without failure gives less confidence in the system than if some failures had
been observed; 4) building confidence in a system is very sensitive to failures
- each additional failure means significantly more operational testing is
required, in order to support a reliability claim.
- Abstract(参考訳): 本稿では,ソフトウェアの信頼性に関する保守的主張に対するベイズ的手法,特にソフトウェアの実行が統計的に独立ではないことを示す証拠について述べる。
我々は,実行が独立した「二重化」という非公式な概念を定式化し,その疑念を信頼性評価に取り入れる。
我々は,評価において,独立仮説が保守主義を損なう程度を明らかにする手法を開発し,その影響が重要でない条件を特定する。
これらのテクニック - 保守ベイズ推論(cbi)アプローチの新しい拡張 - は、ソフトウェアの実行当たりの失敗確率に対する保守的信頼度を与える。
原子力発電所の安全性と自動運転車(AV)の安全性の2つの応用分野の図面からわかる。
1) システムに運用試験を施す前に、評価官が保持すべき信任性
そうでなければ、このようなテストは無駄です - 望ましい運用テストの証拠は、最終的にシステムの信頼性を十分に低下させます。
2) 独立仮定は,時々,保守的主張を支持する。
3) あるシナリオでは,障害のないシステムの動作を観察することは,いくつかの障害が観測された場合よりも,システムに対する信頼度を低下させる。
4) システムの信頼性の構築は、障害に対して非常に敏感である。
関連論文リスト
- Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
多くの信頼度推定法は誤分類誤りを検出するのに有害である。
本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
論文 参考訳(メタデータ) (2024-03-05T11:44:14Z) - Did You Mean...? Confidence-based Trade-offs in Semantic Parsing [52.28988386710333]
タスク指向の構文解析において、キャリブレーションモデルが共通のトレードオフのバランスを取るのにどのように役立つかを示す。
次に、信頼性スコアがユーザビリティと安全性のトレードオフを最適化する上で、どのように役立つかを検証します。
論文 参考訳(メタデータ) (2023-03-29T17:07:26Z) - Trust, but Verify: Using Self-Supervised Probing to Improve
Trustworthiness [29.320691367586004]
我々は、訓練されたモデルに対する自信の過剰な問題をチェックおよび緩和することのできる、自己教師型探索の新しいアプローチを導入する。
既存の信頼性関連手法に対して,プラグイン・アンド・プレイ方式で柔軟に適用可能な,シンプルで効果的なフレームワークを提供する。
論文 参考訳(メタデータ) (2023-02-06T08:57:20Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳(メタデータ) (2022-10-24T17:53:20Z) - Confidence Composition for Monitors of Verification Assumptions [3.500426151907193]
本稿では,検証仮説の信頼性をモニタリングする3段階の枠組みを提案する。
2つのケーススタディにおいて、構成されたモニターが構成成分よりも改善し、安全違反を予測できることを実証した。
論文 参考訳(メタデータ) (2021-11-03T18:14:35Z) - Bootstrapping confidence in future safety based on past safe operation [0.0]
本研究は,運転初期における事故発生確率の低い信頼度へのアプローチを示す。
これにより、不運な運転が安全への自信を確証することを願って、限られた基準でシステムを操作するという一般的なアプローチが定式化される。
論文 参考訳(メタデータ) (2021-10-20T18:36:23Z) - Learning Uncertainty For Safety-Oriented Semantic Segmentation In
Autonomous Driving [77.39239190539871]
自律運転における安全クリティカル画像セグメンテーションを実現するために、不確実性推定をどのように活用できるかを示す。
相似性関数によって測定された不一致予測に基づく新しい不確実性尺度を導入する。
本研究では,提案手法が競合手法よりも推論時間において計算集約性が低いことを示す。
論文 参考訳(メタデータ) (2021-05-28T09:23:05Z) - Reliability Testing for Natural Language Processing Systems [14.393308846231083]
信頼性テストの必要性を議論し、説明責任の改善に関する既存の作業の中でコンテキスト化しています。
我々は,この目的のために,信頼性テストを開発するためのフレームワークを通じて,敵の攻撃を再構築する方法を示す。
論文 参考訳(メタデータ) (2021-05-06T11:24:58Z) - An evaluation of word-level confidence estimation for end-to-end
automatic speech recognition [70.61280174637913]
エンドツーエンド自動音声認識(ASR)における信頼度推定の検討
4つのよく知られた音声データセットにおける信頼度手法の広範なベンチマークを提供する。
以上の結果から,ロジットを学習温度でスケーリングすることで,強いベースラインが得られることが示唆された。
論文 参考訳(メタデータ) (2021-01-14T09:51:59Z) - Towards Safe Policy Improvement for Non-Stationary MDPs [48.9966576179679]
多くの実世界の利害問題は非定常性を示し、利害関係が高ければ、偽の定常性仮定に関連するコストは受け入れがたい。
我々は、スムーズに変化する非定常的な意思決定問題に対して、高い信頼性で安全性を確保するための第一歩を踏み出します。
提案手法は,時系列解析を用いたモデルフリー強化学習の合成により,セルドンアルゴリズムと呼ばれる安全なアルゴリズムを拡張した。
論文 参考訳(メタデータ) (2020-10-23T20:13:51Z) - Assessing Safety-Critical Systems from Operational Testing: A Study on
Autonomous Vehicles [3.629865579485447]
安全クリティカルシステム(SCS)の信頼性と安全性の実証は依然として難しい問題である。
我々は、信頼性を示す問題を再考するために、現在の例として自律走行車(AV)を使用します。
論文 参考訳(メタデータ) (2020-08-19T19:50:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。