論文の概要: Demonstrating Software Reliability using Possibly Correlated Tests:
Insights from a Conservative Bayesian Approach
- arxiv url: http://arxiv.org/abs/2208.07935v3
- Date: Wed, 11 Oct 2023 13:18:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 15:04:49.303346
- Title: Demonstrating Software Reliability using Possibly Correlated Tests:
Insights from a Conservative Bayesian Approach
- Title（参考訳）: 関連性テストによるソフトウェア信頼性の実証:保守的ベイズ的アプローチからの考察
- Authors: Kizito Salako, Xingyu Zhao
- Abstract要約: 我々は、実行が独立したことを「疑う」という非公式な概念を定式化する。
我々は、独立仮定が、評価において保守主義を損なうことができる範囲を明らかにする技術を開発する。
- 参考スコア（独自算出の注目度）: 2.152298082788376
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents Bayesian techniques for conservative claims about
software reliability, particularly when evidence suggests the software's
executions are not statistically independent. We formalise informal notions of
"doubting" that the executions are independent, and incorporate such doubts
into reliability assessments. We develop techniques that reveal the extent to
which independence assumptions can undermine conservatism in assessments, and
identify conditions under which this impact is not significant. These
techniques - novel extensions of conservative Bayesian inference (CBI)
approaches - give conservative confidence bounds on the software's failure
probability per execution. With illustrations in two application areas -
nuclear power-plant safety and autonomous vehicle (AV) safety - our analyses
reveals: 1) the confidence an assessor should possess before subjecting a
system to operational testing. Otherwise, such testing is futile - favourable
operational testing evidence will eventually decrease one's confidence in the
system being sufficiently reliable; 2) the independence assumption supports
conservative claims sometimes; 3) in some scenarios, observing a system operate
without failure gives less confidence in the system than if some failures had
been observed; 4) building confidence in a system is very sensitive to failures
- each additional failure means significantly more operational testing is
required, in order to support a reliability claim.
- Abstract（参考訳）: 本稿では,ソフトウェアの信頼性に関する保守的主張に対するベイズ的手法,特にソフトウェアの実行が統計的に独立ではないことを示す証拠について述べる。
我々は,実行が独立した「二重化」という非公式な概念を定式化し,その疑念を信頼性評価に取り入れる。
我々は,評価において,独立仮説が保守主義を損なう程度を明らかにする手法を開発し,その影響が重要でない条件を特定する。
これらのテクニック - 保守ベイズ推論(cbi)アプローチの新しい拡張 - は、ソフトウェアの実行当たりの失敗確率に対する保守的信頼度を与える。
原子力発電所の安全性と自動運転車(AV)の安全性の2つの応用分野の図面からわかる。
1) システムに運用試験を施す前に、評価官が保持すべき信任性
そうでなければ、このようなテストは無駄です - 望ましい運用テストの証拠は、最終的にシステムの信頼性を十分に低下させます。
2) 独立仮定は,時々,保守的主張を支持する。
3) あるシナリオでは,障害のないシステムの動作を観察することは,いくつかの障害が観測された場合よりも,システムに対する信頼度を低下させる。
4) システムの信頼性の構築は、障害に対して非常に敏感である。
関連論文リスト
- Know Where You're Uncertain When Planning with Multimodal Foundation Models: A Formal Framework [54.40508478482667]
認識と計画生成の不確実性を解消し、定量化し、緩和する包括的枠組みを提案する。
本稿では,知覚と意思決定の独特な性質に合わせた手法を提案する。
この不確実性分散フレームワークは, 変動率を最大40%削減し, タスク成功率をベースラインに比べて5%向上させることを示した。
論文 参考訳（メタデータ） (2024-11-03T17:32:00Z) - On the Robustness of Adversarial Training Against Uncertainty Attacks [9.180552487186485]
学習問題において、手元のタスクに固有のノイズは、ある程度の不確実性なく推論する可能性を妨げている。
本研究は、敵の例、すなわち、誤分類を引き起こす注意深く摂動されたサンプルに対する防御が、より安全で信頼性の高い不確実性推定を保証していることを実証的および理論的に明らかにする。
我々は,CIFAR-10およびImageNetデータセット上で,公開ベンチマークのRobustBenchから,複数の逆ロバストモデルを評価する。
論文 参考訳（メタデータ） (2024-10-29T11:12:44Z) - Trustworthiness for an Ultra-Wideband Localization Service [2.4979362117484714]
本稿では,超広帯域自己ローカライゼーションのための総合的信頼性評価フレームワークを提案する。
我々の目標は、客観的な証拠に基づいてシステムの信頼性を評価するためのガイダンスを提供することである。
我々のアプローチは、結果の信頼性指標が、選択された現実世界の脅威に対応することを保証します。
論文 参考訳（メタデータ） (2024-08-10T11:57:10Z) - Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
多くの信頼度推定法は誤分類誤りを検出するのに有害である。
本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
論文 参考訳（メタデータ） (2024-03-05T11:44:14Z) - Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。
本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-08T07:05:36Z) - Did You Mean...? Confidence-based Trade-offs in Semantic Parsing [52.28988386710333]
タスク指向の構文解析において、キャリブレーションモデルが共通のトレードオフのバランスを取るのにどのように役立つかを示す。
次に、信頼性スコアがユーザビリティと安全性のトレードオフを最適化する上で、どのように役立つかを検証します。
論文 参考訳（メタデータ） (2023-03-29T17:07:26Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳（メタデータ） (2022-10-24T17:53:20Z) - Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions [60.26921219698514]
CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。
次に、結果の安全制御器のポイントワイズ実現可能性条件を示す。
これらの条件を利用して、イベントトリガーによるオンラインデータ収集戦略を考案する。
論文 参考訳（メタデータ） (2022-08-23T05:02:09Z) - Confidence Composition for Monitors of Verification Assumptions [3.500426151907193]
本稿では,検証仮説の信頼性をモニタリングする3段階の枠組みを提案する。
2つのケーススタディにおいて、構成されたモニターが構成成分よりも改善し、安全違反を予測できることを実証した。
論文 参考訳（メタデータ） (2021-11-03T18:14:35Z) - Reliability Testing for Natural Language Processing Systems [14.393308846231083]
信頼性テストの必要性を議論し、説明責任の改善に関する既存の作業の中でコンテキスト化しています。
我々は,この目的のために,信頼性テストを開発するためのフレームワークを通じて,敵の攻撃を再構築する方法を示す。
論文 参考訳（メタデータ） (2021-05-06T11:24:58Z) - Assessing Safety-Critical Systems from Operational Testing: A Study on
Autonomous Vehicles [3.629865579485447]
安全クリティカルシステム(SCS)の信頼性と安全性の実証は依然として難しい問題である。
我々は、信頼性を示す問題を再考するために、現在の例として自律走行車(AV)を使用します。
論文 参考訳（メタデータ） (2020-08-19T19:50:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。