論文の概要: Uncertainty-Aware Performance Prediction for Highly Configurable
Software Systems via Bayesian Neural Networks
- arxiv url: http://arxiv.org/abs/2212.13359v1
- Date: Tue, 27 Dec 2022 04:39:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-29 14:51:54.562330
- Title: Uncertainty-Aware Performance Prediction for Highly Configurable
Software Systems via Bayesian Neural Networks
- Title（参考訳）: ベイズニューラルネットワークによる高構成ソフトウェアシステムの不確実性認識性能予測
- Authors: Huong Ha, Zongwen Fan, Hongyu Zhang
- Abstract要約: 本稿では,予測モデルに不確実性を組み込むベイズ深層学習手法BDLPerfを提案する。
本研究では,ベイズ予測モデルにより生じる信頼区間の信頼性を確保するために,新しい不確実性校正手法を開発した。
実世界の10のシステムに対する実験結果から,BDLPerfは既存の手法よりも精度が高いことがわかった。
- 参考スコア（独自算出の注目度）: 12.607426130997336
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Configurable software systems are employed in many important application
domains. Understanding the performance of the systems under all configurations
is critical to prevent potential performance issues caused by misconfiguration.
However, as the number of configurations can be prohibitively large, it is not
possible to measure the system performance under all configurations. Thus, a
common approach is to build a prediction model from a limited measurement data
to predict the performance of all configurations as scalar values. However, it
has been pointed out that there are different sources of uncertainty coming
from the data collection or the modeling process, which can make the scalar
predictions not certainly accurate. To address this problem, we propose a
Bayesian deep learning based method, namely BDLPerf, that can incorporate
uncertainty into the prediction model. BDLPerf can provide both scalar
predictions for configurations' performance and the corresponding confidence
intervals of these scalar predictions. We also develop a novel uncertainty
calibration technique to ensure the reliability of the confidence intervals
generated by a Bayesian prediction model. Finally, we suggest an efficient
hyperparameter tuning technique so as to train the prediction model within a
reasonable amount of time whilst achieving high accuracy. Our experimental
results on 10 real-world systems show that BDLPerf achieves higher accuracy
than existing approaches, in both scalar performance prediction and confidence
interval estimation.
- Abstract（参考訳）: 構成可能なソフトウェアシステムは、多くの重要なアプリケーションドメインで採用されている。
すべての構成下でシステムの性能を理解することは、構成ミスによる潜在的な性能問題を防止するために重要である。
しかしながら、構成数を制限的に大きくすることができるため、すべての構成でシステム性能を測定することは不可能である。
したがって、一般的なアプローチは、限られた測定データから予測モデルを構築し、すべての構成のパフォーマンスをスカラー値として予測する。
しかし、データ収集やモデリングプロセスから生じる不確実性は異なることが指摘されており、スカラー予測が必ずしも正確ではないことが指摘されている。
そこで本研究では,不確かさを予測モデルに組み込むベイズ型深層学習法であるbdlperfを提案する。
BDLPerfは、構成の性能に関するスカラー予測と、これらのスカラー予測の対応する信頼区間の両方を提供する。
また,ベイズ予測モデルによる信頼区間の信頼性を確保するための新しい不確実性校正手法を開発した。
最後に,高い精度を実現しつつ,適切な時間内に予測モデルをトレーニングするために,効率的なハイパーパラメータチューニング手法を提案する。
実世界の10のシステムにおける実験結果から,BDLPerfはスカラー性能予測と信頼区間推定の両方において,既存の手法よりも精度が高いことがわかった。
関連論文リスト
- Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。
しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。
信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
論文 参考訳（メタデータ） (2024-10-13T15:37:11Z) - Calibrated Probabilistic Forecasts for Arbitrary Sequences [58.54729945445505]
実際のデータストリームは、分散シフトやフィードバックループ、敵アクターによって予測不可能に変化する可能性がある。
データがどのように進化するかに関わらず、有効な不確実性推定を保証するための予測フレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-27T21:46:42Z) - Multiclass Alignment of Confidence and Certainty for Network Calibration [10.15706847741555]
最近の研究では、ディープニューラルネットワーク(DNN)が過信的な予測を行う傾向があることが示されている。
予測平均信頼度と予測確実性(MACC)の多クラスアライメントとして知られる簡易なプラグアンドプレイ補助損失を特徴とする列車時キャリブレーション法を提案する。
本手法は,領域内および領域外両方のキャリブレーション性能を実現する。
論文 参考訳（メタデータ） (2023-09-06T00:56:24Z) - Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。
この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
論文 参考訳（メタデータ） (2023-08-03T12:43:21Z) - Conformal Prediction Intervals for Remaining Useful Lifetime Estimation [5.171601921549565]
対象変数の可能な値の集合を予測することによって不確実性を表す共形予測(CP)フレームワークについて検討する。
CP は、実際の値(真の RUL)が事前特定可能な確実性の度合いで予測セットによってカバーされることを正式に保証する。
3つのCPアルゴリズムを用いて,任意の単一点RUL予測器を共形化し,有効間隔予測器に変換する。
論文 参考訳（メタデータ） (2022-12-30T09:34:29Z) - Probabilistic Deep Learning to Quantify Uncertainty in Air Quality
Forecasting [5.007231239800297]
この研究は、空気質予測の現実的な設定における不確実性定量化の最先端技術を適用した。
本稿では,経験的性能,信頼度推定の信頼性,実用性に基づいて,トレーニング確率モデルを記述し,予測の不確実性を評価する。
本実験は,データ駆動空気質予測の不確かさの定量化において,提案モデルが従来よりも優れた性能を示すことを示す。
論文 参考訳（メタデータ） (2021-12-05T17:01:18Z) - Evaluation of Machine Learning Techniques for Forecast Uncertainty
Quantification [0.13999481573773068]
アンサンブル予測は、これまでのところ、関連する予測を生成するための最も成功したアプローチであり、その不確実性を見積もっている。
アンサンブル予測の主な制限は、高い計算コストと異なる不確実性の源を捕捉し定量化することの難しさである。
本研究は,1つの決定論的予測のみを入力として,システムの修正状態と状態不確かさを予測するために訓練されたANNの性能を評価するための概念モデル実験である。
論文 参考訳（メタデータ） (2021-11-29T16:52:17Z) - Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。
本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文 参考訳（メタデータ） (2021-10-13T01:23:48Z) - Towards More Fine-grained and Reliable NLP Performance Prediction [85.78131503006193]
NLPタスクのパフォーマンス予測の改善に2つの貢献をしている。
まず,F1やBLEUのような総合的な精度測定のための性能予測器について検討する。
次に,信頼区間とキャリブレーションの2つの角度から性能予測モデルの信頼性を理解する手法を提案する。
論文 参考訳（メタデータ） (2021-02-10T15:23:20Z) - Bayesian Optimization Meets Laplace Approximation for Robotic
Introspection [41.117361086267806]
本稿では,Deep Neural Networks(DNN)をよりイントロスペクティブにするために,スケーラブルなLaplace Approximation (LA)技術を導入する。
特に,本論文では,真の重み付け後部を過小評価する傾向を緩和する新しいベイズ最適化(BO)アルゴリズムを提案する。
提案するフレームワークは,大規模データセットやアーキテクチャにまで拡張可能であることを示す。
論文 参考訳（メタデータ） (2020-10-30T09:28:10Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。