論文の概要: Learning-Based Approaches to Predictive Monitoring with Conformal
Statistical Guarantees
- arxiv url: http://arxiv.org/abs/2312.01959v1
- Date: Mon, 4 Dec 2023 15:16:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 14:51:39.456092
- Title: Learning-Based Approaches to Predictive Monitoring with Conformal
Statistical Guarantees
- Title(参考訳): 共形統計的保証による予測モニタリングへの学習に基づくアプローチ
- Authors: Francesca Cairoli, Luca Bortolussi, Nicola Paoletti
- Abstract要約: 本チュートリアルは、予測モニタリング(PM)のための効率的な手法に焦点を当てている。
PMは、システムの現在の状態から与えられた要件の将来の違反を検出する問題である。
CPSの予測モニタリングに対する我々のアプローチを要約した、汎用的で包括的なフレームワークを提案する。
- 参考スコア(独自算出の注目度): 2.1684857243537334
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This tutorial focuses on efficient methods to predictive monitoring (PM), the
problem of detecting at runtime future violations of a given requirement from
the current state of a system. While performing model checking at runtime would
offer a precise solution to the PM problem, it is generally computationally
expensive. To address this scalability issue, several lightweight approaches
based on machine learning have recently been proposed. These approaches work by
learning an approximate yet efficient surrogate (deep learning) model of the
expensive model checker. A key challenge remains to ensure reliable
predictions, especially in safety-critical applications. We review our recent
work on predictive monitoring, one of the first to propose learning-based
approximations for CPS verification of temporal logic specifications and the
first in this context to apply conformal prediction (CP) for rigorous
uncertainty quantification. These CP-based uncertainty estimators offer
statistical guarantees regarding the generalization error of the learning
model, and they can be used to determine unreliable predictions that should be
rejected. In this tutorial, we present a general and comprehensive framework
summarizing our approach to the predictive monitoring of CPSs, examining in
detail several variants determined by three main dimensions: system dynamics
(deterministic, non-deterministic, stochastic), state observability, and
semantics of requirements' satisfaction (Boolean or quantitative).
- Abstract(参考訳): 本チュートリアルでは,システムの現在の状態から,所定の要件の将来の実行時違反を検出する,効率的な予測監視手法(PM)に焦点を当てる。
実行時にモデルチェックを実行することはPM問題の正確な解決策となるが、一般に計算コストが高い。
このスケーラビリティ問題に対処するため、機械学習に基づくいくつかの軽量なアプローチが最近提案されている。
これらのアプローチは、高価なモデルチェッカーの近似的かつ効率的な代理(深層学習)モデルを学習することで機能する。
重要な課題は、特に安全クリティカルなアプリケーションにおいて、信頼性の高い予測を保証することだ。
我々は,時間的論理仕様のcps検証のための学習に基づく近似を提案する最初の例であり,厳密な不確実性定量化に共形予測(cp)を適用する最初の例である。
これらのcpベースの不確実性推定者は、学習モデルの一般化誤差に関する統計的保証を提供し、拒否されるべき信頼できない予測を決定するのに使うことができる。
本チュートリアルでは,システムダイナミクス(決定論的,非決定論的,確率的),状態観察可能性,要求満足度の意味論(論理的,定量的)の3つの主次元で決定されるいくつかの変種を詳細に検討し,CPSの予測監視に対するアプローチを要約した包括的・包括的枠組みを提案する。
関連論文リスト
- Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。
トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
論文 参考訳(メタデータ) (2024-02-13T11:25:20Z) - Score Matching-based Pseudolikelihood Estimation of Neural Marked
Spatio-Temporal Point Process with Uncertainty Quantification [59.81904428056924]
我々は、不確実な定量化を伴うmarkPsを学習するためのスコアMAtching推定器であるSMASHを紹介する。
具体的には,スコアマッチングによるマークPsの擬似的類似度を推定することにより,正規化自由度を推定する。
提案手法の優れた性能は、事象予測と不確実性定量化の両方において広範な実験によって実証される。
論文 参考訳(メタデータ) (2023-10-25T02:37:51Z) - Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。
合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
論文 参考訳(メタデータ) (2023-02-23T18:57:14Z) - Uncertainty Estimation based on Geometric Separation [13.588210692213568]
機械学習では、特定の入力が正しい確率を正確に予測することがリスク管理に不可欠である。
機械学習モデルにおける不確実性推定を改善するための新しい幾何学的アプローチを提案する。
論文 参考訳(メタデータ) (2023-01-11T13:19:24Z) - A Call to Reflect on Evaluation Practices for Failure Detection in Image
Classification [0.491574468325115]
本稿では,信頼度評価関数のベンチマーク化を初めて実現した大規模実証的研究について述べる。
簡便なソフトマックス応答ベースラインを全体の最高の実行方法として明らかにすることは、現在の評価の劇的な欠点を浮き彫りにする。
論文 参考訳(メタデータ) (2022-11-28T12:25:27Z) - Evaluation of Machine Learning Techniques for Forecast Uncertainty
Quantification [0.13999481573773068]
アンサンブル予測は、これまでのところ、関連する予測を生成するための最も成功したアプローチであり、その不確実性を見積もっている。
アンサンブル予測の主な制限は、高い計算コストと異なる不確実性の源を捕捉し定量化することの難しさである。
本研究は,1つの決定論的予測のみを入力として,システムの修正状態と状態不確かさを予測するために訓練されたANNの性能を評価するための概念モデル実験である。
論文 参考訳(メタデータ) (2021-11-29T16:52:17Z) - Predictive machine learning for prescriptive applications: a coupled
training-validating approach [77.34726150561087]
規範的応用のための予測機械学習モデルをトレーニングするための新しい手法を提案する。
このアプローチは、標準的なトレーニング検証テストスキームの検証ステップを微調整することに基づいている。
合成データを用いたいくつかの実験は、決定論的モデルと実モデルの両方において処方料コストを削減できる有望な結果を示した。
論文 参考訳(メタデータ) (2021-10-22T15:03:20Z) - Neural Predictive Monitoring under Partial Observability [4.1316328854247155]
本稿では,部分観測可能性(PO)に拘わらず,正確かつ信頼性の高い到達可能性予測を生成する学習ベース予測手法を提案する。
提案手法は,精度の高い到達可能性予測とエラー検出を行い,また,カバー範囲が保証された厳密な予測領域を実現する。
論文 参考訳(メタデータ) (2021-08-16T15:08:20Z) - Quantifying Uncertainty in Deep Spatiotemporal Forecasting [67.77102283276409]
本稿では,正規格子法とグラフ法という2種類の予測問題について述べる。
我々はベイジアンおよび頻繁な視点からUQ法を解析し、統計的決定理論を通じて統一的な枠組みを提示する。
実際の道路ネットワークのトラフィック、疫病、空気質予測タスクに関する広範な実験を通じて、異なるUQ手法の統計計算トレードオフを明らかにする。
論文 参考訳(メタデータ) (2021-05-25T14:35:46Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳(メタデータ) (2020-11-24T19:52:38Z) - Robust Validation: Confident Predictions Even When Distributions Shift [19.327409270934474]
本稿では,モデルが点予測ではなく,その予測に対して不確実な推定を行うような,頑健な予測推論の手順について述べる。
本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。
私たちの方法論の重要な構成要素は、将来のデータシフトの量を見積り、それに対する堅牢性を構築することです。
論文 参考訳(メタデータ) (2020-08-10T17:09:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。