論文の概要: Uncertainty Quantification of Surrogate Models using Conformal Prediction
- arxiv url: http://arxiv.org/abs/2408.09881v2
- Date: Thu, 31 Oct 2024 11:14:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-08 06:55:48.664083
- Title: Uncertainty Quantification of Surrogate Models using Conformal Prediction
- Title（参考訳）: 等角予測を用いたサロゲートモデルの不確かさ定量化
- Authors: Vignesh Gopakumar, Ander Gray, Joel Oskarsson, Lorenzo Zanisi, Stanislas Pamela, Daniel Giles, Matt Kusner, Marc Peter Deisenroth,
- Abstract要約: 我々は,モデルに依存しない方法で予測を満足する共形予測フレームワークを定式化し,ほぼゼロの計算コストを必要とする。
本稿では,決定論的モデルに対する統計的に有効なエラーバーを提供するとともに,確率論的モデルのエラーバーに対する保証を作成することを検討する。
- 参考スコア（独自算出の注目度）: 7.445864392018774
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data-driven surrogate models have shown immense potential as quick, inexpensive approximations to complex numerical and experimental modelling tasks. However, most surrogate models of physical systems do not quantify their uncertainty, rendering their predictions unreliable, requiring further validation. Though Bayesian approximations offer some solace in estimating the error associated with these models, they cannot provide guarantees, and the quality of their inferences depends on the availability of prior information and good approximations to posteriors for complex problems. This is particularly pertinent to multi-variable or spatio-temporal problems. Our work constructs and formalises a conformal prediction framework that satisfies marginal coverage for spatio-temporal predictions in a model-agnostic manner, requiring near-zero computational costs. We provide an extensive empirical study of the application of the framework to ascertain valid error bars that provide guaranteed coverage across the surrogate model's domain of operation. The application scope of our work extends across a large range of spatio-temporal models, from solving partial differential equations to weather forecasting. Through the applications, the paper looks at providing statistically valid error bars for deterministic models, as well as crafting guarantees to the error bars of probabilistic models. Our conformal prediction formalisation provides guaranteed coverage of the surrogate model, regardless of model architecture, and its training regime and is unbothered by the curse of dimensionality.
- Abstract（参考訳）: データ駆動サロゲートモデルは、複雑な数値および実験的なモデリングタスクに対する迅速で安価な近似として、大きな可能性を示してきた。
しかし、ほとんどの物理系の代理モデルは、その不確かさを定量化せず、予測を信頼できないものにし、さらなる検証を必要とする。
ベイズ近似はこれらのモデルに付随する誤差を推定するのにいくつかの欠点を与えるが、保証は得られず、それらの推論の質は、複雑な問題に対する事前の情報と後方への良好な近似の可用性に依存する。
これは特に多変数あるいは時空間問題に関係している。
本研究は,ほぼゼロの計算コストを要するモデル非依存の方法で時空間予測の限界範囲を満足する共形予測フレームワークを構築し,定式化する。
本稿では,サロゲートモデルの動作領域にまたがる保証されたカバレッジを提供する有効なエラーバーを確認するためのフレームワークの適用について,広範な実証的研究を行う。
我々の研究の適用範囲は、偏微分方程式の解法から天気予報に至るまで、幅広い時空間モデルにまたがる。
そこで本論文では,決定論的モデルに対する統計的に有効なエラーバーの提供と,確率論的モデルのエラーバーに対する保証の実現について検討する。
我々の共形予測形式は、モデルアーキテクチャやトレーニング体制によらず、サロゲートモデルのカバレッジを保証し、次元の呪いとは無関係である。
関連論文リスト
- Valid Error Bars for Neural Weather Models using Conformal Prediction [0.1806830971023738]
我々は,不確実性を推定するための後処理手法として,共形予測フレームワークを構築し,定式化する。
モデルには何の修正も必要とせず、計算コストはモデルトレーニングと比べて無視できる。
本研究は,北欧地域の限られた領域のニューラル気象モデルにおけるコンフォメーション予測フレームワークの有用性を実証する。
論文 参考訳（メタデータ） (2024-06-20T16:45:41Z) - Predictive Churn with the Set of Good Models [64.05949860750235]
近似機械学習モデルの集合に対する競合予測の効果について検討する。
ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。
当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
論文 参考訳（メタデータ） (2024-02-12T16:15:25Z) - Parameter uncertainties for imperfect surrogate models in the low-noise regime [0.3069335774032178]
我々は、不特定、ほぼ決定論的シュロゲートモデルの一般化誤差を解析する。
遅れた一般化誤差を避けるために、後続分布が全ての訓練点をカバーする必要があることを示す。
これは、原子論的機械学習における1000次元データセットに適用する前に、モデル問題で実証される。
論文 参考訳（メタデータ） (2024-02-02T11:41:21Z) - Uncertainty-aware multi-fidelity surrogate modeling with noisy data [0.0]
実世界の応用では、測定や数値ノイズによる高忠実度モデルと低忠実度モデルの両方に不確実性が存在する。
本稿では,ノイズ汚染データを扱う多要素代理モデリングのための包括的フレームワークを提案する。
提案するフレームワークは,物理実験と計算モデルを組み合わせた自然なアプローチを提供する。
論文 参考訳（メタデータ） (2024-01-12T08:37:41Z) - Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。
この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
論文 参考訳（メタデータ） (2023-08-03T12:43:21Z) - ALUM: Adversarial Data Uncertainty Modeling from Latent Model
Uncertainty Compensation [25.67258563807856]
本稿では,モデル不確実性とデータ不確実性を扱うALUMという新しい手法を提案する。
提案するALUMはモデルに依存しないため,オーバーヘッドの少ない既存のディープモデルに容易に実装できる。
論文 参考訳（メタデータ） (2023-03-29T17:24:12Z) - Rigorous Assessment of Model Inference Accuracy using Language
Cardinality [5.584832154027001]
我々は,統計的推定を決定論的精度尺度に置き換えることで,モデル精度評価におけるバイアスと不確実性を最小化する体系的アプローチを開発する。
我々は、最先端の推論ツールによって推定されるモデルの精度を評価することによって、我々のアプローチの一貫性と適用性を実験的に実証した。
論文 参考訳（メタデータ） (2022-11-29T21:03:26Z) - Dense Uncertainty Estimation via an Ensemble-based Conditional Latent
Variable Model [68.34559610536614]
我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。
そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。
以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
論文 参考訳（メタデータ） (2021-11-22T08:54:10Z) - Characterizing Fairness Over the Set of Good Models Under Selective
Labels [69.64662540443162]
同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。
到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。
選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
論文 参考訳（メタデータ） (2021-01-02T02:11:37Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳（メタデータ） (2020-11-24T19:52:38Z) - Efficient Ensemble Model Generation for Uncertainty Estimation with
Bayesian Approximation in Segmentation [74.06904875527556]
アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。
提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。
また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
論文 参考訳（メタデータ） (2020-05-21T16:08:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。