論文の概要: Robust Prediction Error Estimation with Monte-Carlo Methodology
- arxiv url: http://arxiv.org/abs/2207.13612v1
- Date: Wed, 27 Jul 2022 16:21:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-28 13:54:25.561235
- Title: Robust Prediction Error Estimation with Monte-Carlo Methodology
- Title（参考訳）: モンテカルロ法によるロバスト予測誤差推定
- Authors: Kimia Vahdat and Sara Shashaani
- Abstract要約: 本研究の目的は,データの真の分布に基づいて,機械学習モデルの予測誤差を推定することである。
提案手法は,予測誤りを推定するための既存の2つのフレームワークを組み合わせる。
シミュレーションおよび実データを用いたモデル選択ケーススタディにおいて, 提案した不確実性定量化の応用を検証した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we aim to estimate the prediction error of machine learning
models under the true distribution of the data on hand. We consider the
prediction model as a data-driven black-box function and quantify its
statistical properties using non-parametric methods. We propose a novel
sampling technique that takes advantage of the underlying probability
distribution information embedded in the data. The proposed method combines two
existing frameworks for estimating the prediction inaccuracy error; $m$ out of
$n$ bootstrapping and iterative bootstrapping. $m$ out of $n$ bootstrapping is
to maintain the consistency, and iterative bootstrapping is often used for bias
correction of the prediction error estimation. Using Monte-Carlo uncertainty
quantification techniques, we disintegrate the total variance of the estimator
so the user can make informed decisions regarding measures to overcome the
preventable errors. In addition, via the same Monte-Carlo framework, we provide
a way to estimate the bias due to using the empirical distribution. This bias
captures the sensitivity of the estimator to the on hand input data and help
with understanding the robustness of the estimator. The application of the
proposed uncertainty quantification is tested in a model selection case study
using simulated and real datasets. We evaluate the performance of the proposed
estimator in two frameworks; first, directly applying is as an optimization
model to find the best model; second, fixing an optimization engine and use the
proposed estimator as a fitness function withing the optimizer. Furthermore, we
compare the asymptotic statistical properties and numerical results in a finite
dataset of the proposed estimator with the existing state-of-the-art methods.
- Abstract（参考訳）: 本稿では,データの真の分布に基づいて,機械学習モデルの予測誤差を推定することを目的とする。
予測モデルをデータ駆動型ブラックボックス関数とみなし、非パラメトリック手法を用いてその統計特性を定量化する。
本稿では,データに埋め込まれた確率分布情報を利用した新しいサンプリング手法を提案する。
提案手法は、予測の不正確なエラーを推定するための2つの既存のフレームワークを組み合わせたものである。
m$ out of $n$ bootstrappingは一貫性を維持するためであり、反復ブートストラップはしばしば予測誤差の推定のバイアス補正に使用される。
モンテカルロの不確実性定量化手法を用いて推定器全体のばらつきを解消し,予防可能な誤差を克服するための対策に関するインフォームドな判断を行う。
さらに,同じモンテカルロフレームワークを用いて,経験分布を用いてバイアスを推定する方法を提案する。
このバイアスは、オンハンド入力データに対する推定器の感度を捉え、推定器のロバスト性を理解するのに役立つ。
提案する不確実性定量化の応用は,シミュレーションおよび実データを用いたモデル選択事例で検証した。
我々は,提案する推定器の性能を2つのフレームワークで評価する。第一に,最適なモデルを見つけるための最適化モデルとして直接適用すること,第二に最適化エンジンを修正し,提案する推定器をオプティマイザを備えた適合関数として用いること。
さらに,提案した推定器の有限データセットにおける漸近統計特性と数値計算結果を,既存の最先端手法と比較した。
関連論文リスト
- Probabilistic Surrogate Model for Accelerating the Design of Electric Vehicle Battery Enclosures for Crash Performance [0.0]
本稿では,事故性能に着目した電気自動車用バッテリケースの高速化設計のための確率的サロゲートモデルを提案する。
このモデルは、様々な材料およびプロセスパラメータのサーモフォーミングとクラッシュシミュレーションから生成されたデータを用いて訓練された。
新しいシミュレーションデータに対する検証では、全ての出力変数に対して平均絶対パーセンテージ誤差8.08%でモデルの予測精度を実証した。
論文 参考訳（メタデータ） (2024-08-06T21:03:16Z) - Predictability Analysis of Regression Problems via Conditional Entropy Estimations [1.8913544072080544]
回帰問題の予測可能性を評価するために,条件付きエントロピー推定器を開発した。
合成および実世界のデータセットの実験は、これらの推定器の堅牢性と有用性を示している。
論文 参考訳（メタデータ） (2024-06-06T07:59:19Z) - Fusion of Gaussian Processes Predictions with Monte Carlo Sampling [61.31380086717422]
科学と工学において、私たちはしばしば興味のある変数の正確な予測のために設計されたモデルで作業します。
これらのモデルが現実の近似であることを認識し、複数のモデルを同じデータに適用し、結果を統合することが望ましい。
論文 参考訳（メタデータ） (2024-03-03T04:21:21Z) - Boosted Control Functions [10.503777692702952]
本研究の目的は,因果効果推定と予測タスクのギャップを埋めることである。
我々は,機械学習の分布場と同時方程式モデル,およびエコノメティクスの制御関数との新たな接続を確立する。
このフレームワーク内では、予測モデルに対する不変性の強い概念を提案し、それを既存の(ウィーカー)バージョンと比較する。
論文 参考訳（メタデータ） (2023-10-09T15:43:46Z) - Efficient Propagation of Uncertainty via Reordering Monte Carlo Samples [0.7087237546722617]
不確実性伝播は、入力変数の不確実性に基づいてモデル出力の不確実性を決定する技術である。
本研究は,全ての試料が平均的に有用であるにもかかわらず,他の試料よりも有用であるとする仮説を考察する。
本稿では、MCサンプルを適応的に並べ替える手法を導入し、UPプロセスの計算コストの削減をもたらす方法を示す。
論文 参考訳（メタデータ） (2023-02-09T21:28:15Z) - Bayesian Sparse Regression for Mixed Multi-Responses with Application to
Runtime Metrics Prediction in Fog Manufacturing [6.288767115532775]
フォッグ製造は、分散計算Fogユニットを通じて従来の製造システムを大幅に強化することができる。
予測オフロード手法は,実行時のパフォーマンス指標の正確な予測と不確かさの定量化に大きく依存していることが知られている。
本稿では,多変量混合応答に対するベイジアンスパース回帰法を提案し,実行時性能指標の予測を強化する。
論文 参考訳（メタデータ） (2022-10-10T16:14:08Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳（メタデータ） (2021-08-25T21:30:27Z) - Latent Causal Invariant Model [128.7508609492542]
現在の教師付き学習は、データ適合プロセス中に急激な相関を学習することができる。
因果予測を求める潜在因果不変モデル(LaCIM)を提案する。
論文 参考訳（メタデータ） (2020-11-04T10:00:27Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳（メタデータ） (2020-06-11T09:58:01Z) - Balance-Subsampled Stable Prediction [55.13512328954456]
本稿では, 分数分解設計理論に基づく新しいバランスサブサンプル安定予測法を提案する。
設計理論解析により,提案手法は分布シフトによって誘導される予測器間の共起効果を低減できることを示した。
合成および実世界の両方のデータセットに関する数値実験により、BSSPアルゴリズムは未知のテストデータ間で安定した予測を行うためのベースライン法を著しく上回っていることが示された。
論文 参考訳（メタデータ） (2020-06-08T07:01:38Z) - Machine learning for causal inference: on the use of cross-fit
estimators [77.34726150561087]
より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。
平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。
機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
論文 参考訳（メタデータ） (2020-04-21T23:09:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。