論文の概要: Accelerating Ensemble Error Bar Prediction with Single Models Fits

• arxiv url: http://arxiv.org/abs/2404.09896v1
• Date: Mon, 15 Apr 2024 16:10:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-17 21:37:46.250312
• Title: Accelerating Ensemble Error Bar Prediction with Single Models Fits
• Title（参考訳）: 単一モデルによるアンサンブルエラーバー予測の高速化
• Authors: Vidit Agrawal, Shixin Zhang, Lane E. Schultz, Dane Morgan,
• Abstract要約: Nモデルのアンサンブルは、推論に使用される場合の1つのモデルに比べて、およそN倍計算的に要求される。 本研究では,単一モデルを用いてアンサンブル誤りを予測し,完全アンサンブルを必要とせずに不確実性を推定する手法を提案する。
• 参考スコア（独自算出の注目度）: 0.5249805590164902
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensemble models can be used to estimate prediction uncertainties in machine learning models. However, an ensemble of N models is approximately N times more computationally demanding compared to a single model when it is used for inference. In this work, we explore fitting a single model to predicted ensemble error bar data, which allows us to estimate uncertainties without the need for a full ensemble. Our approach is based on three models: Model A for predictive accuracy, Model $A_{E}$ for traditional ensemble-based error bar prediction, and Model B, fit to data from Model $A_{E}$, to be used for predicting the values of $A_{E}$ but with only one model evaluation. Model B leverages synthetic data augmentation to estimate error bars efficiently. This approach offers a highly flexible method of uncertainty quantification that can approximate that of ensemble methods but only requires a single extra model evaluation over Model A during inference. We assess this approach on a set of problems in materials science.
• Abstract（参考訳）: アンサンブルモデルは、機械学習モデルにおける予測の不確実性を推定するために使用することができる。 しかし、Nモデルのアンサンブルは、推論に使用される場合の1つのモデルに比べて、およそN倍計算的に要求される。 本研究では,単一モデルを用いてアンサンブル誤りを予測し,完全アンサンブルを必要とせずに不確実性を推定する手法を提案する。 提案手法は,予測精度のモデルA,従来のアンサンブルベースのエラーバー予測のためのモデルA,A_{E}$のデータに適合するモデルB,A_{E}$の値の予測に使用するモデルBの3つのモデルに基づく。 モデルBは、合成データ拡張を利用してエラーバーを効率的に推定する。 このアプローチは、アンサンブル法を近似できる非常に柔軟な不確実性定量化法を提供するが、推論中にモデルAに対する1つの追加モデル評価しか必要としない。 本手法は材料科学における一連の問題に対して評価する。

関連論文リスト

• BayesBlend: Easy Model Blending using Pseudo-Bayesian Model Averaging, Stacking and Hierarchical Stacking in Python [0.0]
  重みを推定し、複数の(ベイジアン)モデルの予測分布をブレンドするために、BayesBlend Pythonパッケージを導入する。 ベイズブレンドは、モデルウェイトを推定するために擬ベイズモデルの平均化、積み重ね、一意的に階層的ベイズ積み重ねを実装している。 ベイズブレンドの保険損失モデリングの例を例に紹介する。
  論文  参考訳（メタデータ） (2024-04-30T19:15:33Z)
• Predictive Churn with the Set of Good Models [64.05949860750235]
  近似機械学習モデルの集合に対する競合予測の効果について検討する。 ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。 当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
  論文  参考訳（メタデータ） (2024-02-12T16:15:25Z)
• A Federated Data Fusion-Based Prognostic Model for Applications with Multi-Stream Incomplete Signals [1.2277343096128712]
  本稿では、複数のユーザが共同で障害時間予測モデルを構築することができるフェデレーション予測モデルを提案する。 数値解析により,提案モデルの性能は古典的非フェデレーション予測モデルと同一であることが示唆された。
  論文  参考訳（メタデータ） (2023-11-13T17:08:34Z)
• Uncertainty estimation for time series forecasting via Gaussian process regression surrogates [0.8733767481819791]
  代用ガウス過程モデルに基づく不確実性推定法を提案する。 提案手法は,任意のベースモデルに対して,個別のサロゲートが生成した正確な不確実性推定を行うことができる。 他の手法と比較して、見積もりは1つの追加モデルだけで計算的に有効である。
  論文  参考訳（メタデータ） (2023-02-06T14:52:56Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• Model-based metrics: Sample-efficient estimates of predictive model subpopulation performance [11.994417027132807]
  健康状態の表示、診断、予測のために現在一般的に開発されている機械学習モデル$-$は、様々なパフォーマンス指標で評価される。 サブ集団のパフォーマンスメトリクスは、通常、そのサブグループのデータのみを使用して計算されるため、より小さなグループに対する分散推定が高くなる。 本稿では,予測モデルスコアの条件分布を記述した評価モデル$-$を用いて,モデルベース計量(MBM)の推定値を生成する。
  論文  参考訳（メタデータ） (2021-04-25T19:06:34Z)
• Flexible Model Aggregation for Quantile Regression [92.63075261170302]
  量子回帰は、予測の不確実性を定量化する必要性によって動機付けられた統計学習の基本的な問題である。 条件付き量子モデルの任意の数を集約する手法について検討する。 この論文で検討するモデルはすべて、現代のディープラーニングツールキットに適合します。
  論文  参考訳（メタデータ） (2021-02-26T23:21:16Z)
• On Statistical Efficiency in Learning [37.08000833961712]
  モデルフィッティングとモデル複雑性のバランスをとるためのモデル選択の課題に対処する。 モデルの複雑さを順次拡大し、選択安定性を高め、コストを削減するオンラインアルゴリズムを提案します。 実験の結果, 提案手法は予測能力が高く, 計算コストが比較的低いことがわかった。
  論文  参考訳（メタデータ） (2020-12-24T16:08:29Z)
• Generative Temporal Difference Learning for Infinite-Horizon Prediction [101.59882753763888]
  我々は、無限確率的地平線を持つ環境力学の予測モデルである$gamma$-modelを導入する。 トレーニングタイムとテストタイムの複合的なエラーの間には、そのトレーニングが避けられないトレードオフを反映しているかについて議論する。
  論文  参考訳（メタデータ） (2020-10-27T17:54:12Z)
• When Ensembling Smaller Models is More Efficient than Single Large Models [52.38997176317532]
  アンサンブルは高い精度で単一モデルより優れており、計算に要する総FLOPは少ない。 これは、アンサンブルの出力の多様性がより大きなモデルを訓練するよりも効率的であることを示す興味深い観察結果である。
  論文  参考訳（メタデータ） (2020-05-01T18:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。