論文の概要: When Active Learning Fails, Uncalibrated Out of Distribution Uncertainty Quantification Might Be the Problem

• arxiv url: http://arxiv.org/abs/2511.17760v1
• Date: Fri, 21 Nov 2025 20:17:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:24.406227
• Title: When Active Learning Fails, Uncalibrated Out of Distribution Uncertainty Quantification Might Be the Problem
• Title（参考訳）: 能動学習が失敗すると、分布不確かさの非校正が問題になるかもしれない
• Authors: Ashley S. Dale, Kangming Li, Brian DeCost, Hao Wan, Yuchen Han, Yao Fehlis, Jason Hattrick-Simpers,
• Abstract要約: 材料発見におけるアクティブラーニングキャンペーンにおいて,不確かさ推定と校正手法の評価を行った。 不確かさキャリブレーション法は、ドメイン内データからドメイン外データへ可変的に一般化することを発見した。 質の悪い不確実性の影響は、ランダムな森林と、同じタスクのために同じデータでトレーニングされたeXtreme Gradient Boostingモデルに対して持続する。
• 参考スコア（独自算出の注目度）: 2.3348738689737503
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Efficiently and meaningfully estimating prediction uncertainty is important for exploration in active learning campaigns in materials discovery, where samples with high uncertainty are interpreted as containing information missing from the model. In this work, the effect of different uncertainty estimation and calibration methods are evaluated for active learning when using ensembles of ALIGNN, eXtreme Gradient Boost, Random Forest, and Neural Network model architectures. We compare uncertainty estimates from ALIGNN deep ensembles to loss landscape uncertainty estimates obtained for solubility, bandgap, and formation energy prediction tasks. We then evaluate how the quality of the uncertainty estimate impacts an active learning campaign that seeks model generalization to out-of-distribution data. Uncertainty calibration methods were found to variably generalize from in-domain data to out-of-domain data. Furthermore, calibrated uncertainties were generally unsuccessful in reducing the amount of data required by a model to improve during an active learning campaign on out-of-distribution data when compared to random sampling and uncalibrated uncertainties. The impact of poor-quality uncertainty persists for random forest and eXtreme Gradient Boosting models trained on the same data for the same tasks, indicating that this is at least partially intrinsic to the data and not due to model capacity alone. Analysis of the target, in-distribution uncertainty, out-of-distribution uncertainty, and training residual distributions suggest that future work focus on understanding empirical uncertainties in the feature input space for cases where ensemble prediction variances do not accurately capture the missing information required for the model to generalize.
• Abstract（参考訳）: 有効かつ有意義に予測の不確かさを推定することは、物質発見における活発な学習キャンペーンにおいて、モデルから欠落した情報を含む高い不確実性を持つサンプルを解釈する上で重要である。 本研究では、ALIGNN、eXtreme Gradient Boost、ランダムフォレスト、ニューラルネットワークモデルアーキテクチャのアンサンブルを用いて、異なる不確実性推定と校正方法の効果を評価した。 我々は,ALIGNNディープアンサンブルからの不確実性推定と,溶解度,バンドギャップ,生成エネルギー予測タスクで得られた景観不確実性推定とを比較した。 そして,不確実性推定の品質が,アウト・オブ・ディストリビューションデータへのモデル一般化を求めるアクティブな学習キャンペーンにどのように影響するかを評価する。 不確かさキャリブレーション法は、ドメイン内データからドメイン外データへ可変的に一般化することを発見した。 さらに, ランダムサンプリングや非校正不確実性と比較して, 分布外データに対するアクティブな学習キャンペーンにおいて, モデルが必要とするデータ量を削減するには, 校正不確実性は一般的には不十分であった。 質の悪い不確実性の影響は、ランダムな森林や同じタスクのために同じデータでトレーニングされたeXtreme Gradient Boostingモデルに対して持続する。 対象・分布不確かさ・分布不確かさ・分布不確かさ・残留分布の訓練結果から,アンサンブル予測分散がモデルが一般化するために必要な不足情報を正確に把握しない場合に,特徴入力空間における経験的不確実性を理解することに焦点を当てることが示唆された。

関連論文リスト

• Active operator learning with predictive uncertainty quantification for partial differential equations [6.519088943440059]
  本研究では,訓練中に観測されたモデル誤差に校正された予測的不確実性推定を用いたディープオペレータネットワーク(DeepONets)の不確実性定量化手法を開発した。 不確実性フレームワークは、既存のアンサンブルアプローチとは対照的に、単一のネットワークを使用して動作し、トレーニングと推論中に最小限のオーバーヘッドを導入する。 一連の偏微分方程式(PDE)問題に対する不確実性を考慮したモデルの評価を行い、モデル予測が偏りがなく、非歪で、PDEに対する解を正確に再現していることを示す。
  論文  参考訳（メタデータ） (2025-03-05T04:48:14Z)
• Error-Driven Uncertainty Aware Training [7.702016079410588]
  Error-Driven Uncertainty Aware Trainingは、ニューラル分類器が不確実性を正確に推定する能力を高めることを目的としている。 EUATアプローチは、モデルのトレーニングフェーズ中に、トレーニング例が正しく予測されているか、あるいは正しく予測されているかによって、2つの損失関数を選択的に使用することによって機能する。 画像認識領域における多様なニューラルモデルとデータセットを用いてEUATを評価する。
  論文  参考訳（メタデータ） (2024-05-02T11:48:14Z)
• Explainability through uncertainty: Trustworthy decision-making with neural networks [1.104960878651584]
  不確実性は、あらゆる機械学習モデルの主要な特徴である。 ニューラルネットワークでは特に重要であり、過信されがちである。 XAIとしての不確実性は、下流の意思決定タスクにおけるモデルの信頼性を改善する。
  論文  参考訳（メタデータ） (2024-03-15T10:22:48Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
  本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。 この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
  論文  参考訳（メタデータ） (2023-08-03T12:43:21Z)
• Exploring Predictive Uncertainty and Calibration in NLP: A Study on the Impact of Method & Data Scarcity [7.3372471678239215]
  我々は、幅広いアプローチから推定値の質を評価し、利用可能なデータ量に依存する。 事前訓練されたモデルとアンサンブルに基づくアプローチは全体として最高の結果を得るが、不確実性推定の品質は驚くほど多くのデータに悩まされる。
  論文  参考訳（メタデータ） (2022-10-20T15:42:02Z)
• Dense Uncertainty Estimation via an Ensemble-based Conditional Latent Variable Model [68.34559610536614]
  我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。 そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。 以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-22T08:54:10Z)
• DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
  認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。 一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-16T23:50:35Z)
• The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
  ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。 本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
  論文  参考訳（メタデータ） (2020-12-05T17:30:35Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。