論文の概要: Consistency and adaptivity are complementary targets for the validation
of variance-based uncertainty quantification metrics in machine learning
regression tasks
- arxiv url: http://arxiv.org/abs/2309.06240v1
- Date: Tue, 12 Sep 2023 13:58:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-13 12:39:44.798100
- Title: Consistency and adaptivity are complementary targets for the validation
of variance-based uncertainty quantification metrics in machine learning
regression tasks
- Title（参考訳）: 機械学習回帰タスクにおける分散に基づく不確実性定量化指標の検証のための相補的目標と適応性
- Authors: Pascal Pernot
- Abstract要約: この記事では、一貫性と適応性は相補的な検証対象であり、一貫性が良い適応性を意味するものではないことを示す。
適応型バリデーション手法を提案し, 代表的な例を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reliable uncertainty quantification (UQ) in machine learning (ML) regression
tasks is becoming the focus of many studies in materials and chemical science.
It is now well understood that average calibration is insufficient, and most
studies implement additional methods testing the conditional calibration with
respect to uncertainty, i.e. consistency. Consistency is assessed mostly by
so-called reliability diagrams. There exists however another way beyond average
calibration, which is conditional calibration with respect to input features,
i.e. adaptivity. In practice, adaptivity is the main concern of the final users
of a ML-UQ method, seeking for the reliability of predictions and uncertainties
for any point in features space. This article aims to show that consistency and
adaptivity are complementary validation targets, and that a good consistency
does not imply a good adaptivity. Adapted validation methods are proposed and
illustrated on a representative example.
- Abstract（参考訳）: 機械学習(ML)回帰タスクにおける信頼性のある不確実性定量化(UQ)は、材料や化学科学における多くの研究の焦点となっている。
現在、平均キャリブレーションが不十分であることがよく理解されており、多くの研究は不確実性(すなわち一貫性)に関して条件キャリブレーションをテストする追加の手法を実装している。
一貫性は、主に信頼性図によって評価される。
しかし、平均キャリブレーション以外にも、入力特徴、すなわち適応性に関する条件付キャリブレーションという別の方法が存在する。
実際、適応性はML-UQ法の最終使用者の主な関心事であり、特徴空間の任意の点に対する予測と不確実性の信頼性を求める。
この記事では、一貫性と適応性は相補的な検証対象であり、一貫性が良い適応性を意味するものではないことを示す。
適応型バリデーション手法を提案し,代表的な例を示す。
関連論文リスト
- Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。
トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
論文 参考訳（メタデータ） (2024-02-13T11:25:20Z) - Calibration by Distribution Matching: Trainable Kernel Calibration
Metrics [56.629245030893685]
カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。
これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。
決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
論文 参考訳（メタデータ） (2023-10-31T06:19:40Z) - Calibration of Neural Networks [77.34726150561087]
本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。
我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。
実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
論文 参考訳（メタデータ） (2023-03-19T20:27:51Z) - Validation of uncertainty quantification metrics: a primer based on the
consistency and adaptivity concepts [0.0]
この研究は、UQ検証の導入として考えられており、すべての方法がいくつかの基本的なルールから導出されている。
これらの手法は、最近の物理化学機械学習UQ文献から抽出された合成データセットおよび代表例を用いて、図示し、検証する。
論文 参考訳（メタデータ） (2023-03-13T15:13:03Z) - Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。
合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
論文 参考訳（メタデータ） (2023-02-23T18:57:14Z) - On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
セマンティックセグメンテーションキャリブレーションの問題について検討する。
モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。
我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
論文 参考訳（メタデータ） (2022-12-22T22:05:16Z) - Conformal Methods for Quantifying Uncertainty in Spatiotemporal Data: A
Survey [0.0]
高リスク環境では、モデルが自身の信頼を反映し、失敗を避けるために不確実性を生み出すことが重要である。
本稿では, ディープラーニングにおける不確実性(UQ)に関する最近の研究, 特に, 数学的, 広範に適用可能な分布自由な等角予測法について調査する。
論文 参考訳（メタデータ） (2022-09-08T06:08:48Z) - What is Your Metric Telling You? Evaluating Classifier Calibration under
Context-Specific Definitions of Reliability [6.510061176722249]
我々は、キャリブレーション誤差を正確に測定する、より表現力のあるメトリクスを開発する必要があると論じる。
信頼性の異なる定義の下でキャリブレーション誤差を測定するために,期待誤差(ECE)の一般化を用いる。
1) 予測クラスのみに焦点をあてたECEの定義は,信頼性の実際的有用な定義の選択の下でキャリブレーション誤差を正確に測定することができず,2) 多くの一般的なキャリブレーション手法は,ECEメトリクス全体でキャリブレーション性能を均一に改善することができない。
論文 参考訳（メタデータ） (2022-05-23T16:45:02Z) - Improving model calibration with accuracy versus uncertainty
optimization [17.056768055368384]
適切に校正されたモデルは、その予測が確実であるときに正確であり、不正確な場合に高い不確実性を示すべきである。
精度と不確実性の関係を不確実性校正のアンカーとして活用する最適化手法を提案する。
平均場変動推定によるアプローチの実証と最先端手法との比較を行った。
論文 参考訳（メタデータ） (2020-12-14T20:19:21Z) - Unsupervised Calibration under Covariate Shift [92.02278658443166]
ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。
実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
論文 参考訳（メタデータ） (2020-06-29T21:50:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。