論文の概要: Validation of uncertainty quantification metrics: a primer based on the consistency and adaptivity concepts

• arxiv url: http://arxiv.org/abs/2303.07170v2
• Date: Thu, 30 Mar 2023 13:36:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-31 16:54:41.879298
• Title: Validation of uncertainty quantification metrics: a primer based on the consistency and adaptivity concepts
• Title（参考訳）: 不確実性定量化指標の検証:一貫性と適応性の概念に基づくプライマー
• Authors: Pascal Pernot
• Abstract要約: この研究は、UQ検証の導入として考えられており、すべての方法がいくつかの基本的なルールから導出されている。 これらの手法は、最近の物理化学機械学習UQ文献から抽出された合成データセットおよび代表例を用いて、図示し、検証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The practice of uncertainty quantification (UQ) validation, notably in machine learning for the physico-chemical sciences, rests on several graphical methods (scattering plots, calibration curves, reliability diagrams and confidence curves) which explore complementary aspects of calibration, without covering all the desirable ones. For instance, none of these methods deals with the reliability of UQ metrics across the range of input features (adaptivity). Based on the complementary concepts of consistency and adaptivity, the toolbox of common validation methods for variance- and intervals- based UQ metrics is revisited with the aim to provide a better grasp on their capabilities. This study is conceived as an introduction to UQ validation, and all methods are derived from a few basic rules. The methods are illustrated and tested on synthetic datasets and representative examples extracted from the recent physico-chemical machine learning UQ literature.
• Abstract（参考訳）: 不確実性定量化(uq)検証の実践は、特に物理化学の機械学習において、全ての望ましいものをカバーすることなく、キャリブレーションの補完的な側面を探求するいくつかのグラフィカルな方法(散乱プロット、キャリブレーション曲線、信頼性図、信頼度曲線)にかかっている。 例えば、これらの手法は、入力機能(適応性)の範囲にわたるUQメトリクスの信頼性を扱いません。 一貫性と適応性の相補的な概念に基づいて、分散と間隔に基づくUQメトリクスの共通検証手法のツールボックスは、それらの能力をよりよく把握することを目的として再考される。 この研究は、UQ検証の導入として考えられ、すべての方法がいくつかの基本的なルールから導出される。 本手法は,最近の物理化学機械学習uq文献から抽出した合成データセットおよび代表例を用いて,その解析と検証を行った。

関連論文リスト

• Legitimate ground-truth-free metrics for deep uncertainty classification scoring [3.9599054392856483]
  製造における不確実性定量化(UQ)手法の使用は依然として限られている。 この制限は、UQ基底真理を欠いたUQ手法を検証するという課題によってさらに悪化する。 本稿では,これらの指標を考察し,理論的に良好であり,実際に不確実な基礎的真理に結びついていることを証明する。
  論文  参考訳（メタデータ） (2024-10-30T14:14:32Z)
• Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph [83.90988015005934]
  不確実性定量化(英: Uncertainty Quantification、UQ)は、機械学習(ML)アプリケーションにおいて重要なコンポーネントである。 最新のUQベースラインの集合を実装した新しいベンチマークを導入する。 我々は、9つのタスクにわたるUQと正規化技術に関する大規模な実証的研究を行い、最も有望なアプローチを特定した。
  論文  参考訳（メタデータ） (2024-06-21T20:06:31Z)
• Epistemic Uncertainty Quantification For Pre-trained Neural Network [27.444465823508715]
  疫学的不確実性定量化(UQ)は、モデルが知識を欠いている場所を特定する。 ベイジアンニューラルネットワークに基づく従来のUQ法は、事前訓練された非ベイジアンモデルには適さない。
  論文  参考訳（メタデータ） (2024-04-15T20:21:05Z)
• Calibration in Machine Learning Uncertainty Quantification: beyond consistency to target adaptivity [0.0]
  この記事では、一貫性と適応性は相補的な検証対象であり、一貫性が良い適応性を意味するものではないことを示す。 適応型バリデーション手法を提案し, 代表的な例を示す。
  論文  参考訳（メタデータ） (2023-09-12T13:58:04Z)
• Conformal Prediction for Federated Uncertainty Quantification Under Label Shift [57.54977668978613]
  Federated Learning(FL)は、多くのクライアントが協力してモデルをトレーニングする機械学習フレームワークである。 我々は、量子回帰に基づく新しいコンフォメーション予測法を開発し、プライバシー制約を考慮した。
  論文  参考訳（メタデータ） (2023-06-08T11:54:58Z)
• Benchmarking the Reliability of Post-training Quantization: a Particular Focus on Worst-case Performance [53.45700148820669]
  ポストトレーニング量子化(PTQ)は、独自のアーキテクチャやトレーニング手順を変更することなく、ディープニューラルネットワーク(DNN)を圧縮するための一般的な方法である。 その有効性と利便性にもかかわらず、分散シフトやデータノイズといった極端ケースの存在下でのPTQ手法の信頼性は明らかにされていない。 そこで本研究では,様々なPTQ手法を用いてこの問題について検討する。
  論文  参考訳（メタデータ） (2023-03-23T02:55:50Z)
• Conformal Methods for Quantifying Uncertainty in Spatiotemporal Data: A Survey [0.0]
  高リスク環境では、モデルが自身の信頼を反映し、失敗を避けるために不確実性を生み出すことが重要である。 本稿では, ディープラーニングにおける不確実性(UQ)に関する最近の研究, 特に, 数学的, 広範に適用可能な分布自由な等角予測法について調査する。
  論文  参考訳（メタデータ） (2022-09-08T06:08:48Z)
• Towards Clear Expectations for Uncertainty Estimation [64.20262246029286]
  不確実性定量化(UQ)は、信頼できる機械学習(ML)を実現するために不可欠である ほとんどのUQ手法は、異なる不整合評価プロトコルに悩まされている。 この意見書は、これらの要件を5つの下流タスクを通して指定することで、新たな視点を提供する。
  論文  参考訳（メタデータ） (2022-07-27T07:50:57Z)
• Predictive machine learning for prescriptive applications: a coupled training-validating approach [77.34726150561087]
  規範的応用のための予測機械学習モデルをトレーニングするための新しい手法を提案する。 このアプローチは、標準的なトレーニング検証テストスキームの検証ステップを微調整することに基づいている。 合成データを用いたいくつかの実験は、決定論的モデルと実モデルの両方において処方料コストを削減できる有望な結果を示した。
  論文  参考訳（メタデータ） (2021-10-22T15:03:20Z)
• Task-Specific Normalization for Continual Learning of Blind Image Quality Models [105.03239956378465]
  視覚的画像品質評価(BIQA)のための簡易かつ効果的な連続学習法を提案する。 このアプローチの重要なステップは、トレーニング済みのディープニューラルネットワーク(DNN)のすべての畳み込みフィルタを凍結して、安定性を明示的に保証することです。 我々は、各新しいIQAデータセット(タスク)に予測ヘッドを割り当て、対応する正規化パラメータをロードして品質スコアを生成する。 最終的な品質推定は、軽量な$K$-meansゲーティング機構で、すべての頭からの予測の重み付け総和によって計算される。
  論文  参考訳（メタデータ） (2021-07-28T15:21:01Z)
• Uncertainty Quantification Using Neural Networks for Molecular Property Prediction [33.34534208450156]
  複数の相補的な性能指標を用いて,5つのベンチマークデータセット上で複数の手法を体系的に評価した。 テストしたどのメソッドも他のどのメソッドよりも絶対的に優れているわけではなく、複数のデータセットにまたがって特に信頼性の高いエラーランキングを生成するものもありません。 我々は,既存の技術が他とよく関係しているように見えるものについて,実践的な勧告で結論付けている。
  論文  参考訳（メタデータ） (2020-05-20T13:31:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。