論文の概要: A metrological framework for uncertainty evaluation in machine learning classification models

• arxiv url: http://arxiv.org/abs/2504.03359v1
• Date: Fri, 04 Apr 2025 11:28:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-07 14:47:39.787546
• Title: A metrological framework for uncertainty evaluation in machine learning classification models
• Title（参考訳）: 機械学習分類モデルにおける不確実性評価のための気象学的枠組み
• Authors: Samuel Bilson, Maurice Cox, Anna Pustogvar, Andrew Thompson,
• Abstract要約: 機械学習(ML)分類モデルのためのメタロジカル概念的不確実性評価フレームワークを提案する。 我々の枠組みは、国際計量学語彙(VIM)と測定の不確実性表現ガイド(GUM)を名目上不確実性に拡張することを可能にした。
• 参考スコア（独自算出の注目度）: 0.07499722271664144
• License:
• Abstract: Machine learning (ML) classification models are increasingly being used in a wide range of applications where it is important that predictions are accompanied by uncertainties, including in climate and earth observation, medical diagnosis and bioaerosol monitoring. The output of an ML classification model is a type of categorical variable known as a nominal property in the International Vocabulary of Metrology (VIM). However, concepts related to uncertainty evaluation for nominal properties are not defined in the VIM, nor is such evaluation addressed by the Guide to the Expression of Uncertainty in Measurement (GUM). In this paper we propose a metrological conceptual uncertainty evaluation framework for ML classification, and illustrate its use in the context of two applications that exemplify the issues and have significant societal impact, namely, climate and earth observation and medical diagnosis. Our framework would enable an extension of the VIM and GUM to uncertainty for nominal properties, which would make both applicable to ML classification models.
• Abstract（参考訳）: 機械学習(ML)分類モデルは、気候や地球観測、診断、バイオエアロゾルモニタリングなど、不確実性を伴う予測が伴うことが重要である広範囲のアプリケーションで、ますます使われている。 ML分類モデルの出力(英: output of a ML classification model)は、国際大辞典(英語: International Vocabulary of Metrology, VIM)において、名目上の性質として知られる分類変数の一種である。 しかし、名目的特性の不確実性評価に関する概念は、VIMでは定義されておらず、また、測定の不確実性表現ガイド(GUM)でも言及されている。 本稿では,ML分類のためのメタロジカル概念的不確実性評価フレームワークを提案し,この問題を実証し,社会に重大な影響を及ぼす2つの応用,すなわち気候と地球観測と医学的診断の文脈におけるその利用について述べる。 我々のフレームワークは、VIMとGUMの拡張を名目上の特性の不確実性に可能にし、どちらもML分類モデルに適用できます。

関連論文リスト

• A Saliency-based Clustering Framework for Identifying Aberrant Predictions [49.1574468325115]
  本稿では, 異常予測の概念を導入し, 分類誤差の性質が頻度と同じくらい重要であることを強調した。 本稿では,誤分類率の低減と異常予測の識別を両立する,新しい,効率的なトレーニング手法を提案する。 本手法を獣医学の分野である獣医学の分野に応用し, 被曝率は高いが, 人体医学に比べて広く研究されていない。
  論文  参考訳（メタデータ） (2023-11-11T01:53:59Z)
• Analysis of Diagnostics (Part I): Prevalence, Uncertainty Quantification, and Machine Learning [0.0]
  この写本は、分類理論と有病率のより深い関係を研究する二部作の最初のものである。 そこで本稿では,有病率重み付き経験誤差を最小化することにより,Bstar (q)$を推定する数値ホモトピーアルゴリズムを提案する。 合成データとSARS-CoV-2酵素結合免疫測定法(ELISA)を用いて本法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-08-30T13:26:49Z)
• Evaluating AI systems under uncertain ground truth: a case study in dermatology [44.80772162289557]
  本稿では,アノテーションの不確実性を測定するための指標を提案し,評価のための不確実性調整指標を提案する。 本稿では,本フレームワークを皮膚条件分類に応用した症例スタディとして,アノテーションを診断の形で提供した画像について述べる。
  論文  参考訳（メタデータ） (2023-07-05T10:33:45Z)
• Ontology-aware Learning and Evaluation for Audio Tagging [56.59107110017436]
  平均平均精度(mAP)は、異なる種類の音をそれらの関係を考慮せずに独立したクラスとして扱う。 オントロジー認識平均平均精度(OmAP)は、評価中にAudioSetオントロジー情報を利用することで、mAPの弱点に対処する。 我々は人間の評価を行い、OmAPはmAPよりも人間の知覚と一致していることを示した。
  論文  参考訳（メタデータ） (2022-11-22T11:35:14Z)
• What is Flagged in Uncertainty Quantification? Latent Density Models for Uncertainty Categorization [68.15353480798244]
  不確実性定量化(UQ)は、信頼できる機械学習モデルを作成する上で不可欠である。 近年、疑わしい事例にフラグを立てるUQ手法が急上昇している。 分類タスクにおけるUQ手法によってフラグ付けされた不確実な例を分類する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-07-11T19:47:00Z)
• Evaluation Gaps in Machine Learning Practice [13.963766987258161]
  実際に、機械学習モデルの評価は、しばしば、非文脈化された予測行動の狭い範囲に焦点を当てる。 評価対象の理想化された幅と実際の評価対象の狭い焦点との間の評価ギャップについて検討した。 これらの特性を研究することで、規範的な影響を持つコミットメントの範囲について、機械学習分野の暗黙の仮定を実証する。
  論文  参考訳（メタデータ） (2022-05-11T04:00:44Z)
• Spatial machine-learning model diagnostics: a model-agnostic distance-based approach [91.62936410696409]
  本研究は,空間予測誤差プロファイル (SPEP) と空間変数重要度プロファイル (SVIP) を,新しいモデルに依存しない評価・解釈ツールとして提案する。 統計学的手法、線形モデル、ランダムフォレスト、ハイブリッドアルゴリズムのSPEPとSVIPは、顕著な差異と関連する類似性を示している。 この新しい診断ツールは空間データ科学のツールキットを充実させ、MLモデルの解釈、選択、設計を改善する可能性がある。
  論文  参考訳（メタデータ） (2021-11-13T01:50:36Z)
• Joint Dermatological Lesion Classification and Confidence Modeling with Uncertainty Estimation [23.817227116949958]
  本稿では,皮膚学的な分類と不確実性評価を共同で検討する枠組みを提案する。 信頼ネットワークから不確実な特徴や望ましくない変化を避けるために,各特徴の信頼度を推定する。 提案手法の可能性を2つの最先端の皮膚内視鏡的データセットに示す。
  論文  参考訳（メタデータ） (2021-07-19T11:54:37Z)
• Interpretability of Epidemiological Models : The Curse of Non-Identifiability [1.8518446560201374]
  疫学モデルの解釈可能性は重要な考慮事項であり、特にこれらのモデルが公衆衛生環境で使用される場合である。 本稿では、モデル定義、損失関数、適合方法、データの質と量によって果たすさまざまな役割を探求する識別可能性という3つの異なる概念を定義します。
  論文  参考訳（メタデータ） (2021-04-30T08:11:11Z)
• Classification with Rejection Based on Cost-sensitive Classification [83.50402803131412]
  学習のアンサンブルによる拒絶を用いた新しい分類法を提案する。 実験により, クリーン, ノイズ, 正の未ラベル分類における提案手法の有用性が示された。
  論文  参考訳（メタデータ） (2020-10-22T14:05:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。