論文の概要: Validation of Conformal Prediction in Cervical Atypia Classification

• arxiv url: http://arxiv.org/abs/2505.08845v1
• Date: Tue, 13 May 2025 14:37:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-15 21:44:09.257431
• Title: Validation of Conformal Prediction in Cervical Atypia Classification
• Title（参考訳）: 頚椎椎間板分類におけるコンフォーマル予測の検証
• Authors: Misgina Tsighe Hagos, Antti Suutala, Dmitrii Bychkov, Hakan Kücükel, Joar von Bahr, Milda Poceviciute, Johan Lundin, Nina Linder, Claes Lundström,
• Abstract要約: ディープラーニングに基づく頸がん分類は、低リソース領域のスクリーニングへのアクセスを増加させる可能性がある。 ディープラーニングモデルは、しばしば過信され、診断の不確実性を確実に反映しない。 共形予測は、訓練されたディープラーニングモデルのためのクラスを含む予測セットを生成するためのモデルに依存しないフレームワークである。
• 参考スコア（独自算出の注目度）: 1.8988964758950546
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deep learning based cervical cancer classification can potentially increase access to screening in low-resource regions. However, deep learning models are often overconfident and do not reliably reflect diagnostic uncertainty. Moreover, they are typically optimized to generate maximum-likelihood predictions, which fail to convey uncertainty or ambiguity in their results. Such challenges can be addressed using conformal prediction, a model-agnostic framework for generating prediction sets that contain likely classes for trained deep-learning models. The size of these prediction sets indicates model uncertainty, contracting as model confidence increases. However, existing conformal prediction evaluation primarily focuses on whether the prediction set includes or covers the true class, often overlooking the presence of extraneous classes. We argue that prediction sets should be truthful and valuable to end users, ensuring that the listed likely classes align with human expectations rather than being overly relaxed and including false positives or unlikely classes. In this study, we comprehensively validate conformal prediction sets using expert annotation sets collected from multiple annotators. We evaluate three conformal prediction approaches applied to three deep-learning models trained for cervical atypia classification. Our expert annotation-based analysis reveals that conventional coverage-based evaluations overestimate performance and that current conformal prediction methods often produce prediction sets that are not well aligned with human labels. Additionally, we explore the capabilities of the conformal prediction methods in identifying ambiguous and out-of-distribution data.
• Abstract（参考訳）: ディープラーニングに基づく頸がん分類は、低リソース領域におけるスクリーニングへのアクセスを増加させる可能性がある。 しかし、ディープラーニングモデルは、しばしば過信され、診断の不確実性を確実に反映しない。 さらに、それらは一般的に、結果に不確実性や曖昧さを伝達できない最大的類似の予測を生成するように最適化されている。 このような課題は、訓練されたディープラーニングモデルのためのクラスを含む予測セットを生成するためのモデルに依存しないフレームワークである、共形予測を使って解決することができる。 これらの予測セットのサイズはモデルの不確実性を示し、モデルの信頼性が増大するにつれて収縮する。 しかし、既存の共形予測評価は主に、予測セットが真のクラスを含むか、カバーしているかに焦点を合わせ、しばしば外部クラスの存在を見落としている。 我々は、予測セットはエンドユーザーにとって真実で価値あるものであり、列挙される可能性のあるクラスが過度にリラックスされたり、偽陽性やありそうにないクラスを含むのではなく、人間の期待に沿うことを保証するべきだと論じている。 本研究では,複数のアノテータから収集した専門家アノテーションセットを用いて,共形予測集合を包括的に検証する。 頚部気管分類を訓練した3つのディープラーニングモデルに適用した3つの共形予測手法について検討した。 専門家による注釈に基づく分析の結果、従来のカバレッジに基づく評価は性能を過大評価し、現在のコンフォーメーション予測手法は人間のラベルとよく一致しない予測セットをしばしば生成することがわかった。 さらに,不明瞭な分布データとアウト・オブ・ディストリビューションデータの識別における共形予測手法の有用性について検討する。

関連論文リスト

• Trustworthy Classification through Rank-Based Conformal Prediction Sets [9.559062601251464]
  本稿では,分類モデルに適したランクベーススコア関数を用いた新しいコンフォメーション予測手法を提案する。 提案手法は,そのサイズを管理しながら,所望のカバレッジ率を達成する予測セットを構築する。 コントリビューションには、新しい共形予測法、理論的解析、経験的評価が含まれる。
  論文  参考訳（メタデータ） (2024-07-05T10:43:41Z)
• Efficient Normalized Conformal Prediction and Uncertainty Quantification for Anti-Cancer Drug Sensitivity Prediction with Deep Regression Forests [0.0]
  予測間隔で機械学習モデルをペアリングするための有望な方法として、コンフォーマル予測が登場した。 本研究では,深部回帰林から得られた分散度を算出し,各試料の不確かさを推定する手法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T19:09:53Z)
• Beyond Confidence: Reliable Models Should Also Consider Atypicality [43.012818086415514]
  サンプルやクラスが非典型的であるかとモデルの予測の信頼性との関係について検討する。 非定型入力や非定型クラスの予測は、より過信であり、精度が低いことを示す。 モデルの信頼性だけでなく,不確かさの定量化や性能向上にも非定型性を用いるべきである。
  論文  参考訳（メタデータ） (2023-05-29T17:37:09Z)
• Predictive Inference with Feature Conformal Prediction [80.77443423828315]
  本稿では,特徴空間への共形予測の範囲を拡大する特徴共形予測を提案する。 理論的観点からは、特徴共形予測は軽度の仮定の下で正則共形予測よりも確実に優れていることを示す。 提案手法は,バニラ共形予測だけでなく,他の適応共形予測手法と組み合わせることができる。
  論文  参考訳（メタデータ） (2022-10-01T02:57:37Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• Loss Estimators Improve Model Generalization [36.520569284970456]
  予測モデルと並行して損失推定器を訓練し,対照訓練目標を用いて予測の不確実性を直接推定する。 モデル一般化における損失推定器の影響を,その分布データに対する忠実度と,トレーニング中に見つからない分布サンプルや新しいクラスの検出能力の両方の観点から示す。
  論文  参考訳（メタデータ） (2021-03-05T16:35:10Z)
• DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
  認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。 一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-16T23:50:35Z)
• Private Prediction Sets [72.75711776601973]
  機械学習システムは、個人のプライバシーの確実な定量化と保護を必要とする。 これら2つのデシラタを共同で扱う枠組みを提案する。 本手法を大規模コンピュータビジョンデータセット上で評価する。
  論文  参考訳（メタデータ） (2021-02-11T18:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。