論文の概要: Performance of Conformal Prediction in Capturing Aleatoric Uncertainty

• arxiv url: http://arxiv.org/abs/2509.05826v1
• Date: Sat, 06 Sep 2025 20:41:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:03.731798
• Title: Performance of Conformal Prediction in Capturing Aleatoric Uncertainty
• Title（参考訳）: アレタリック不確かさの捕捉における等角的予測の性能
• Authors: Misgina Tsighe Hagos, Claes Lundström,
• Abstract要約: コンフォーマル予測は、真のクラスを高い確率でカバーする予測セットを生成するためのモデルに依存しないアプローチである。 本研究は,共形予測器が並列性の不確実性,特に重複クラスに起因するデータセットの固有あいまいさをいかに効果的に定量化するかを考察する。
• 参考スコア（独自算出の注目度）: 2.0482700732041397
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Conformal prediction is a model-agnostic approach to generating prediction sets that cover the true class with a high probability. Although its prediction set size is expected to capture aleatoric uncertainty, there is a lack of evidence regarding its effectiveness. The literature presents that prediction set size can upper-bound aleatoric uncertainty or that prediction sets are larger for difficult instances and smaller for easy ones, but a validation of this attribute of conformal predictors is missing. This work investigates how effectively conformal predictors quantify aleatoric uncertainty, specifically the inherent ambiguity in datasets caused by overlapping classes. We perform this by measuring the correlation between prediction set sizes and the number of distinct labels assigned by human annotators per instance. We further assess the similarity between prediction sets and human-provided annotations. We use three conformal prediction approaches to generate prediction sets for eight deep learning models trained on four datasets. The datasets contain annotations from multiple human annotators (ranging from five to fifty participants) per instance, enabling the identification of class overlap. We show that the vast majority of the conformal prediction outputs show a very weak to weak correlation with human annotations, with only a few showing moderate correlation. These findings underscore the necessity of critically reassessing the prediction sets generated using conformal predictors. While they can provide a higher coverage of the true classes, their capability in capturing aleatoric uncertainty remains limited.
• Abstract（参考訳）: コンフォーマル予測は、真のクラスを高い確率でカバーする予測セットを生成するためのモデルに依存しないアプローチである。 その予測セットサイズは、天王星の不確かさを捉えることが期待されているが、その効果に関する証拠は乏しい。 文献では、予測セットのサイズは上界のアレタリックな不確実性を持つか、あるいは予測セットが困難なインスタンスではより大きく、容易なインスタンスではより小さいかを示すが、共形予測器のこの属性の検証は欠落している。 本研究は,共形予測器が並列性の不確実性,特に重複クラスに起因するデータセットの固有あいまいさをいかに効果的に定量化するかを考察する。 本研究では、予測セットのサイズと、インスタンス毎にアノテータが割り当てる異なるラベルの数との相関を計測することにより、これを実現する。 予測セットと人為的アノテーションとの類似性をさらに評価する。 4つのデータセットで訓練された8つのディープラーニングモデルの予測セットを生成するために、3つの共形予測手法を用いる。 データセットにはインスタンス毎に複数のヒューマンアノテータ(5から50の参加者)からのアノテーションが含まれており、クラスオーバーラップの識別を可能にする。 コンフォメーション予測の出力の大部分は、人間のアノテーションと非常に弱い相関を示すが、ある程度の相関を示すものはほとんどない。 これらの結果は、共形予測器を用いて生成された予測セットを批判的に再評価する必要性を浮き彫りにした。 真のクラスについてより詳細な情報を提供することができるが、アレータリック不確実性を捉える能力は依然として限られている。

関連論文リスト

• Zono-Conformal Prediction: Zonotope-Based Uncertainty Quantification for Regression and Classification Tasks [41.14877380522394]
  コンフォーマル予測は、統計的に有効なカバレッジ保証を備えた予測セットでベース予測器を拡張するために使用される。 本稿では、間隔予測モデルとリーチセット・コンフォーマント同定にインスパイアされた新しいアプローチであるゾノ・コンフォーマル予測を導入する。 ゾノコンフォーマル予測器は間隔予測器モデルや標準共形予測法よりも保守的でないことを示す。
  論文  参考訳（メタデータ） (2025-08-14T19:03:28Z)
• Validation of Conformal Prediction in Cervical Atypia Classification [1.8988964758950546]
  ディープラーニングに基づく頸がん分類は、低リソース領域のスクリーニングへのアクセスを増加させる可能性がある。 ディープラーニングモデルは、しばしば過信され、診断の不確実性を確実に反映しない。 共形予測は、訓練されたディープラーニングモデルのためのクラスを含む予測セットを生成するためのモデルに依存しないフレームワークである。
  論文  参考訳（メタデータ） (2025-05-13T14:37:58Z)
• Towards Human-AI Complementarity with Prediction Sets [14.071862670474832]
  予測セットに基づく意思決定支援システムは、人間の専門家が分類タスクを解くのに役立つことが証明されている。 共形予測を用いて構築された予測集合は、一般に平均精度の点で準最適であることを示す。 我々は,多種多様な専門家モデルと非最適スコアに対して,同等あるいはより優れた性能を提供する予測セットを見つけることが保証される,欲求的アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2024-05-27T18:00:00Z)
• Predictive Inference with Feature Conformal Prediction [80.77443423828315]
  本稿では,特徴空間への共形予測の範囲を拡大する特徴共形予測を提案する。 理論的観点からは、特徴共形予測は軽度の仮定の下で正則共形予測よりも確実に優れていることを示す。 提案手法は,バニラ共形予測だけでなく,他の適応共形予測手法と組み合わせることができる。
  論文  参考訳（メタデータ） (2022-10-01T02:57:37Z)
• Conformal Prediction Under Feedback Covariate Shift for Biomolecular Design [56.86533144730384]
  本稿では,トレーニングデータとテストデータが統計的に依存した環境での予測不確実性を定量化する手法を提案する。 モチベーション・ユースケースとして,本手法が設計したタンパク質の適合性予測の不確かさを定量化する方法を実データで示す。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• Private Prediction Sets [72.75711776601973]
  機械学習システムは、個人のプライバシーの確実な定量化と保護を必要とする。 これら2つのデシラタを共同で扱う枠組みを提案する。 本手法を大規模コンピュータビジョンデータセット上で評価する。
  論文  参考訳（メタデータ） (2021-02-11T18:59:11Z)
• Set Prediction without Imposing Structure as Conditional Density Estimation [40.86881969839325]
  本研究では,学習を条件密度推定として見ることにより,設定損失による学習の代替を提案する。 本フレームワークは, 深部エネルギーモデルに適合し, 勾配誘導サンプリングによる難易度を近似する。 我々のアプローチは、標準ベンチマークの以前のセット予測モデルと競合する。
  論文  参考訳（メタデータ） (2020-10-08T16:49:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。