Fugu-MT 論文翻訳(概要): Interval-Based AUC (iAUC): Extending ROC Analysis to Uncertainty-Aware Classification

論文の概要: Interval-Based AUC (iAUC): Extending ROC Analysis to Uncertainty-Aware Classification

arxiv url: http://arxiv.org/abs/2602.04775v1
Date: Wed, 04 Feb 2026 17:12:04 GMT
ステータス: 翻訳完了
システム内更新日: 2026-02-05 19:45:11.652578
Title: Interval-Based AUC (iAUC): Extending ROC Analysis to Uncertainty-Aware Classification
Title（参考訳）: Interval-based AUC (iAUC): ROC解析を不確実性認識分類に拡張する
Authors: Yuqi Li, Matthew M. Engelhard,
Abstract要約: 本研究では,不確実性を考慮したROCフレームワークを提案する。 AUC_L$ と $AUC_U$ の2つの新しい手段を導入する。有効なクラス条件付きカバレッジでは、$AUC_L$ と $AUC_U$ は理論最適 AUC の形式的下限と上限を提供する。
参考スコア（独自算出の注目度）: 12.024101882027466
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In high-stakes risk prediction, quantifying uncertainty through interval-valued predictions is essential for reliable decision-making. However, standard evaluation tools like the receiver operating characteristic (ROC) curve and the area under the curve (AUC) are designed for point scores and fail to capture the impact of predictive uncertainty on ranking performance. We propose an uncertainty-aware ROC framework specifically for interval-valued predictions, introducing two new measures: $AUC_L$ and $AUC_U$. This framework enables an informative three-region decomposition of the ROC plane, partitioning pairwise rankings into correct, incorrect, and uncertain orderings. This approach naturally supports selective prediction by allowing models to abstain from ranking cases with overlapping intervals, thereby optimizing the trade-off between abstention rate and discriminative reliability. We prove that under valid class-conditional coverage, $AUC_L$ and $AUC_U$ provide formal lower and upper bounds on the theoretical optimal AUC ($AUC^*$), characterizing the physical limit of achievable discrimination. The proposed framework applies broadly to interval-valued prediction models, regardless of the interval construction method. Experiments on real-world benchmark datasets, using bootstrap-based intervals as one instantiation, validate the framework's correctness and demonstrate its practical utility for uncertainty-aware evaluation and decision-making.
Abstract（参考訳）: 高いリスク予測では、インターバル値予測による不確実性の定量化が信頼性の高い意思決定に不可欠である。しかしながら、受信機動作特性(ROC)曲線や曲線下面積(AUC)のような標準評価ツールは点数に設計されており、予測の不確実性がランク付け性能に与える影響を把握できない。本稿では,間隔値予測に特化して不確実性を考慮したROCフレームワークを提案し,新しい2つの指標として$AUC_L$と$AUC_U$を提案する。このフレームワークは、ROC平面の情報的3領域分解を可能にし、ペアのランクを正しい、正しく、不確実な順序に分割する。このアプローチは、モデルが重なる間隔でランキングケースから退避することを許容し、従って、棄権率と差別的信頼性の間のトレードオフを最適化することで、選択的な予測を自然にサポートする。有効なクラス条件付きカバレッジでは、$AUC_L$と$AUC_U$は理論最適AUC(AUC^*$)の形式的下限と上限を提供し、達成可能な識別の物理的限界を特徴づける。提案手法は, 区間構成法によらず, 間隔値予測モデルに適用可能である。実世界のベンチマークデータセットの実験では、ブートストラップベースの間隔を1つのインスタンス化として使用し、フレームワークの正確性を検証し、不確実性を認識した評価と意思決定のための実用的有用性を実証した。

関連論文リスト

LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
論文参考訳（メタデータ） (2025-12-01T11:27:09Z)
Certainty in Uncertainty: Reasoning over Uncertain Knowledge Graphs with Statistical Guarantees [24.48143253497661]
textscUnKGCPは、ユーザが指定した信頼度で真のスコアを含むことが保証される予測間隔を生成する。間隔に関する理論的保証を提供し、これらの保証を実証的に検証する。様々なUnKGE法による標準ベンチマークの実験は、間隔が鋭く、予測の不確実性を効果的に捉えていることをさらに示している。
論文参考訳（メタデータ） (2025-10-18T17:58:17Z)
Analyzing Uncertainty of LLM-as-a-Judge: Interval Evaluations with Conformal Prediction [13.958280616597385]
本研究は,LLMに基づくスコアリングの予測間隔を共形予測によって提供することにより,不確実性を分析するための最初の枠組みを示す。我々は,共形予測がカバレッジ保証付きで有効な予測間隔を提供できることを示す広範な実験と分析を行う。
論文参考訳（メタデータ） (2025-09-23T05:26:28Z)
Uncertainty-Driven Reliability: Selective Prediction and Trustworthy Deployment in Modern Machine Learning [1.2183405753834562]
この論文は、不確実性推定が機械学習(ML)システムの安全性と信頼性を高める方法について考察する。まず、モデルのトレーニング軌道は、アーキテクチャの変更や損失を伴わずに活用できるような、豊富な不確実性信号を含むことを示す。本稿では,タスク間で動作し,深層アンサンブルのコストを回避し,最先端の選択的予測性能を実現する軽量なポストホック禁忌手法を提案する。
論文参考訳（メタデータ） (2025-08-11T02:33:53Z)
COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
論文参考訳（メタデータ） (2025-06-25T07:04:49Z)
OT Score: An OT based Confidence Score for Source Free Unsupervised Domain Adaptation [2.6912673131004468]
本稿では,新しい理論解析から得られた信頼度尺度である最適輸送(OT)スコアを紹介する。 OTスコアは直感的に解釈でき、理論的には厳密である。これは、任意の対象の擬ラベルの任意の集合に対して原則化された不確実性推定を提供する。トレーニング時間の再重み付けによってSFUDAのパフォーマンスを改善し、モデルパフォーマンスのための信頼性の高いラベルなしプロキシを提供する。
論文参考訳（メタデータ） (2025-05-16T20:09:05Z)
SConU: Selective Conformal Uncertainty in Large Language Models [59.25881667640868]
SconU(Selective Conformal Uncertainity)と呼ばれる新しいアプローチを提案する。我々は,特定の管理可能なリスクレベルで設定されたキャリブレーションの不確実性分布から,与えられたサンプルが逸脱するかどうかを決定するのに役立つ2つの共形p値を開発する。我々のアプローチは、単一ドメインと学際的コンテキストの両方にわたる誤発見率の厳密な管理を促進するだけでなく、予測の効率を高める。
論文参考訳（メタデータ） (2025-04-19T03:01:45Z)
When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
論文参考訳（メタデータ） (2023-07-06T04:13:57Z)
AUC-based Selective Classification [5.406386303264086]
選択関数を与えられたバイナリ分類器に関連付けるためのモデルに依存しない手法を提案する。このような目的を達成するために、理論的正当化と$AUCross$と呼ばれる新しいアルゴリズムの両方を提供する。実験によると、$AUCross$はAUCのトレードオフカバレッジに成功し、精度を最適化することを目的とした既存の選択的な分類方法を改善している。
論文参考訳（メタデータ） (2022-10-19T16:29:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。