論文の概要: A Novel Characterization of the Population Area Under the Risk Coverage Curve (AURC) and Rates of Finite Sample Estimators

• arxiv url: http://arxiv.org/abs/2410.15361v2
• Date: Thu, 06 Feb 2025 19:22:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:54:30.131065
• Title: A Novel Characterization of the Population Area Under the Risk Coverage Curve (AURC) and Rates of Finite Sample Estimators
• Title（参考訳）: リスクカバー曲線(AURC)と有限サンプル推定器の速度を考慮した新しい人口分布域のキャラクタリゼーション
• Authors: Han Zhou, Jordy Van Landeghem, Teodora Popordanoska, Matthew B. Blaschko,
• Abstract要約: AURC(Area Under the Risk-Coverage Curve)は、SCシステムの性能を評価するための最前線評価指標として登場した。 有限サンプルシナリオに対する実験的なAURCプラグイン推定器を導出する。 複数のデータセットにまたがる実験により,推定器の有効性を実証的に検証した。
• 参考スコア（独自算出の注目度）: 15.294324192338484
• License:
• Abstract: The selective classifier (SC) has been proposed for rank based uncertainty thresholding, which could have applications in safety critical areas such as medical diagnostics, autonomous driving, and the justice system. The Area Under the Risk-Coverage Curve (AURC) has emerged as the foremost evaluation metric for assessing the performance of SC systems. In this work, we present a formal statistical formulation of population AURC, presenting an equivalent expression that can be interpreted as a reweighted risk function. Through Monte Carlo methods, we derive empirical AURC plug-in estimators for finite sample scenarios. The weight estimators associated with these plug-in estimators are shown to be consistent, with low bias and tightly bounded mean squared error (MSE). The plug-in estimators are proven to converge at a rate of $\mathcal{O}(\sqrt{\ln(n)/n})$ demonstrating statistical consistency. We empirically validate the effectiveness of our estimators through experiments across multiple datasets, model architectures, and confidence score functions (CSFs), demonstrating consistency and effectiveness in fine-tuning AURC performance.
• Abstract（参考訳）: 選択分類器(SC)は、医学診断、自律運転、司法システムなどの安全上の重要な分野に応用できるランクベースの不確実性しきい値付けのために提案されている。 The Area Under the Risk-Coverage Curve (AURC)は、SCシステムの性能を評価するための最前線評価指標として登場した。 本研究では, 集団AURCの統計的定式化を行い, 再重み付きリスク関数として解釈できる同値な表現を示す。 モンテカルロ法により,有限サンプルシナリオに対する経験的 AURC プラグイン推定器を導出する。 これらのプラグイン推定器に付随する重み推定器は、バイアスが低く、有界平均二乗誤差(MSE)が強いことが示されている。 プラグイン推定器は、統計的一貫性を示す$\mathcal{O}(\sqrt{\ln(n)/n})$で収束することが証明されている。 我々は、複数のデータセット、モデルアーキテクチャ、信頼スコア関数(CSF)の実験を通じて、推定器の有効性を実証的に検証し、微調整されたAURC性能の一貫性と有効性を示す。

関連論文リスト

• Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
  この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。 第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。 第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
  論文  参考訳（メタデータ） (2025-02-11T19:24:09Z)
• Reweighting Improves Conditional Risk Bounds [12.944919903533957]
  一般に平衡性のあるベルンシュタイン条件の下では、ある部分領域において優れた性能を達成するために重み付きERM推定器を設計できることを示す。 本研究の成果は, 合成データ実験による証拠によって裏付けられている。
  論文  参考訳（メタデータ） (2025-01-04T18:16:21Z)
• Risk-Averse Certification of Bayesian Neural Networks [70.44969603471903]
  本稿では,RAC-BNNと呼ばれるベイズニューラルネットワークに対するリスク・アバース認証フレームワークを提案する。 提案手法はサンプリングと最適化を利用して,BNNの出力集合の音響近似を計算する。 我々は,RAC-BNNを回帰および分類ベンチマークで検証し,その性能を最先端の手法と比較した。
  論文  参考訳（メタデータ） (2024-11-29T14:22:51Z)
• Provable Risk-Sensitive Distributional Reinforcement Learning with General Function Approximation [54.61816424792866]
  本稿では,リスク感性分布強化学習(RS-DisRL)と静的リプシッツリスク対策(LRM),一般関数近似について紹介する。 モデルに基づく関数近似のためのモデルベース戦略であるtextttRS-DisRL-M と、一般値関数近似のためのモデルフリーアプローチである textttRS-DisRL-V の2つの革新的なメタアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-02-28T08:43:18Z)
• Evaluating Probabilistic Classifiers: The Triptych [62.997667081978825]
  本稿では,予測性能の異なる相補的な側面に焦点をあてた診断グラフィックのトリチチを提案し,研究する。 信頼性図は校正に対処し、受信動作特性(ROC)曲線は識別能力を診断し、マーフィー図は全体的な予測性能と価値を視覚化する。
  論文  参考訳（メタデータ） (2023-01-25T19:35:23Z)
• Orthogonal Series Estimation for the Ratio of Conditional Expectation Functions [2.855485723554975]
  本章は、条件付き期待関数(CEFR)の推定と推定のための一般的な枠組みを開発する。 本研究は,ガウスブートストラップの有効性を含むCEFRの推定と推定のためのポイントワイドおよび均一な結果を導出する。 提案手法を適用し,世帯資産に対する401(k)プログラムの因果効果を推定する。
  論文  参考訳（メタデータ） (2022-12-26T13:01:17Z)
• Self-Certifying Classification by Linearized Deep Assignment [65.0100925582087]
  そこで我々は,PAC-Bayesリスク認定パラダイム内で,グラフ上のメトリックデータを分類するための新しい深層予測器のクラスを提案する。 PAC-Bayesの最近の文献とデータに依存した先行研究に基づいて、この手法は仮説空間上の後続分布の学習を可能にする。
  論文  参考訳（メタデータ） (2022-01-26T19:59:14Z)
• A New Approach for Interpretability and Reliability in Clinical Risk Prediction: Acute Coronary Syndrome Scenario [0.33927193323747895]
  我々は、リスクスコアと機械学習モデルの両方の最高の特徴を組み合わせた、新たなリスクアセスメント方法論を作成するつもりです。 提案手法は、標準LRと同一の試験結果を得たが、より優れた解釈性とパーソナライゼーションを提供する。 個人予測の信頼性推定は誤分類率と大きな相関を示した。
  論文  参考訳（メタデータ） (2021-10-15T19:33:46Z)
• Causality and Generalizability: Identifiability and Learning Methods [0.0]
  この論文は、因果効果の推定、因果構造学習、および分布的に堅牢な予測方法に関する研究領域に寄与する。 本稿では,データ依存平均二乗予測誤差正規化を用いた機器変数設定における線形・非線形因果関係推定器について述べる。 本稿では,介入誘起分布に関する分布ロバスト性に関する一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2021-10-04T13:12:11Z)
• Evaluating probabilistic classifiers: Reliability diagrams and score decompositions revisited [68.8204255655161]
  確率的に統計的に一貫性があり、最適に結合し、再現可能な信頼性図を自動生成するCORP手法を導入する。 コーパスは非パラメトリックアイソトニック回帰に基づいており、プール・アジャセント・ヴァイオレータ(PAV)アルゴリズムによって実装されている。
  論文  参考訳（メタデータ） (2020-08-07T08:22:26Z)
• Statistical Agnostic Mapping: a Framework in Neuroimaging based on Concentration Inequalities [0.0]
  ボクセルやマルチボクセルレベルでの統計アグノスティック(非パラメトリック)マッピングを導出する。 集中不平等に基づくニューロイメージングの新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2019-12-27T18:27:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。