論文の概要: Conformal prediction under ambiguous ground truth

• arxiv url: http://arxiv.org/abs/2307.09302v2
• Date: Tue, 24 Oct 2023 10:34:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 00:04:13.359010
• Title: Conformal prediction under ambiguous ground truth
• Title（参考訳）: 曖昧な基底真理の下での共形予測
• Authors: David Stutz, Abhijit Guha Roy, Tatiana Matejovicova, Patricia Strachan, Ali Taylan Cemgil, Arnaud Doucet
• Abstract要約: コンフォーマル予測(CP)は厳密な不確実性定量化を可能にする。 通常、$mathbbPY|X$ は「真の」後ラベル分布であると仮定される。 我々は, {mathbbP_vote=mathbbPX otimes mathbbP_voteY|X$.t.$mathbbP_vote=mathbbPX otimes mathbbP_voteY|X$.を保証できるモンテカルロCP手順を開発した。
• 参考スコア（独自算出の注目度）: 34.92407089333591
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conformal Prediction (CP) allows to perform rigorous uncertainty quantification by constructing a prediction set $C(X)$ satisfying $\mathbb{P}(Y \in C(X))\geq 1-\alpha$ for a user-chosen $\alpha \in [0,1]$ by relying on calibration data $(X_1,Y_1),...,(X_n,Y_n)$ from $\mathbb{P}=\mathbb{P}^{X} \otimes \mathbb{P}^{Y|X}$. It is typically implicitly assumed that $\mathbb{P}^{Y|X}$ is the "true" posterior label distribution. However, in many real-world scenarios, the labels $Y_1,...,Y_n$ are obtained by aggregating expert opinions using a voting procedure, resulting in a one-hot distribution $\mathbb{P}_{vote}^{Y|X}$. For such ``voted'' labels, CP guarantees are thus w.r.t. $\mathbb{P}_{vote}=\mathbb{P}^X \otimes \mathbb{P}_{vote}^{Y|X}$ rather than the true distribution $\mathbb{P}$. In cases with unambiguous ground truth labels, the distinction between $\mathbb{P}_{vote}$ and $\mathbb{P}$ is irrelevant. However, when experts do not agree because of ambiguous labels, approximating $\mathbb{P}^{Y|X}$ with a one-hot distribution $\mathbb{P}_{vote}^{Y|X}$ ignores this uncertainty. In this paper, we propose to leverage expert opinions to approximate $\mathbb{P}^{Y|X}$ using a non-degenerate distribution $\mathbb{P}_{agg}^{Y|X}$. We develop Monte Carlo CP procedures which provide guarantees w.r.t. $\mathbb{P}_{agg}=\mathbb{P}^X \otimes \mathbb{P}_{agg}^{Y|X}$ by sampling multiple synthetic pseudo-labels from $\mathbb{P}_{agg}^{Y|X}$ for each calibration example $X_1,...,X_n$. In a case study of skin condition classification with significant disagreement among expert annotators, we show that applying CP w.r.t. $\mathbb{P}_{vote}$ under-covers expert annotations: calibrated for $72\%$ coverage, it falls short by on average $10\%$; our Monte Carlo CP closes this gap both empirically and theoretically.
• Abstract（参考訳）: Conformal Prediction (CP) は、$C(X)$ を満たす予測セット $\mathbb{P}(Y \in C(X))\geq 1-\alpha$ for a user-chosen $\alpha \in [0,1]$ をキャリブレーションデータ $(X_1,Y_1),...,(X_n,Y_n)$ from $\mathbb{P}=\mathbb{P}^{X} \otimes \mathbb{P}^{Y|X}$ に頼って厳密な不確実性定量化を行うことができる。 通常、$\mathbb{P}^{Y|X}$ は「真の」後ラベル分布であると暗黙的に仮定される。 しかし、多くの実世界のシナリオにおいて、ラベルの$Y_1, ..., Y_n$は投票手順を用いて専門家の意見を集約することで得られ、結果として1ホット分布の$\mathbb{P}_{vote}^{Y|X}$となる。 そのような `voted' ラベルに対して、CP の保証は、真の分布 $\mathbb{P}$ よりもむしろ w.r.t. $\mathbb{P}_{vote}=\mathbb{P}^X \otimes \mathbb{P}_{vote}^{Y|X}$ である。 曖昧な基底真理ラベルを持つ場合、$\mathbb{P}_{vote}$と$\mathbb{P}$の区別は無関係である。 しかし、不明瞭なラベルのために専門家が同意しない場合、$\mathbb{P}_{vote}^{Y|X}$を1ホット分布 $\mathbb{P}_{vote}^{Y|X}$ と近似すると、この不確実性は無視される。 本稿では、非退化分布 $\mathbb{P}_{agg}^{Y|X}$ を用いて、専門家の意見を利用して $\mathbb{P}Y|X}$ を近似する。 それぞれのキャリブレーション例$X_1, ..., X_n$に対して, $\mathbb{P}_{agg}^{Y|X}$から複数の合成擬似ラベルをサンプリングすることにより, w.r.t. $\mathbb{P}_{agg}=\mathbb{P}^X \otimes \mathbb{P}_{agg}^{Y|X}$を保証できるモンテカルロCPプロシージャを開発する。 専門家アノテータ間で大きな不一致を伴う皮膚条件分類のケーススタディでは、CP w.r.t. $\mathbb{P}_{vote}$ under-covers expert annotations: calibrated for 7,2\%$ coverage, on average 10\%$; our Monte Carlo CP closes this gap both empirically and theoretically。

関連論文リスト

• A class of ternary codes with few weights [0.0]
  本稿では,$mathcalC$ := (textTr) := (textTr(dx), dots, dots, d_n$で定義される3次コード$mathcalC$ of length $n$について検討する。 指数和の明示的な評価に関する最近の結果を用いて、Weil境界とテクニックを判定し、$mathcalC$の双対符号がハミング境界に対して最適であることを示す。
  論文  参考訳（メタデータ） (2024-10-05T16:15:50Z)
• A Unified Framework for Uniform Signal Recovery in Nonlinear Generative Compressed Sensing [68.80803866919123]
  非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。 本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。 また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
  論文  参考訳（メタデータ） (2023-09-25T17:54:19Z)
• A random matrix model for random approximate $t$-designs [1.534667887016089]
  任意の$t$に対して$delta(nu_mathcalS,t)$の確率分布を記述するためにランダム行列モデルを提案する。 我々のモデルはいわゆるスペクトルギャップ予想を満足していること、すなわち、$sup が $tinmathbbZ_+$ であること、すなわち $sup が $tinmathbbZ_+delta(k)=delta(t)$ であることを示す。
  論文  参考訳（メタデータ） (2022-10-14T14:50:06Z)
• Learning a Single Neuron with Adversarial Label Noise via Gradient Descent [50.659479930171585]
  モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。 学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
  論文  参考訳（メタデータ） (2022-06-17T17:55:43Z)
• Random matrices in service of ML footprint: ternary random features with no performance loss [55.30329197651178]
  我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。 3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。 提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
  論文  参考訳（メタデータ） (2021-10-05T09:33:49Z)
• Spectral properties of sample covariance matrices arising from random matrices with independent non identically distributed columns [50.053491972003656]
  関数 $texttr(AR(z))$, for $R(z) = (frac1nXXT- zI_p)-1$ and $Ain mathcal M_p$ deterministic, have a standard deviation of order $O(|A|_* / sqrt n)$. ここでは、$|mathbb E[R(z)] - tilde R(z)|_F を示す。
  論文  参考訳（メタデータ） (2021-09-06T14:21:43Z)
• Kernel Thinning [26.25415159542831]
  カーネルの薄型化は、サンプリングや標準的な薄型化よりも効率的に$mathbbP$を圧縮するための新しい手順である。 我々は、ガウス、マタン、およびB-スプライン核に対する明示的な非漸近的な最大誤差境界を導出する。
  論文  参考訳（メタデータ） (2021-05-12T17:56:42Z)
• Near-Optimal Model Discrimination with Non-Disclosure [19.88145627448243]
  まず、二乗損失を持つよく特定された線形モデルについて考察する。 類似した形態のサンプルの複雑さは、たとえ不特定であっても引き起こされる。
  論文  参考訳（メタデータ） (2020-12-04T23:52:54Z)
• An example of prediction which complies with Demographic Parity and equalizes group-wise risks in the context of regression [3.9596068699962323]
  異なる処理を生成しないベイズ最適予測$f*$は、$f*(x) = mathbbE[Y | X = x]$と定義される。 本稿では,アルゴリズム的公正性の数学的概念をよりよく理解するために,この結果がもたらすいくつかの意味について論じる。
  論文  参考訳（メタデータ） (2020-11-13T22:46:05Z)
• Near-Optimal SQ Lower Bounds for Agnostically Learning Halfspaces and ReLUs under Gaussian Marginals [49.60752558064027]
  ガウス境界の下では、半空間とReLUを不可知的に学習する基本的な問題について検討する。 我々の下限は、これらのタスクの現在の上限が本質的に最良のものであるという強い証拠を与える。
  論文  参考訳（メタデータ） (2020-06-29T17:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。