論文の概要: Learning Optimal Conformal Classifiers
- arxiv url: http://arxiv.org/abs/2110.09192v1
- Date: Mon, 18 Oct 2021 11:25:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-19 13:23:48.990010
- Title: Learning Optimal Conformal Classifiers
- Title（参考訳）: 最適等式分類器の学習
- Authors: David Stutz, Krishnamurthy (Dj) Dvijotham, Ali Taylan Cemgil, Arnaud
Doucet
- Abstract要約: コンフォーマル予測(CP)は、真のクラスを含む信頼セットをユーザが特定した確率で予測するために用いられる。
本稿では, CP を用いた学習において, コンフォーマルラッパーをエンド・ツー・エンドとしたトレーニングモデルを用いて, CP による差別化戦略について検討する。
コンフォメーショントレーニング(ConfTr)は、平均信頼度セットのサイズを小さくすることで、最先端のCP手法よりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 32.68483191509137
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern deep learning based classifiers show very high accuracy on test data
but this does not provide sufficient guarantees for safe deployment, especially
in high-stake AI applications such as medical diagnosis. Usually, predictions
are obtained without a reliable uncertainty estimate or a formal guarantee.
Conformal prediction (CP) addresses these issues by using the classifier's
probability estimates to predict confidence sets containing the true class with
a user-specified probability. However, using CP as a separate processing step
after training prevents the underlying model from adapting to the prediction of
confidence sets. Thus, this paper explores strategies to differentiate through
CP during training with the goal of training model with the conformal wrapper
end-to-end. In our approach, conformal training (ConfTr), we specifically
"simulate" conformalization on mini-batches during training. We show that CT
outperforms state-of-the-art CP methods for classification by reducing the
average confidence set size (inefficiency). Moreover, it allows to "shape" the
confidence sets predicted at test time, which is difficult for standard CP. On
experiments with several datasets, we show ConfTr can influence how
inefficiency is distributed across classes, or guide the composition of
confidence sets in terms of the included classes, while retaining the
guarantees offered by CP.
- Abstract（参考訳）: 現代のディープラーニングベースの分類器は、テストデータに対して非常に高い精度を示すが、特に医療診断などの高度なAIアプリケーションにおいて、安全なデプロイメントを保証するには不十分である。
通常、予測は信頼できる不確実性推定や正式な保証なしで得られる。
整形予測(CP)は、分類器の確率推定を用いて、真のクラスを含む信頼度をユーザ特定確率で予測する。
しかし、訓練後の別の処理ステップとしてCPを使用すると、基礎となるモデルが信頼セットの予測に適応しない。
そこで本稿では,コンフォーマルラッパーを用いたトレーニングモデルを用いて,トレーニング中のcpを識別する手法について検討する。
コンフォメーショントレーニング (ConfTr) では, トレーニング中のミニバッチ上でのコンフォメーションの「シミュレート」を行う。
平均信頼度セットサイズ(非効率性)を小さくすることで,最新のCP手法よりも高い精度で分類できることを示す。
さらに、テスト時に予測される信頼セットを"形作る"ことが可能であり、標準CPでは難しい。
いくつかのデータセットを用いた実験では、ConfTrはクラス間で非効率性がどのように分散されているかに影響を与え、CPの保証を維持しながら、含んでいるクラスの観点から信頼度セットの構成を導くことができる。
関連論文リスト
- Conformal Risk Minimization with Variance Reduction [37.74931189657469]
コンフォーマル予測(CP)は、ブラックボックスモデルにおける確率的保証を達成するための分布自由フレームワークである。
最近の研究は、トレーニング中のCP効率の最適化に重点を置いている。
我々は、この概念を共形リスク最小化の問題として定式化する。
論文 参考訳（メタデータ） (2024-11-03T21:48:15Z) - Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。
しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。
信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
論文 参考訳（メタデータ） (2024-10-13T15:37:11Z) - Trustworthy Classification through Rank-Based Conformal Prediction Sets [9.559062601251464]
本稿では,分類モデルに適したランクベーススコア関数を用いた新しいコンフォメーション予測手法を提案する。
提案手法は,そのサイズを管理しながら,所望のカバレッジ率を達成する予測セットを構築する。
コントリビューションには、新しい共形予測法、理論的解析、経験的評価が含まれる。
論文 参考訳（メタデータ） (2024-07-05T10:43:41Z) - Evidential Uncertainty Sets in Deep Classifiers Using Conformal Prediction [1.2430809884830318]
画像分類器に対して,共形予測セットを生成するためのEvidential Conformal Prediction (ECP)法を提案する。
本手法は,Evidential Deep Learning (EDL) にルーツを持つ非整合スコア関数に基づく。
論文 参考訳（メタデータ） (2024-06-16T03:00:16Z) - Efficient Conformal Prediction under Data Heterogeneity [79.35418041861327]
コンフォーマル予測(CP)は不確実性定量化のための頑健な枠組みである。
非交換性に対処するための既存のアプローチは、最も単純な例を超えて計算不可能なメソッドにつながる。
この研究は、比較的一般的な非交換可能なデータ分布に対して証明可能な信頼セットを生成する、CPに新しい効率的なアプローチを導入する。
論文 参考訳（メタデータ） (2023-12-25T20:02:51Z) - Federated Conformal Predictors for Distributed Uncertainty
Quantification [83.50609351513886]
コンフォーマル予測は、機械学習において厳密な不確実性定量化を提供するための一般的なパラダイムとして現れつつある。
本稿では,共形予測を連邦学習環境に拡張する。
本稿では、FL設定に適した部分交換可能性の弱い概念を提案し、それをフェデレート・コンフォーマル予測フレームワークの開発に利用する。
論文 参考訳（メタデータ） (2023-05-27T19:57:27Z) - Fast Entropy-Based Methods of Word-Level Confidence Estimation for
End-To-End Automatic Speech Recognition [86.21889574126878]
本研究では,フレーム単位のエントロピー値を正規化して集約し,単位単位当たりの信頼度と単語毎の信頼度を求める方法を示す。
提案手法をLibriSpeechテストセット上で評価した結果,最大フレーム当たりの信頼度推定値の最大値から,信頼度推定値の最大値の最大値の最大値の最大値の最大値の2倍,4倍の精度を示した。
論文 参考訳（メタデータ） (2022-12-16T20:27:40Z) - Confidence Estimation via Auxiliary Models [47.08749569008467]
モデル信頼のための新しいターゲット基準、すなわち真のクラス確率(TCP)を紹介します。
標準最大クラス確率 (MCP) よりも TCP が信頼度推定に優れた特性を提供することを示す。
論文 参考訳（メタデータ） (2020-12-11T17:21:12Z) - Failure Prediction by Confidence Estimation of Uncertainty-Aware
Dirichlet Networks [6.700873164609009]
不確実性を考慮したディープディリクレニューラルネットワークは、真のクラス確率計量における正しい予測と誤予測の信頼性の分離を改善できることが示されている。
不均衡とTCP制約を考慮に入れながら、予測信頼度と一致させることで、真のクラス確率を学習するための新しい基準を提案する。
論文 参考訳（メタデータ） (2020-10-19T21:06:45Z) - Binary Classification from Positive Data with Skewed Confidence [85.18941440826309]
肯定的信頼度(Pconf)分類は、有望な弱教師付き学習法である。
実際には、信頼はアノテーションプロセスで生じるバイアスによって歪められることがある。
本稿では、スキュード信頼度のパラメータ化モデルを導入し、ハイパーパラメータを選択する方法を提案する。
論文 参考訳（メタデータ） (2020-01-29T00:04:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。