論文の概要: Trustworthy Classification through Rank-Based Conformal Prediction Sets
- arxiv url: http://arxiv.org/abs/2407.04407v1
- Date: Fri, 5 Jul 2024 10:43:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-08 13:50:07.541686
- Title: Trustworthy Classification through Rank-Based Conformal Prediction Sets
- Title（参考訳）: ランクベースの等式予測セットによる信頼できる分類
- Authors: Rui Luo, Zhixin Zhou,
- Abstract要約: 本稿では,分類モデルに適したランクベーススコア関数を用いた新しいコンフォメーション予測手法を提案する。
提案手法は,そのサイズを管理しながら,所望のカバレッジ率を達成する予測セットを構築する。
コントリビューションには、新しい共形予測法、理論的解析、経験的評価が含まれる。
- 参考スコア（独自算出の注目度）: 9.559062601251464
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning classification tasks often benefit from predicting a set of possible labels with confidence scores to capture uncertainty. However, existing methods struggle with the high-dimensional nature of the data and the lack of well-calibrated probabilities from modern classification models. We propose a novel conformal prediction method that employs a rank-based score function suitable for classification models that predict the order of labels correctly, even if not well-calibrated. Our approach constructs prediction sets that achieve the desired coverage rate while managing their size. We provide a theoretical analysis of the expected size of the conformal prediction sets based on the rank distribution of the underlying classifier. Through extensive experiments, we demonstrate that our method outperforms existing techniques on various datasets, providing reliable uncertainty quantification. Our contributions include a novel conformal prediction method, theoretical analysis, and empirical evaluation. This work advances the practical deployment of machine learning systems by enabling reliable uncertainty quantification.
- Abstract（参考訳）: 機械学習の分類タスクは、不確実性を捉えるために信頼スコアを持つラベルのセットを予測することの恩恵を受けることが多い。
しかし、既存の手法は、データの高次元的な性質と、現代の分類モデルからのよく校正された確率の欠如に苦慮している。
本稿では,ラベルの順序を正確に予測する分類モデルに適したランクベーススコア関数を用いた新しいコンフォメーション予測手法を提案する。
提案手法は,そのサイズを管理しながら,所望のカバレッジ率を達成する予測セットを構築する。
本稿では、下層の分類器のランク分布に基づいて、共形予測セットの予測サイズを理論的に解析する。
実験により,本手法は様々なデータセット上で既存の手法よりも優れており,信頼性の高い不確実性定量化を実現していることを示す。
コントリビューションには、新しい共形予測法、理論的解析、経験的評価が含まれる。
本研究は,信頼性の高い不確実性定量化を実現することにより,機械学習システムの実践的展開を推し進める。
関連論文リスト
- Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。
しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。
信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
論文 参考訳（メタデータ） (2024-10-13T15:37:11Z) - Weighted Aggregation of Conformity Scores for Classification [9.559062601251464]
コンフォーマル予測は、有効なカバレッジ保証を備えた予測セットを構築するための強力なフレームワークである。
本稿では,共形予測器の性能向上のために,複数のスコア関数を組み合わせた新しい手法を提案する。
論文 参考訳（メタデータ） (2024-07-14T14:58:03Z) - Probabilistic Conformal Prediction with Approximate Conditional Validity [81.30551968980143]
本研究では,共形手法の柔軟性と条件分布の推定を組み合わせ,予測セットを生成する手法を開発した。
我々の手法は、条件付きカバレッジの観点から既存の手法よりも一貫して優れています。
論文 参考訳（メタデータ） (2024-07-01T20:44:48Z) - Conformal Predictions for Probabilistically Robust Scalable Machine Learning Classification [1.757077789361314]
コンフォーマルな予測により、信頼性と堅牢な学習アルゴリズムを定義することができる。
基本的には、アルゴリズムが実際に使われるのに十分であるかどうかを評価する方法である。
本稿では,設計当初から信頼性の高い分類学習フレームワークを定義した。
論文 参考訳（メタデータ） (2024-03-15T14:59:24Z) - Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。
この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
論文 参考訳（メタデータ） (2023-08-03T12:43:21Z) - Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。
合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
論文 参考訳（メタデータ） (2023-02-23T18:57:14Z) - From Classification Accuracy to Proper Scoring Rules: Elicitability of
Probabilistic Top List Predictions [0.0]
単クラス予測と予測分布のギャップを埋める新しいタイプの分類予測法を提案する。
提案した評価指標は,対称的固有スコアリングルールに基づいて,様々な種類の予測の比較を許容する。
論文 参考訳（メタデータ） (2023-01-27T15:55:01Z) - Calibrated Selective Classification [34.08454890436067]
そこで我々は,「不確か」な不確実性のある例を拒否する手法を提案する。
本稿では,選択的校正モデル学習のためのフレームワークを提案する。そこでは,任意のベースモデルの選択的校正誤差を改善するために,個別のセレクタネットワークを訓練する。
われわれは,複数画像分類と肺癌リスク評価におけるアプローチの実証的効果を実証した。
論文 参考訳（メタデータ） (2022-08-25T13:31:09Z) - Self-Certifying Classification by Linearized Deep Assignment [65.0100925582087]
そこで我々は,PAC-Bayesリスク認定パラダイム内で,グラフ上のメトリックデータを分類するための新しい深層予測器のクラスを提案する。
PAC-Bayesの最近の文献とデータに依存した先行研究に基づいて、この手法は仮説空間上の後続分布の学習を可能にする。
論文 参考訳（メタデータ） (2022-01-26T19:59:14Z) - Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。
本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文 参考訳（メタデータ） (2021-10-13T01:23:48Z) - Robust Validation: Confident Predictions Even When Distributions Shift [19.327409270934474]
本稿では,モデルが点予測ではなく,その予測に対して不確実な推定を行うような,頑健な予測推論の手順について述べる。
本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。
私たちの方法論の重要な構成要素は、将来のデータシフトの量を見積り、それに対する堅牢性を構築することです。
論文 参考訳（メタデータ） (2020-08-10T17:09:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。