論文の概要: From Classification Accuracy to Proper Scoring Rules: Elicitability of
Probabilistic Top List Predictions
- arxiv url: http://arxiv.org/abs/2301.11797v1
- Date: Fri, 27 Jan 2023 15:55:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-30 15:00:03.432002
- Title: From Classification Accuracy to Proper Scoring Rules: Elicitability of
Probabilistic Top List Predictions
- Title（参考訳）: 分類精度から適切なスコアリングルールへ:確率的トップリスト予測の解明可能性
- Authors: Johannes Resin
- Abstract要約: 単クラス予測と予測分布のギャップを埋める新しいタイプの分類予測法を提案する。
提案した評価指標は,対称的固有スコアリングルールに基づいて,様々な種類の予測の比較を許容する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the face of uncertainty, the need for probabilistic assessments has long
been recognized in the literature on forecasting. In classification, however,
comparative evaluation of classifiers often focuses on predictions specifying a
single class through the use of simple accuracy measures, which disregard any
probabilistic uncertainty quantification. I propose probabilistic top lists as
a novel type of prediction in classification, which bridges the gap between
single-class predictions and predictive distributions. The probabilistic top
list functional is elicitable through the use of strictly consistent evaluation
metrics. The proposed evaluation metrics are based on symmetric proper scoring
rules and admit comparison of various types of predictions ranging from
single-class point predictions to fully specified predictive distributions. The
Brier score yields a metric that is particularly well suited for this kind of
comparison.
- Abstract（参考訳）: 不確実性に直面して、予測に関する文献では、確率的評価の必要性が長年認識されてきた。
しかし分類において、分類器の比較評価は、確率的不確かさの定量化を無視する単純な精度尺度を用いて、単一のクラスを特定する予測にしばしば焦点をあてる。
本稿では,1クラス予測と予測分布のギャップを橋渡しする分類における新しい予測手法として,確率的トップリストを提案する。
確率的トップリスト関数は、厳密な一貫した評価指標を用いることで要求される。
提案する評価指標は, 対称的適切な採点規則に基づいており, 単類点予測から完全に特定された予測分布まで, 様々な種類の予測を比較している。
ブライアのスコアは、この種の比較に特に適した計量である。
関連論文リスト
- Conformalized Interval Arithmetic with Symmetric Calibration [9.559062601251464]
我々は,複数の目標の和に対する予測区間に対して,単一目標に対する共形予測区間を開発する。
提案手法は, 既存のコンフォメーション手法や非コンフォメーション手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-08-20T15:27:18Z) - Trustworthy Classification through Rank-Based Conformal Prediction Sets [9.559062601251464]
本稿では,分類モデルに適したランクベーススコア関数を用いた新しいコンフォメーション予測手法を提案する。
提案手法は,そのサイズを管理しながら,所望のカバレッジ率を達成する予測セットを構築する。
コントリビューションには、新しい共形予測法、理論的解析、経験的評価が含まれる。
論文 参考訳（メタデータ） (2024-07-05T10:43:41Z) - Class-Conditional Conformal Prediction with Many Classes [60.8189977620604]
類似した共形スコアを持つクラスをクラスタ化するクラスタ化共形予測法を提案する。
クラスタ化されたコンフォメーションは、クラス条件カバレッジとセットサイズメトリクスの点で、既存のメソッドよりも一般的に優れています。
論文 参考訳（メタデータ） (2023-06-15T17:59:02Z) - Predictive Inference with Feature Conformal Prediction [80.77443423828315]
本稿では,特徴空間への共形予測の範囲を拡大する特徴共形予測を提案する。
理論的観点からは、特徴共形予測は軽度の仮定の下で正則共形予測よりも確実に優れていることを示す。
提案手法は,バニラ共形予測だけでなく,他の適応共形予測手法と組み合わせることができる。
論文 参考訳（メタデータ） (2022-10-01T02:57:37Z) - Uncertainty estimation of pedestrian future trajectory using Bayesian
approximation [137.00426219455116]
動的トラフィックシナリオでは、決定論的予測に基づく計画は信頼できない。
著者らは、決定論的アプローチが捉えられない近似を用いて予測中の不確実性を定量化する。
将来の状態の不確実性に対する降雨重量と長期予測の影響について検討した。
論文 参考訳（メタデータ） (2022-05-04T04:23:38Z) - When in Doubt: Improving Classification Performance with Alternating
Normalization [57.39356691967766]
分類のための非パラメトリック後処理ステップである交互正規化(CAN)を用いた分類を導入する。
CANは、予測されたクラス確率分布を再調整することで、挑戦的な例の分類精度を向上させる。
多様な分類課題にまたがってその効果を実証的に示す。
論文 参考訳（メタデータ） (2021-09-28T02:55:42Z) - Performance-Agnostic Fusion of Probabilistic Classifier Outputs [2.4206828137867107]
本稿では,1つのコンセンサスクラス予測を行うために,分類器の確率的出力を組み合わせる手法を提案する。
提案手法は,精度が性能指標である状況において有効である。
キャリブレーションされた確率を出力しないので、そのような確率がさらなる処理に必要となる状況には適さない。
論文 参考訳（メタデータ） (2020-09-01T16:53:29Z) - Cautious Active Clustering [79.23797234241471]
ユークリッド空間上の未知の確率測度からサンプリングされた点の分類の問題を考える。
我々のアプローチは、未知の確率測度を、各クラスに対する条件付き確率の凸結合として考えることである。
論文 参考訳（メタデータ） (2020-08-03T23:47:31Z) - Combining Task Predictors via Enhancing Joint Predictability [53.46348489300652]
そこで本研究では,目標予測能力に基づいて参照の関連性を測定し,その関連性を高めるための新しい予測器組合せアルゴリズムを提案する。
提案アルゴリズムはベイズフレームワークを用いて,すべての参照の関連性について共同で評価する。
視覚属性ランキングとマルチクラス分類シナリオから得られた実世界の7つのデータセットの実験に基づいて,本アルゴリズムが性能向上に寄与し,既存の予測器の組み合わせアプローチの適用範囲を広くすることを示した。
論文 参考訳（メタデータ） (2020-07-15T21:58:39Z) - Classifier uncertainty: evidence, potential impact, and probabilistic
treatment [0.0]
本稿では,混乱行列の確率モデルに基づいて,分類性能指標の不確かさを定量化する手法を提案する。
我々は、不確実性は驚くほど大きく、性能評価を制限できることを示した。
論文 参考訳（メタデータ） (2020-06-19T12:49:19Z) - Training conformal predictors [0.0]
共形予測の効率基準は、一般に、与えられた共形予測器の性能を評価するために用いられる。
そこで本研究では,そのような基準をエンフラーン分類器に活用できるかどうかを考察する。
論文 参考訳（メタデータ） (2020-05-14T14:47:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。