論文の概要: On the Calibration of Probabilistic Classifier Sets

• arxiv url: http://arxiv.org/abs/2205.10082v2
• Date: Wed, 19 Apr 2023 11:43:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-20 18:17:46.233391
• Title: On the Calibration of Probabilistic Classifier Sets
• Title（参考訳）: 確率的分類集合の校正について
• Authors: Thomas Mortier and Viktor Bengs and Eyke H\"ullermeier and Stijn Luca and Willem Waegeman
• Abstract要約: 我々はキャリブレーションの概念を拡張して、アレタリック不確実性表現の有効性を評価する。 ディープニューラルネットワークのアンサンブルがよく校正されていないことを示す。
• 参考スコア（独自算出の注目度）: 6.759124697337311
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-class classification methods that produce sets of probabilistic classifiers, such as ensemble learning methods, are able to model aleatoric and epistemic uncertainty. Aleatoric uncertainty is then typically quantified via the Bayes error, and epistemic uncertainty via the size of the set. In this paper, we extend the notion of calibration, which is commonly used to evaluate the validity of the aleatoric uncertainty representation of a single probabilistic classifier, to assess the validity of an epistemic uncertainty representation obtained by sets of probabilistic classifiers. Broadly speaking, we call a set of probabilistic classifiers calibrated if one can find a calibrated convex combination of these classifiers. To evaluate this notion of calibration, we propose a novel nonparametric calibration test that generalizes an existing test for single probabilistic classifiers to the case of sets of probabilistic classifiers. Making use of this test, we empirically show that ensembles of deep neural networks are often not well calibrated.
• Abstract（参考訳）: アンサンブル学習法のような確率的分類器の集合を生成する多クラス分類法は、アレタリックおよびエピステミック不確実性をモデル化することができる。 有理不確実性は通常ベイズ誤差によって定量化され、認識不確実性は集合の大きさによって決定される。 本稿では,1つの確率的分類器の確率的不確実性表現の妥当性を評価するために一般的に用いられるキャリブレーションの概念を拡張し,確率的分類器の集合によって得られた認識的不確実性表現の妥当性を評価する。 広義的には、これらの分類器の校正凸結合を見つけることができれば、校正された確率的分類器の集合を呼ぶ。 このキャリブレーションの概念を評価するために,単一確率分類器の既存の試験を確率分類器の集合に一般化する新しい非パラメトリック検定法を提案する。 このテストを利用して、ディープニューラルネットワークのアンサンブルがよく校正されていないことを実証的に示す。

関連論文リスト

• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• On the Role of Randomization in Adversarially Robust Classification [13.39932522722395]
  ランダムなアンサンブルは、敵のリスクに設定された仮説より優れていることを示す。 また、そのような決定論的分類器を含む決定論的仮説セットを明示的に記述する。
  論文  参考訳（メタデータ） (2023-02-14T17:51:00Z)
• Calibration tests beyond classification [30.616624345970973]
  ほとんどの教師付き機械学習タスクは、既約予測エラーを被る。 確率論的予測モデルは、妥当な目標に対する信念を表す確率分布を提供することによって、この制限に対処する。 校正されたモデルは、予測が過信でも過信でもないことを保証します。
  論文  参考訳（メタデータ） (2022-10-21T09:49:57Z)
• Test-time Recalibration of Conformal Predictors Under Distribution Shift Based on Unlabeled Examples [30.61588337557343]
  コンフォーマル予測器は、ユーザが特定した確率で一連のクラスを計算することで不確実性の推定を提供する。 本研究では,自然分布シフト下での優れた不確実性推定を行う手法を提案する。
  論文  参考訳（メタデータ） (2022-10-09T04:46:00Z)
• Self-Certifying Classification by Linearized Deep Assignment [65.0100925582087]
  そこで我々は,PAC-Bayesリスク認定パラダイム内で,グラフ上のメトリックデータを分類するための新しい深層予測器のクラスを提案する。 PAC-Bayesの最近の文献とデータに依存した先行研究に基づいて、この手法は仮説空間上の後続分布の学習を可能にする。
  論文  参考訳（メタデータ） (2022-01-26T19:59:14Z)
• When in Doubt: Improving Classification Performance with Alternating Normalization [57.39356691967766]
  分類のための非パラメトリック後処理ステップである交互正規化(CAN)を用いた分類を導入する。 CANは、予測されたクラス確率分布を再調整することで、挑戦的な例の分類精度を向上させる。 多様な分類課題にまたがってその効果を実証的に示す。
  論文  参考訳（メタデータ） (2021-09-28T02:55:42Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)
• Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
  機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。 任意の関数に対するランダム化スムージングの統一的なビューを示す。 本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2020-02-07T21:28:30Z)
• Temporal Probability Calibration [0.0]
  本研究では,データ列からクラス確率推定を生成するモデルの校正について検討し,不完全列から予測が得られた場合に着目した。 従来のキャリブレーション手法は,この課題に対して十分に表現できないことを示し,入力シーケンスの長さに応じてキャリブレーション方式を適用する手法を提案する。
  論文  参考訳（メタデータ） (2020-02-07T06:59:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。