論文の概要: MBCT: Tree-Based Feature-Aware Binning for Individual Uncertainty Calibration

• arxiv url: http://arxiv.org/abs/2202.04348v1
• Date: Wed, 9 Feb 2022 08:59:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-10 15:38:56.162510
• Title: MBCT: Tree-Based Feature-Aware Binning for Individual Uncertainty Calibration
• Title（参考訳）: MBCT:個々の不確実性校正のための木に基づく特徴認識バインディング
• Authors: Siguang Huang, Yunli Wang, Lili Mou, Huayue Zhang, Han Zhu, Chuan Yu, Bo Zheng
• Abstract要約: 我々はMultiple Boosting Trees (MBCT)と呼ばれる特徴認識型バイナリフレームワークを提案する。 MBCTは非単調であり,学習可能なビンニング方式と個々のキャリブレーションにより,順序精度が向上する可能性がある。 その結果,本手法はキャリブレーション誤差と順序精度の両方で競合するモデルよりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 29.780204566046503
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most machine learning classifiers only concern classification accuracy, while certain applications (such as medical diagnosis, meteorological forecasting, and computation advertising) require the model to predict the true probability, known as a calibrated estimate. In previous work, researchers have developed several calibration methods to post-process the outputs of a predictor to obtain calibrated values, such as binning and scaling methods. Compared with scaling, binning methods are shown to have distribution-free theoretical guarantees, which motivates us to prefer binning methods for calibration. However, we notice that existing binning methods have several drawbacks: (a) the binning scheme only considers the original prediction values, thus limiting the calibration performance; and (b) the binning approach is non-individual, mapping multiple samples in a bin to the same value, and thus is not suitable for order-sensitive applications. In this paper, we propose a feature-aware binning framework, called Multiple Boosting Calibration Trees (MBCT), along with a multi-view calibration loss to tackle the above issues. Our MBCT optimizes the binning scheme by the tree structures of features, and adopts a linear function in a tree node to achieve individual calibration. Our MBCT is non-monotonic, and has the potential to improve order accuracy, due to its learnable binning scheme and the individual calibration. We conduct comprehensive experiments on three datasets in different fields. Results show that our method outperforms all competing models in terms of both calibration error and order accuracy. We also conduct simulation experiments, justifying that the proposed multi-view calibration loss is a better metric in modeling calibration error.
• Abstract（参考訳）: ほとんどの機械学習分類器は分類精度のみを気にするが、特定の応用(医学診断、気象予測、計算広告など)では、校正推定と呼ばれる真の確率を予測するためにモデルを必要とする。 従来の研究では、予測器の出力を処理後、ビンニングやスケーリング法などの校正値を得るためのいくつかの校正法を開発した。 スケーリングと比較して、バイナリ法は分布のない理論的保証を持ち、キャリブレーションのためのバイナリ法を好む動機がある。 しかし、既存のバイナリメソッドにはいくつかの欠点がある。 (a)ビンニング方式は、元の予測値のみを考慮し、キャリブレーション性能を制限し、 (b) ビンニングアプローチは非個別であり、ビン内の複数のサンプルを同じ値にマッピングするので、順序に敏感なアプリケーションには適さない。 本稿では,Multiple Boosting Calibration Trees (MBCT) と呼ばれる特徴認識型バイナリフレームワークと,上記の問題に対処するための多視点キャリブレーション損失を提案する。 mbctは特徴のツリー構造によってバイナリスキームを最適化し,木ノードに線形関数を適用し,個々のキャリブレーションを実現する。 MBCTは非単調であり,学習可能なビンニング方式と個々のキャリブレーションにより順序精度を向上させる可能性がある。 異なる分野の3つのデータセットについて総合的な実験を行う。 その結果,本手法はキャリブレーション誤差と順序精度の両方で競合するモデルよりも優れていることがわかった。 また、シミュレーション実験を行い、提案したマルチビューキャリブレーション損失がキャリブレーション誤差のモデル化においてより良い指標であることを正当化する。

関連論文リスト

• Optimizing Estimators of Squared Calibration Errors in Classification [2.3020018305241337]
  本稿では,2乗キャリブレーション誤差の推定器の比較と最適化を可能にする平均二乗誤差に基づくリスクを提案する。 キャリブレーション誤差を推定する際のトレーニングバリデーションテストパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-10-09T15:58:06Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• Modular Conformal Calibration [80.33410096908872]
  回帰における再校正のためのアルゴリズムを多種多様なクラスで導入する。 このフレームワークは、任意の回帰モデルをキャリブレーションされた確率モデルに変換することを可能にする。 我々は17の回帰データセットに対するMCCの実証的研究を行った。
  論文  参考訳（メタデータ） (2022-06-23T03:25:23Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)
• Mitigating Bias in Calibration Error Estimation [28.46667300490605]
  本研究では,ECE_binが真の校正誤差を体系的に過小評価または過大評価できることを示すシミュレーションフレームワークを提案する。 ECE_sweep は、ビンの数をできるだけ多く選択する簡単な代替校正誤差メトリックを提案します。
  論文  参考訳（メタデータ） (2020-12-15T23:28:06Z)
• Multi-Class Uncertainty Calibration via Mutual Information Maximization-based Binning [8.780958735684958]
  ポストホック多クラスキャリブレーションは、ディープニューラルネットワーク予測の信頼度推定を提供する一般的なアプローチである。 近年の研究では、広く使われているスケーリング手法がキャリブレーション誤差を過小評価していることが示されている。 類似クラス間で1つのキャリブレータを共有する共有クラスワイド(sCW)キャリブレーション戦略を提案する。
  論文  参考訳（メタデータ） (2020-06-23T15:31:59Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。