論文の概要: Making Heads and Tails of Models with Marginal Calibration for Sparse Tagsets

• arxiv url: http://arxiv.org/abs/2109.07494v1
• Date: Wed, 15 Sep 2021 18:00:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-17 14:04:44.602078
• Title: Making Heads and Tails of Models with Marginal Calibration for Sparse Tagsets
• Title（参考訳）: Sparse Tagsets における Marginal Calibration を用いたモデルの頭とタオルの作成
• Authors: Michael Kranzlein, Nelson F. Liu, Nathan Schneider
• Abstract要約: 提案手法は,2つの既存のシークエンスタグの限界分布におけるキャリブレーション誤差を補正する手法である。 また、異なる周波数帯域におけるキャリブレーション誤差を測定する方法として、タグ周波数グルーピング(TFG)を提案する。
• 参考スコア（独自算出の注目度）: 11.072557973995528
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For interpreting the behavior of a probabilistic model, it is useful to measure a model's calibration--the extent to which it produces reliable confidence scores. We address the open problem of calibration for tagging models with sparse tagsets, and recommend strategies to measure and reduce calibration error (CE) in such models. We show that several post-hoc recalibration techniques all reduce calibration error across the marginal distribution for two existing sequence taggers. Moreover, we propose tag frequency grouping (TFG) as a way to measure calibration error in different frequency bands. Further, recalibrating each group separately promotes a more equitable reduction of calibration error across the tag frequency spectrum.
• Abstract（参考訳）: 確率モデルの振る舞いを解釈するには、モデルのキャリブレーション(信頼度スコアを生成する程度)を測定するのが有用である。 スパースタグセットを用いたタグ付けモデルのキャリブレーションのオープンな問題に対処し、そのようなモデルにおけるキャリブレーション誤差(CE)の測定と低減のための戦略を推奨する。 提案手法は,既存の2つのタガーのマージン分布におけるキャリブレーション誤差を低減できることを示す。 さらに,異なる周波数帯域のキャリブレーション誤差を測定する方法として,タグ周波数グループ化(tfg)を提案する。 さらに、各グループを再校正することで、タグ周波数スペクトル間の校正誤差をより公平に低減することができる。

関連論文リスト

• Reassessing How to Compare and Improve the Calibration of Machine Learning Models [7.183341902583164]
  結果の予測確率がモデル予測に基づいてその結果の観測周波数と一致した場合、機械学習モデルを校正する。 キャリブレーションと予測の指標が追加の一般化の指標を伴わない限り、最先端のように見えるような簡単な再校正手法が存在することを示す。
  論文  参考訳（メタデータ） (2024-06-06T13:33:45Z)
• Towards Certification of Uncertainty Calibration under Adversarial Attacks [96.48317453951418]
  攻撃はキャリブレーションを著しく損なう可能性を示し, 対向的摂動下でのキャリブレーションにおける最悪のキャリブレーション境界として認定キャリブレーションを提案する。 我々は,新しいキャリブレーション攻撃を提案し,テクスタディバーショナルキャリブレーショントレーニングによりモデルキャリブレーションを改善する方法を示す。
  論文  参考訳（メタデータ） (2024-05-22T18:52:09Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• Parametric and Multivariate Uncertainty Calibration for Regression and Object Detection [4.630093015127541]
  一般的な検出モデルでは,観測誤差と比較して空間的不確かさが過大評価されている。 実験の結果, 簡便な等速回帰補正法は, 良好な校正不確実性を実現するのに十分であることがわかった。 対照的に、後続のプロセスに正規分布が必要な場合、GP-Normal再校正法が最良の結果をもたらす。
  論文  参考訳（メタデータ） (2022-07-04T08:00:20Z)
• Modular Conformal Calibration [80.33410096908872]
  回帰における再校正のためのアルゴリズムを多種多様なクラスで導入する。 このフレームワークは、任意の回帰モデルをキャリブレーションされた確率モデルに変換することを可能にする。 我々は17の回帰データセットに対するMCCの実証的研究を行った。
  論文  参考訳（メタデータ） (2022-06-23T03:25:23Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)
• Multi-Class Uncertainty Calibration via Mutual Information Maximization-based Binning [8.780958735684958]
  ポストホック多クラスキャリブレーションは、ディープニューラルネットワーク予測の信頼度推定を提供する一般的なアプローチである。 近年の研究では、広く使われているスケーリング手法がキャリブレーション誤差を過小評価していることが示されている。 類似クラス間で1つのキャリブレータを共有する共有クラスワイド(sCW)キャリブレーション戦略を提案する。
  論文  参考訳（メタデータ） (2020-06-23T15:31:59Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。