Fugu-MT 論文翻訳(概要): Posterior Calibrated Training on Sentence Classification Tasks

論文の概要: Posterior Calibrated Training on Sentence Classification Tasks

arxiv url: http://arxiv.org/abs/2004.14500v2
Date: Fri, 1 May 2020 16:26:16 GMT
ステータス: 処理完了
システム内更新日: 2022-12-08 10:07:02.245423
Title: Posterior Calibrated Training on Sentence Classification Tasks
Title（参考訳）: 文分類作業における後方校正訓練
Authors: Taehee Jung, Dongyeop Kang, Hua Cheng, Lucas Mentch, Thomas Schaaf
Abstract要約: 本稿では,後方校正訓練(PosCal)と呼ばれるエンドツーエンドの訓練手順を提案する。 PosCalは、予測された後部確率と経験的な後部確率の差を最小化しながら目的を直接最適化する。また,PosCalはキャリブレーション誤差を低減できるだけでなく,両目標の性能低下をペナルティ化することでタスク性能の向上を図っている。
参考スコア（独自算出の注目度）: 12.366042063004622
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Most classification models work by first predicting a posterior probability distribution over all classes and then selecting that class with the largest estimated probability. In many settings however, the quality of posterior probability itself (e.g., 65% chance having diabetes), gives more reliable information than the final predicted class alone. When these methods are shown to be poorly calibrated, most fixes to date have relied on posterior calibration, which rescales the predicted probabilities but often has little impact on final classifications. Here we propose an end-to-end training procedure called posterior calibrated (PosCal) training that directly optimizes the objective while minimizing the difference between the predicted and empirical posterior probabilities.We show that PosCal not only helps reduce the calibration error but also improve task performance by penalizing drops in performance of both objectives. Our PosCal achieves about 2.5% of task performance gain and 16.1% of calibration error reduction on GLUE (Wang et al., 2018) compared to the baseline. We achieved the comparable task performance with 13.2% calibration error reduction on xSLUE (Kang and Hovy, 2019), but not outperforming the two-stage calibration baseline. PosCal training can be easily extendable to any types of classification tasks as a form of regularization term. Also, PosCal has the advantage that it incrementally tracks needed statistics for the calibration objective during the training process, making efficient use of large training sets.
Abstract（参考訳）: ほとんどの分類モデルは、まずすべてのクラスにわたる後続確率分布を予測し、次に最大の推定確率を持つクラスを選択することで機能する。しかし、多くの設定において、後部確率自体の品質(例えば糖尿病の65%の確率)は、最終予測クラス単独よりも信頼性の高い情報を与える。これらの方法の校正が不十分であることが示されると、ほとんどの修正は後方校正に依存しており、予測された確率を再スケールするが、最終的な分類にはほとんど影響しない。そこで本研究では,PosCalがキャリブレーション誤差の低減に寄与するだけでなく,両目標の性能低下によるタスクパフォーマンスの向上にも寄与することを示すとともに,予測と経験的後部確率の差を最小化しながら,目的を直接最適化する,PosCalトレーニングと呼ばれるエンドツーエンドのトレーニング手順を提案する。提案手法は, タスク性能向上率の約2.5%, 接着剤のキャリブレーション誤差の16.1% (wang et al., 2018) を達成している。我々はxSLUE(Kang and Hovy, 2019)の13.2%のキャリブレーション誤差削減で同等のタスク性能を達成したが、2段キャリブレーションベースラインを上回りませんでした。 PosCalトレーニングは、正規化項の形式として、任意のタイプの分類タスクに容易に拡張できる。また、PosCalは、トレーニングプロセス中にキャリブレーションの目的に必要な統計を段階的に追跡し、大規模なトレーニングセットを効率的に利用するという利点がある。

関連論文リスト

Scaling Laws for Precision [73.24325358259753]
トレーニングと推論の両方に"精度対応"のスケーリング法則を考案する。推論では,学習後の量子化によって生じる劣化が,モデルがより多くのデータに基づいて訓練されるにつれて増加することが分かる。トレーニングのために、我々のスケーリング法則は、異なるパーツの異なるモデルの損失を、異なる精度で予測することができる。
論文参考訳（メタデータ） (2024-11-07T00:10:10Z)
Optimizing Calibration by Gaining Aware of Prediction Correctness [30.619608580138802]
クロスエントロピー(CE)損失はキャリブレータトレーニングに広く使われており、基底真理クラスに対する信頼を高めるためにモデルを強制する。本稿では, キャリブレーションの目的から得られた, ポストホックキャリブレーションの新たなキャリブレーション手法を提案する。
論文参考訳（メタデータ） (2024-04-19T17:25:43Z)
Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
論文参考訳（メタデータ） (2023-10-31T06:19:40Z)
Scaling of Class-wise Training Losses for Post-hoc Calibration [6.0632746602205865]
そこで本研究では,クラスレベルの学習損失を同期させるキャリブレーション手法を提案する。複数のクラスワイドスケーリング因子を用いて、クラスワイドトレーニング損失の分散を軽減するために、新しいトレーニング損失を設計する。種々のポストホックキャリブレーション手法を用いて,提案手法の有効性を検証した。
論文参考訳（メタデータ） (2023-06-19T14:59:37Z)
Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
論文参考訳（メタデータ） (2023-03-25T08:56:21Z)
A Close Look into the Calibration of Pre-trained Language Models [56.998539510508515]
事前訓練された言語モデル(PLM)は、予測の不確かさを確実に見積もることに失敗する可能性がある。トレーニングにおけるPLMの校正性能の動的変化について検討する。最近提案された2つの学習可能な手法を拡張して、モデルを直接収集し、合理的な信頼度を推定する。
論文参考訳（メタデータ） (2022-10-31T21:31:07Z)
Class-wise and reduced calibration methods [0.0]
キャリブレーションの削減により、元の問題をより単純なものに変換する方法を示す。第2に,ニューラル崩壊という現象に基づいて,クラスワイドキャリブレーション手法を提案する。この2つの手法を併用すると、予測とクラスごとの校正誤差を低減する強力なツールであるクラス単位での校正アルゴリズムが実現される。
論文参考訳（メタデータ） (2022-10-07T17:13:17Z)
T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
論文参考訳（メタデータ） (2022-03-03T16:58:54Z)
Taking a Step Back with KCal: Multi-Class Kernel-Based Calibration for Deep Neural Networks [40.282423098764404]
本稿では,KCalと呼ばれるKernelベースのキャリブレーション手法を提案する。他の校正手順とは異なり、KCalはDNNのロジットやソフトマックス出力を直接操作しない。事実上、KCalはニューラルネットワークの埋め込みの教師付き次元削減に相当する。
論文参考訳（メタデータ） (2022-02-15T19:04:05Z)
Meta-Cal: Well-controlled Post-hoc Calibration by Ranking [23.253020991581963]
ポストホックキャリブレーションは、モデルを再キャリブレーションするためのテクニックであり、その目標はキャリブレーションマップを学ぶことです。既存のアプローチは主に、キャリブレーション誤差の低いキャリブレーションマップの構築に重点を置いている。校正誤差の低いキャリブレータは、実際には有用であるとは限らないため、制約下でのマルチクラス分類のポストホックキャリブレーションを研究します。
論文参考訳（メタデータ） (2021-05-10T12:00:54Z)
Localized Calibration: Metrics and Recalibration [133.07044916594361]
完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
論文参考訳（メタデータ） (2021-02-22T07:22:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。