論文の概要: Calibrated Language Model Fine-Tuning for In- and Out-of-Distribution Data

• arxiv url: http://arxiv.org/abs/2010.11506v1
• Date: Thu, 22 Oct 2020 07:48:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 04:46:12.979054
• Title: Calibrated Language Model Fine-Tuning for In- and Out-of-Distribution Data
• Title（参考訳）: イン・オブ・アウト・ディストリビューションデータのためのキャリブレーション言語モデルファインチューニング
• Authors: Lingkai Kong, Haoming Jiang, Yuchen Zhuang, Jie Lyu, Tuo Zhao, Chao Zhang
• Abstract要約: 微調整済みの事前学習言語モデルは、分布内および分布外データの両方に対して深刻な誤校正を被る可能性がある。 この問題を軽減するために,正規化ファインチューニング手法を提案する。 本手法は6つのデータセット上での予測校正誤差,誤分類検出,OOD検出において,既存のテキスト分類の校正手法よりも優れている。
• 参考スコア（独自算出の注目度）: 42.58055728867802
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuned pre-trained language models can suffer from severe miscalibration for both in-distribution and out-of-distribution (OOD) data due to over-parameterization. To mitigate this issue, we propose a regularized fine-tuning method. Our method introduces two types of regularization for better calibration: (1) On-manifold regularization, which generates pseudo on-manifold samples through interpolation within the data manifold. Augmented training with these pseudo samples imposes a smoothness regularization to improve in-distribution calibration. (2) Off-manifold regularization, which encourages the model to output uniform distributions for pseudo off-manifold samples to address the over-confidence issue for OOD data. Our experiments demonstrate that the proposed method outperforms existing calibration methods for text classification in terms of expectation calibration error, misclassification detection, and OOD detection on six datasets. Our code can be found at https://github.com/Lingkai-Kong/Calibrated-BERT-Fine-Tuning.
• Abstract（参考訳）: 微調整された事前学習言語モデルは、過パラメータ化による分布内および分布外の両方のデータに対する深刻な誤校正に悩まされる可能性がある。 この問題を軽減するために,正規化微調整法を提案する。 本手法では,(1)データ多様体内の補間により疑似on-manifoldサンプルを生成するon-manifold regularizationという2種類の正則化を導入する。 これらの擬似サンプルを用いた増補訓練は、分布内キャリブレーションを改善するためにスムーズな正規化を課す。 2)オフマニフォールド正規化は,OODデータの過信問題に対処するため,擬似オフマニフォールドサンプルの均一分布をモデルが出力することを奨励する。 提案手法は, 予測校正誤差, 誤分類検出, OOD検出の6つのデータセットにおいて, 既存の校正手法よりも優れていることを示す。 私たちのコードはhttps://github.com/Lingkai-Kong/Calibrated-BERT-Fine-Tuningで確認できます。

関連論文リスト

• Informed Correctors for Discrete Diffusion Models [32.87362154118195]
  モデルで学習した情報を活用することにより、より確実に離散化誤差に対処できる情報修正系を提案する。 また,$k$-Gillespie'sも提案する。これは,各モデル評価をよりよく活用するサンプリングアルゴリズムで,$tau$-leapingの速度と柔軟性を引き続き享受する。 いくつかの実・合成データセットにおいて,情報付き修正器を用いた$k$-Gillespieは,より低い計算コストで高い品質のサンプルを確実に生成することを示す。
  論文  参考訳（メタデータ） (2024-07-30T23:29:29Z)
• Calibration-Aware Bayesian Learning [37.82259435084825]
  本稿では、キャリブレーション対応ベイズニューラルネットワーク(CA-BNN)と呼ばれる統合フレームワークを提案する。 ベイズ学習のように変分分布を最適化しながら、データ依存あるいはデータ非依存の正則化をそれぞれ適用する。 予測キャリブレーション誤差(ECE)と信頼性図を用いて,提案手法の利点を検証した。
  論文  参考訳（メタデータ） (2023-05-12T14:19:15Z)
• On Calibrating Diffusion Probabilistic Models [78.75538484265292]
  拡散確率モデル(DPM)は様々な生成タスクにおいて有望な結果を得た。 そこで本研究では,任意の事前学習DPMを校正する簡単な方法を提案する。 キャリブレーション法は1回だけ行い, 得られたモデルをサンプリングに繰り返し使用することができる。
  論文  参考訳（メタデータ） (2023-02-21T14:14:40Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• Modular Conformal Calibration [80.33410096908872]
  回帰における再校正のためのアルゴリズムを多種多様なクラスで導入する。 このフレームワークは、任意の回帰モデルをキャリブレーションされた確率モデルに変換することを可能にする。 我々は17の回帰データセットに対するMCCの実証的研究を行った。
  論文  参考訳（メタデータ） (2022-06-23T03:25:23Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。