論文の概要: Calibration of Pre-trained Transformers

• arxiv url: http://arxiv.org/abs/2003.07892v3
• Date: Thu, 15 Oct 2020 17:04:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-22 20:39:09.733142
• Title: Calibration of Pre-trained Transformers
• Title（参考訳）: プレトレーニングトランスの校正
• Authors: Shrey Desai and Greg Durrett
• Abstract要約: 本研究ではBERTとRoBERTaに着目し,自然言語推論,パラフレーズ検出,コモンセンス推論という3つのタスクのキャリブレーションを分析した。 その結果,(1) 事前学習モデルを用いてドメイン内キャリブレーションを行う場合, ベースラインと比較して, ドメイン外キャリブレーション誤差が3.5倍も低いこと,(2) ドメイン内キャリブレーション誤差をさらに低減するために温度スケーリングが有効であること,および, ラベルスムーシングを用いて実証的不確実性を意図的に増大させることにより, ドメイン内キャリブレーション後部キャリブレーションを支援すること,などが示されている。
• 参考スコア（独自算出の注目度）: 55.57083429195445
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained Transformers are now ubiquitous in natural language processing, but despite their high end-task performance, little is known empirically about whether they are calibrated. Specifically, do these models' posterior probabilities provide an accurate empirical measure of how likely the model is to be correct on a given example? We focus on BERT and RoBERTa in this work, and analyze their calibration across three tasks: natural language inference, paraphrase detection, and commonsense reasoning. For each task, we consider in-domain as well as challenging out-of-domain settings, where models face more examples they should be uncertain about. We show that: (1) when used out-of-the-box, pre-trained models are calibrated in-domain, and compared to baselines, their calibration error out-of-domain can be as much as 3.5x lower; (2) temperature scaling is effective at further reducing calibration error in-domain, and using label smoothing to deliberately increase empirical uncertainty helps calibrate posteriors out-of-domain.
• Abstract（参考訳）: 事前学習されたトランスフォーマーは現在、自然言語処理においてユビキタスであるが、その高いエンドタスク性能にもかかわらず、それらのキャリブレーションについて実証的にはほとんど知られていない。 具体的には、これらのモデルの後方確率は、与えられた例でモデルがどの程度正しいかの正確な経験的尺度を提供するか? 本研究ではBERTとRoBERTaに着目し,自然言語推論,パラフレーズ検出,コモンセンス推論という3つのタスクのキャリブレーションを分析した。 各タスクに対して、ドメイン内だけでなく、モデルが不確実であるべき多くの例に直面しているドメイン外の設定にも挑戦する。 その結果,(1)事前学習済みモデルを用いてドメイン内校正を行い,ベースラインと比較した場合,キャリブレーション誤差を最大3.5倍低くすることができること,(2)ドメイン内キャリブレーション誤差を更に低減するために温度スケーリングが有効であること,およびラベル平滑化を故意に経験的不確かさを増加させることが,ドメイン外校正に有効であることがわかった。

関連論文リスト

• Towards Certification of Uncertainty Calibration under Adversarial Attacks [96.48317453951418]
  攻撃はキャリブレーションを著しく損なう可能性を示し, 対向的摂動下でのキャリブレーションにおける最悪のキャリブレーション境界として認定キャリブレーションを提案する。 我々は,新しいキャリブレーション攻撃を提案し,テクスタディバーショナルキャリブレーショントレーニングによりモデルキャリブレーションを改善する方法を示す。
  論文  参考訳（メタデータ） (2024-05-22T18:52:09Z)
• Preserving Pre-trained Features Helps Calibrate Fine-tuned Language Models [23.881825575095945]
  大規模事前学習型言語モデル(PLM)は、微調整により自然言語理解(NLU)タスクに強い性能を示す。 しかし、微調整されたモデルは、特にドメイン外設定において、過度に自信過剰な予測に悩まされている。 本研究では,PLMがマスキング言語モデリングタスクにおいて,ドメインシフトの下で頑健な予測信頼度を有することを実証する。 事前学習した特徴の保存は、微調整言語モデルの校正を改善することができることを示す。
  論文  参考訳（メタデータ） (2023-05-30T17:35:31Z)
• A Unifying Theory of Distance from Calibration [9.959025631339982]
  完璧なキャリブレーションからの距離を定量化する方法については合意がない。 本研究では, キャリブレーションからの距離に関する基礎的な概念を提案する。 フレームワークの適用により、一貫性があり、効率的に推定できる3つのキャリブレーションを識別する。
  論文  参考訳（メタデータ） (2022-11-30T10:38:24Z)
• A Close Look into the Calibration of Pre-trained Language Models [56.998539510508515]
  事前訓練された言語モデル(PLM)は、予測の不確かさを確実に見積もることに失敗する可能性がある。 トレーニングにおけるPLMの校正性能の動的変化について検討する。 最近提案された2つの学習可能な手法を拡張して、モデルを直接収集し、合理的な信頼度を推定する。
  論文  参考訳（メタデータ） (2022-10-31T21:31:07Z)
• Post-hoc Uncertainty Calibration for Domain Drift Scenarios [46.88826364244423]
  既存のポストホックキャリブレーション手法は、ドメインシフト下での過信予測を高い精度で得ることを示した。 ポストホックキャリブレーションステップを実行する前に、検証セットのサンプルに摂動を適用する簡単な戦略を紹介します。
  論文  参考訳（メタデータ） (2020-12-20T18:21:13Z)
• Uncertainty Quantification and Deep Ensembles [79.4957965474334]
  ディープアンサンブルが必ずしもキャリブレーション特性の改善につながるとは限らないことを示す。 そこで本研究では,混成正規化などの現代的な手法と併用して標準アンサンブル法を用いることで,キャリブレーションの少ないモデルが得られることを示す。 このテキストは、データが不足しているときにディープラーニングを活用するために、最も単純で一般的な3つのアプローチの相互作用を調べる。
  論文  参考訳（メタデータ） (2020-07-17T07:32:24Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。