Fugu-MT 論文翻訳(概要): Preserving Pre-trained Features Helps Calibrate Fine-tuned Language Models

論文の概要: Preserving Pre-trained Features Helps Calibrate Fine-tuned Language Models

arxiv url: http://arxiv.org/abs/2305.19249v1
Date: Tue, 30 May 2023 17:35:31 GMT
ステータス: 処理完了
システム内更新日: 2023-05-31 14:37:46.665119
Title: Preserving Pre-trained Features Helps Calibrate Fine-tuned Language Models
Title（参考訳）: 訓練済みの機能を保存することで、微調整言語モデルの校正を支援する
Authors: Guande He, Jianfei Chen, Jun Zhu
Abstract要約: 大規模事前学習型言語モデル(PLM)は、微調整により自然言語理解(NLU)タスクに強い性能を示す。しかし、微調整されたモデルは、特にドメイン外設定において、過度に自信過剰な予測に悩まされている。本研究では,PLMがマスキング言語モデリングタスクにおいて,ドメインシフトの下で頑健な予測信頼度を有することを実証する。事前学習した特徴の保存は、微調整言語モデルの校正を改善することができることを示す。
参考スコア（独自算出の注目度）: 23.881825575095945
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large pre-trained language models (PLMs) have demonstrated strong performance on natural language understanding (NLU) tasks through fine-tuning. However, fine-tuned models still suffer from overconfident predictions, especially in out-of-domain settings. In this paper, we tackle the problem of calibrating fine-tuned language models. We demonstrate that the PLMs are well-calibrated on the masked language modeling task with robust predictive confidence under domain shift, yet the fine-tuned models fail to retain such property due to catastrophic forgetting, which impacts the calibration on the downstream classification task. In light of these observations, we evaluate the calibration of several methods that preserve pre-trained features and show that preserving pre-trained features can improve the calibration of fine-tuned language models. Among these methods, our proposed method that encourages the fine-tuned model to learn generative representations with auxiliary language modeling objective achieves competitive accuracy and the lowest expected calibration error compared to several strong baselines under both in-domain and out-of-domain settings on three downstream NLU tasks.
Abstract（参考訳）: 大規模事前学習型言語モデル(PLM)は、微調整により自然言語理解(NLU)タスクに強い性能を示す。しかし、微調整されたモデルは、特にドメイン外設定において、自信過剰な予測に苦しむ。本稿では,微調整言語モデルの校正問題に取り組む。 PLMは,ドメインシフト下では頑健な予測信頼を保ちつつ,マスク付き言語モデリングタスクにおいて十分に校正されていることを実証するが,その微調整モデルは,ダウンストリーム分類タスクの校正に影響を及ぼす破滅的な誤りにより,そのような特性を保たない。これらの観測から,事前学習した特徴を保存するいくつかの手法の校正を評価し,事前学習した特徴を保存することで,微調整された言語モデルの校正を改善することを示す。提案手法は,3つの下流NLUタスクにおいて,ドメイン内およびドメイン外の両方の条件下での強いベースラインと比較して,競合精度と最小のキャリブレーション誤差を達成し,生成表現を学習するための微調整モデルを提案する。

関連論文リスト

Observational Scaling Laws and the Predictability of Language Model Performance [51.2336010244645]
本稿では、モデルトレーニングを回避し、100のパブリックモデルからスケーリング法則を構築する観察的アプローチを提案する。いくつかの創発現象が滑らかでシグモダルな挙動を辿り、小さなモデルから予測可能であることを示す。言語モデル機能の改善が進むにつれて、Chain-of-ThoughtやSelf-Consistencyといったポストトレーニング介入の影響を予測する方法を示す。
論文参考訳（メタデータ） (2024-05-17T17:49:44Z)
On the Calibration of Large Language Models and Alignment [63.605099174744865]
信頼性キャリブレーションは、ディープモデルの信頼性を高める重要なツールである。構築プロセス全体を通して、アライメント言語モデルの校正を体系的に検討する。我々の研究は、人気のあるLCMが十分に校正されているか、トレーニングプロセスがモデルの校正にどのように影響するかに光を当てています。
論文参考訳（メタデータ） (2023-11-22T08:57:55Z)
CATfOOD: Counterfactual Augmented Training for Improving Out-of-Domain Performance and Calibration [59.48235003469116]
データの増大はOOD性能を継続的に向上させることを示す。また, CF拡張モデルのキャリブレーションが容易な場合, 重要度を割り当てる場合, エントロピーがはるかに低いことを示す。
論文参考訳（メタデータ） (2023-09-14T16:16:40Z)
Unsupervised Calibration through Prior Adaptation for Text Classification using Large Language Models [37.39843935632105]
ラベル付きサンプルを必要とせずにテキスト分類タスクを実行するために,先行クラス分布に適応する手法を提案する。その結果,これらの手法は,プロンプト内の訓練ショット数が異なる場合,適応しないモデルよりも優れていることがわかった。
論文参考訳（メタデータ） (2023-07-13T12:11:36Z)
On the Calibration of Massively Multilingual Language Models [15.373725507698591]
超多言語言語モデル(MMLM)は、最近、言語間移動における驚くべき効果により人気を博している。まず,ゼロショット設定におけるMMLMの校正について検討し,低リソース言語における誤校正の明確な事例を観察する。また、言語の少数例はキャリブレーションエラーを減らすのに役立ちます。
論文参考訳（メタデータ） (2022-10-21T21:41:56Z)
Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2022-06-12T04:42:49Z)
On the Calibration of Pre-trained Language Models using Mixup Guided by Area Under the Margin and Saliency [47.90235939359225]
モデルキャリブレーションをさらに改善する事前学習型言語モデルのための新しい混合戦略を提案する。本手法は,ドメイン内およびドメイン外テストサンプルの強いベースラインと比較して,最小のキャリブレーション誤差を実現する。
論文参考訳（メタデータ） (2022-03-14T23:45:08Z)
Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models via Continual Learning [74.25168207651376]
訓練済みの言語モデルから下流の言語間タスクへの微調整は、有望な結果を示している。ダウンストリームタスクに微調整する場合、継続学習を活用して、事前学習したモデルの言語間能力を維持する。提案手法は、ゼロショット言語間タグ付けや名前付きエンティティ認識タスクにおいて、他の微調整ベースラインよりも優れた性能を実現する。
論文参考訳（メタデータ） (2020-04-29T14:07:18Z)
Calibrating Structured Output Predictors for Natural Language Processing [8.361023354729731]
本稿では,ニューラルネットワークに基づく構造化予測モデルに注目する出力要素の一般的なキャリブレーション手法を提案する。提案手法は,任意のバイナリクラスキャリブレーションスキームとニューラルネットワークモデルを用いて適用することができる。提案手法は, 話者認識, パート・オブ・音声, 質問応答における現在のキャリブレーション手法より優れていることを示す。
論文参考訳（メタデータ） (2020-04-09T04:14:46Z)
CALM: Continuous Adaptive Learning for Language Modeling [18.72860206714457]
自然言語処理コミュニティでは,大規模言語表現モデルのトレーニングが標準となっている。これらの事前学習モデルが破滅的忘れという形で性能劣化を示すことを示す。言語モデリングのための継続的適応学習CALM:複数のドメインにまたがる知識を保持するモデルをレンダリングする手法を提案する。
論文参考訳（メタデータ） (2020-04-08T03:51:17Z)
Calibration of Pre-trained Transformers [55.57083429195445]
本研究ではBERTとRoBERTaに着目し,自然言語推論,パラフレーズ検出,コモンセンス推論という3つのタスクのキャリブレーションを分析した。その結果,(1) 事前学習モデルを用いてドメイン内キャリブレーションを行う場合, ベースラインと比較して, ドメイン外キャリブレーション誤差が3.5倍も低いこと,(2) ドメイン内キャリブレーション誤差をさらに低減するために温度スケーリングが有効であること,および, ラベルスムーシングを用いて実証的不確実性を意図的に増大させることにより, ドメイン内キャリブレーション後部キャリブレーションを支援すること,などが示されている。
論文参考訳（メタデータ） (2020-03-17T18:58:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。