論文の概要: Pathologies of Pre-trained Language Models in Few-shot Fine-tuning
- arxiv url: http://arxiv.org/abs/2204.08039v1
- Date: Sun, 17 Apr 2022 15:55:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-19 14:45:48.593329
- Title: Pathologies of Pre-trained Language Models in Few-shot Fine-tuning
- Title(参考訳): Few-shot Fine-tuningにおける事前学習言語モデルの病理
- Authors: Hanjie Chen, Guoqing Zheng, Ahmed Hassan Awadallah, Yangfeng Ji
- Abstract要約: 実例が少ない事前学習言語モデルはラベル間に強い予測バイアスを示すことを示す。
わずかな微調整で予測バイアスを軽減できるが,本分析では,非タスク関連の特徴を捉えることで,モデルの性能向上を図っている。
これらの観察は、より少ない例でモデルのパフォーマンスを追求することは、病理学的予測行動を引き起こす可能性があることを警告する。
- 参考スコア(独自算出の注目度): 50.3686606679048
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although adapting pre-trained language models with few examples has shown
promising performance on text classification, there is a lack of understanding
of where the performance gain comes from. In this work, we propose to answer
this question by interpreting the adaptation behavior using post-hoc
explanations from model predictions. By modeling feature statistics of
explanations, we discover that (1) without fine-tuning, pre-trained models
(e.g. BERT and RoBERTa) show strong prediction bias across labels; (2) although
few-shot fine-tuning can mitigate the prediction bias and demonstrate promising
prediction performance, our analysis shows models gain performance improvement
by capturing non-task-related features (e.g. stop words) or shallow data
patterns (e.g. lexical overlaps). These observations alert that pursuing model
performance with fewer examples may incur pathological prediction behavior,
which requires further sanity check on model predictions and careful design in
model evaluations in few-shot fine-tuning.
- Abstract(参考訳): 事前訓練された言語モデルを少数の例で適用することは、テキスト分類において有望なパフォーマンスを示しているが、パフォーマンスがどこから来るかは理解できない。
本研究では,モデル予測からのポストホックな説明を用いて適応動作を解釈することで,この問題に対処することを提案する。
特徴統計をモデル化することにより,(1)微調整・事前学習モデル(BERTやRoBERTaなど)がラベル間で強い予測バイアスを示すこと,(2)微調整では予測バイアスが軽減され,予測性能が期待できるが,本分析では,非タスク関連特徴(停止語など)や浅いデータパターン(語彙重なりなど)を捉えることで,モデルの性能向上を示す。
これらの観察は、少ない例でモデル性能を追求することは、病的予測動作を損なう可能性があることを警告し、モデル予測のさらなる健全性チェックと、短時間の微調整におけるモデル評価における注意深い設計を必要とする。
関連論文リスト
- Predictive Churn with the Set of Good Models [64.05949860750235]
近似機械学習モデルの集合に対する競合予測の効果について検討する。
ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。
当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
論文 参考訳(メタデータ) (2024-02-12T16:15:25Z) - What Will My Model Forget? Forecasting Forgotten Examples in Language Model Refinement [38.93348195407474]
ワイルドにデプロイされた言語モデルはエラーを起こします。
修正されたエラーインスタンスでモデルを更新することは、破滅的な忘れを引き起こす。
本稿では,事前学習例のソフトマックス前のロジットスコアの変化がオンライン学習例に類似しているという観察に基づいて,部分的に解釈可能な予測モデルを提案する。
論文 参考訳(メタデータ) (2024-02-02T19:43:15Z) - Training Trajectories of Language Models Across Scales [99.38721327771208]
言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。
異なるサイズの言語モデルは事前学習中にどのように学習するか?
より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
論文 参考訳(メタデータ) (2022-12-19T19:16:29Z) - Performance Prediction Under Dataset Shift [1.1602089225841632]
生成した合成摂動を学習し,様々な性能予測モデルの新たな領域への一般化能力について検討する。
本稿では,性能予測器の信頼性を保証するために,予測精度の自然な不確実性評価を提案する。
論文 参考訳(メタデータ) (2022-06-21T19:40:58Z) - Training Deep Models to be Explained with Fewer Examples [40.58343220792933]
我々は、サンプル数を減らすために、スパース正規化器と同時に予測モデルと説明モデルを訓練する。
いくつかのデータセットを用いた実験により,提案手法は予測性能を維持しながら忠実性を向上させることを示した。
論文 参考訳(メタデータ) (2021-12-07T05:39:21Z) - Instance-Based Neural Dependency Parsing [56.63500180843504]
依存関係解析のための解釈可能な推論プロセスを持つニューラルモデルを開発する。
私たちのモデルはインスタンスベースの推論を採用しており、トレーニングセットのエッジと比較することで、依存関係のエッジを抽出し、ラベル付けします。
論文 参考訳(メタデータ) (2021-09-28T05:30:52Z) - Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning [57.4036085386653]
文ペア分類タスクのプロンプトベースモデルでは,語彙重なりに基づく推論の一般的な落とし穴が依然として残っていることを示す。
そこで,プレトレーニングウェイトを保存する正規化を加えることは,この破壊的な微調整の傾向を緩和するのに有効であることを示す。
論文 参考訳(メタデータ) (2021-09-09T10:10:29Z) - Translation Error Detection as Rationale Extraction [36.616561917049076]
本稿では,現在最先端の文レベルQEモデルの振る舞いについて検討し,翻訳誤りを検出するために実際に説明が利用できることを示す。
単語レベルQEのための新しい半教師付き手法を導入し、(ii)特徴属性の妥当性を評価するための新しいベンチマークとしてQEタスクを提案する。
論文 参考訳(メタデータ) (2021-08-27T09:35:14Z) - On the Lack of Robust Interpretability of Neural Text Classifiers [14.685352584216757]
本研究では,事前学習したトランスフォーマーエンコーダをベースとしたニューラルテキスト分類器の解釈の堅牢性を評価する。
どちらのテストも、期待された行動から驚くほど逸脱しており、実践者が解釈から引き出す可能性のある洞察の程度について疑問を呈している。
論文 参考訳(メタデータ) (2021-06-08T18:31:02Z) - Explaining and Improving Model Behavior with k Nearest Neighbor
Representations [107.24850861390196]
モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。
我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。
以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
論文 参考訳(メタデータ) (2020-10-18T16:55:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。