論文の概要: Improving language models fine-tuning with representation consistency targets

• arxiv url: http://arxiv.org/abs/2205.11603v1
• Date: Mon, 23 May 2022 20:00:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-29 08:30:36.224506
• Title: Improving language models fine-tuning with representation consistency targets
• Title（参考訳）: 表現整合性目標を用いた微調整言語モデルの改良
• Authors: Anastasia Razdaibiedina, Vivek Madan, Zohar Karnin, Ashish Khetan, Vishaal Kapoor
• Abstract要約: 本研究では,表現の望ましくない変化を回避し,微調整中の表現崩壊を回避する新しい微調整手法を提案する。 提案手法は,13の言語理解タスクにまたがる既存の正規化に基づく微調整手法の性能に適合するか,超越しているかを示す。
• 参考スコア（独自算出の注目度）: 15.9751584108718
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning contextualized representations learned by pre-trained language models has become a standard practice in the NLP field. However, pre-trained representations are prone to degradation (also known as representation collapse) during fine-tuning, which leads to instability, suboptimal performance, and weak generalization. In this paper, we propose a novel fine-tuning method that avoids representation collapse during fine-tuning by discouraging undesirable changes in the representations. We show that our approach matches or exceeds the performance of the existing regularization-based fine-tuning methods across 13 language understanding tasks (GLUE benchmark and six additional datasets). We also demonstrate its effectiveness in low-data settings and robustness to label perturbation. Furthermore, we extend previous studies of representation collapse and propose several metrics to quantify it. Using these metrics and previously proposed experiments, we show that our approach obtains significant improvements in retaining the expressive power of representations.
• Abstract（参考訳）: 事前訓練された言語モデルによって学習された微調整された文脈表現は、NLP分野における標準的実践となっている。 しかし、事前訓練された表現は微調整中に劣化しやすく(表現崩壊とも呼ばれる)、不安定性、準最適性能、弱一般化をもたらす。 本稿では,表現の望ましくない変化を回避し,微調整中の表現崩壊を回避する新しい微調整手法を提案する。 提案手法は,13の言語理解タスク(glueベンチマークと6つの追加データセット)にまたがって,既存の正規化ベースの微調整手法の性能に匹敵する,あるいは超えていることを示す。 ラベル摂動に対する低データ設定とロバスト性にも有効であることを示す。 さらに, 表現崩壊の先行研究を拡張し, 定量化のためのいくつかの指標を提案する。 これらの指標と先行する実験を用いて,表現の表現力の保持に重要な改善が得られた。

関連論文リスト

• A Mutually Reinforced Framework for Pretrained Sentence Embeddings [49.297766436632685]
  InfoCSEは高品質な文埋め込みを学習するための新しいフレームワークである。 文表現モデル自体を利用して、以下の反復的な自己スーパービジョンプロセスを実現する。 言い換えれば、表現学習とデータアノテーションは相互に強化され、強い自己超越効果が導出される。
  論文  参考訳（メタデータ） (2022-02-28T14:00:16Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Probing as Quantifying the Inductive Bias of Pre-trained Representations [99.93552997506438]
  本稿では,特定のタスクに対する表現の帰納的バイアスを評価することを目的とした,探索のための新しいフレームワークを提案する。 トークン、アーク、文レベルの一連のタスクに我々のフレームワークを適用します。
  論文  参考訳（メタデータ） (2021-10-15T22:01:16Z)
• Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning [57.4036085386653]
  文ペア分類タスクのプロンプトベースモデルでは,語彙重なりに基づく推論の一般的な落とし穴が依然として残っていることを示す。 そこで,プレトレーニングウェイトを保存する正規化を加えることは,この破壊的な微調整の傾向を緩和するのに有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-09T10:10:29Z)
• Disentangled Contrastive Learning for Learning Robust Textual Representations [13.880693856907037]
  運動量表現一貫性の概念を導入し,特徴を整合させ,一様性に適合しながらパワー正規化を活用する。 NLPベンチマークの実験結果から,本手法はベースラインよりも優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2021-04-11T03:32:49Z)
• Better Fine-Tuning by Reducing Representational Collapse [77.44854918334232]
  既存の訓練済み言語モデルに対するアプローチは不安定であることが示されている。 本稿では,従来使用されていた対数目的をパラメトリックノイズに置き換える信頼領域理論に根ざした手法を提案する。 事前学習されたモデルは、微調整されるたびにより一般化可能な表現を維持している。
  論文  参考訳（メタデータ） (2020-08-06T02:13:16Z)
• Fairness by Learning Orthogonal Disentangled Representations [50.82638766862974]
  不変表現問題に対する新しい非絡み合い手法を提案する。 エントロピーによりセンシティブな情報に依存しない有意義な表現を強制する。 提案手法は5つの公開データセットで評価される。
  論文  参考訳（メタデータ） (2020-03-12T11:09:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。