論文の概要: Representation Projection Invariance Mitigates Representation Collapse

• arxiv url: http://arxiv.org/abs/2205.11603v3
• Date: Tue, 21 Nov 2023 22:23:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 19:30:22.379782
• Title: Representation Projection Invariance Mitigates Representation Collapse
• Title（参考訳）: 表現射影不変性は表現の崩壊を軽減する
• Authors: Anastasia Razdaibiedina, Ashish Khetan, Zohar Karnin, Daniel Khashabi, Vishaal Kapoor, Vivek Madan
• Abstract要約: 事前訓練された言語モデルによって学習された微調整された文脈表現は、表現の崩壊につながる。 本稿では,表現情報量を維持するための新しい正規化手法であるRepresentation Projection Invariance (REPINA)を提案する。 実験の結果,REPINAは表現崩壊の緩和に極めて有効であることが示唆された。
• 参考スコア（独自算出の注目度）: 27.485606184566386
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning contextualized representations learned by pre-trained language models remains a prevalent practice in NLP. However, fine-tuning can lead to representation degradation (also known as representation collapse), which may result in instability, sub-optimal performance, and weak generalization. In this paper, we propose Representation Projection Invariance (REPINA), a novel regularization method to maintain the information content of representation and reduce representation collapse during fine-tuning by discouraging undesirable changes in the representations. We study the empirical behavior of the proposed regularization in comparison to 5 comparable baselines across 13 language understanding tasks (GLUE benchmark and six additional datasets). When evaluating in-domain performance, REPINA consistently outperforms other baselines on most tasks (10 out of 13). We also demonstrate its effectiveness in few-shot settings and robustness to label perturbation. As a by-product, we extend previous studies of representation collapse and propose several metrics to quantify it. Our empirical findings show that our approach is significantly more effective at mitigating representation collapse.
• Abstract（参考訳）: 事前訓練された言語モデルによって学習された微調整された文脈表現は、現在でもNLPにおいて一般的である。 しかし、微調整は表現劣化(表現崩壊とも呼ばれる)を引き起こし、不安定性、準最適性能、弱一般化をもたらす。 本稿では,表現の意図しない変化を回避し,微調整中の表現内容の保持と表現崩壊を低減するための新しい正規化手法であるRepresentation Projection Invariance (REPINA)を提案する。 13言語理解タスク(GLUEベンチマークと6つの追加データセット)にまたがる5つの同等のベースラインと比較して,提案した正規化の実証的挙動について検討した。 ドメイン内のパフォーマンスを評価する場合、REPINAは、ほとんどのタスク(13点中10点)において、他のベースラインよりも一貫して優れています。 また,ラベル摂動に対する数ショット設定の有効性と頑健性を示す。 副産物として,表現の崩壊に関する先行研究を拡張し,定量化のためのいくつかの指標を提案する。 実験結果から,提案手法は表現崩壊の緩和に有効であることが示唆された。

関連論文リスト

• A Mutually Reinforced Framework for Pretrained Sentence Embeddings [49.297766436632685]
  InfoCSEは高品質な文埋め込みを学習するための新しいフレームワークである。 文表現モデル自体を利用して、以下の反復的な自己スーパービジョンプロセスを実現する。 言い換えれば、表現学習とデータアノテーションは相互に強化され、強い自己超越効果が導出される。
  論文  参考訳（メタデータ） (2022-02-28T14:00:16Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Probing as Quantifying the Inductive Bias of Pre-trained Representations [99.93552997506438]
  本稿では,特定のタスクに対する表現の帰納的バイアスを評価することを目的とした,探索のための新しいフレームワークを提案する。 トークン、アーク、文レベルの一連のタスクに我々のフレームワークを適用します。
  論文  参考訳（メタデータ） (2021-10-15T22:01:16Z)
• Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning [57.4036085386653]
  文ペア分類タスクのプロンプトベースモデルでは,語彙重なりに基づく推論の一般的な落とし穴が依然として残っていることを示す。 そこで,プレトレーニングウェイトを保存する正規化を加えることは,この破壊的な微調整の傾向を緩和するのに有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-09T10:10:29Z)
• Disentangled Contrastive Learning for Learning Robust Textual Representations [13.880693856907037]
  運動量表現一貫性の概念を導入し,特徴を整合させ,一様性に適合しながらパワー正規化を活用する。 NLPベンチマークの実験結果から,本手法はベースラインよりも優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2021-04-11T03:32:49Z)
• Better Fine-Tuning by Reducing Representational Collapse [77.44854918334232]
  既存の訓練済み言語モデルに対するアプローチは不安定であることが示されている。 本稿では,従来使用されていた対数目的をパラメトリックノイズに置き換える信頼領域理論に根ざした手法を提案する。 事前学習されたモデルは、微調整されるたびにより一般化可能な表現を維持している。
  論文  参考訳（メタデータ） (2020-08-06T02:13:16Z)
• Fairness by Learning Orthogonal Disentangled Representations [50.82638766862974]
  不変表現問題に対する新しい非絡み合い手法を提案する。 エントロピーによりセンシティブな情報に依存しない有意義な表現を強制する。 提案手法は5つの公開データセットで評価される。
  論文  参考訳（メタデータ） (2020-03-12T11:09:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。