論文の概要: NoisyTune: A Little Noise Can Help You Finetune Pretrained Language Models Better

• arxiv url: http://arxiv.org/abs/2202.12024v1
• Date: Thu, 24 Feb 2022 11:08:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-02-26 00:00:04.268746
• Title: NoisyTune: A Little Noise Can Help You Finetune Pretrained Language Models Better
• Title（参考訳）: NoisyTune: トレーニング済みの言語モデルを改善するための小さなノイズ
• Authors: Chuhan Wu, Fangzhao Wu, Tao Qi, Yongfeng Huang, Xing Xie
• Abstract要約: 訓練済み言語モデル(PLM)の微調整は、下流タスクの成功に不可欠である。 PLMは、事前訓練の信号に過度に適合する危険性があり、下流のタスクと事前訓練のタスクの間にはギャップがある。 NoisyTuneは、微調整前にPLMのパラメータにいくつかのノイズを加えることで、下流タスクにおけるPLMの微調整を支援する。
• 参考スコア（独自算出の注目度）: 98.5705258907774
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Effectively finetuning pretrained language models (PLMs) is critical for their success in downstream tasks. However, PLMs may have risks in overfitting pretraining signals, and there are some gaps between downstream tasks and the pretraining tasks. It can be difficult for vanilla finetuning methods to overcome the barrier between pretraining and downstream tasks, which leads to suboptimal performance. In this paper, we propose a very simple yet effective method named NoisyTune which can help better finetune PLMs in downstream tasks by adding some noise to the parameters of PLMs before finetuning. More specifically, we propose a matrix-wise perturbing method by adding different uniform noises according to the standard deviations of different parameter matrices, which can consider the varied characteristics of different types of parameters in PLMs. Extensive experiments on the GLUE English benchmark and the XTREME multilingual benchmark show that NoisyTune can consistently improve the performance of different PLMs in many downstream tasks.
• Abstract（参考訳）: 訓練済み言語モデル(PLM)を効果的に微調整することは、下流タスクの成功に不可欠である。 しかしながら、PLMは事前訓練の信号に過度に適合するリスクがあり、下流タスクと事前訓練タスクの間にはいくつかのギャップがある。 バニラ微調整法では、事前トレーニングと下流タスクの障壁を克服することが難しくなり、最適化性能が低下する可能性がある。 本稿では,plmのパラメータにノイズを加えることで,下流タスクにおけるplmの微調整を改善するための,非常に単純かつ効果的な手法を提案する。 より具体的には,各パラメータの標準偏差に応じて異なる一様ノイズを付加することにより,plmにおける異なるパラメータの異なる特性を考察できる行列回り摂動法を提案する。 GLUE EnglishベンチマークとXTREME Multilingualベンチマークの大規模な実験は、NoisyTuneが多くの下流タスクにおいて異なるPLMの性能を一貫して改善できることを示している。

関連論文リスト

• Towards Robust Low-Resource Fine-Tuning with Multi-View Compressed Representations [51.75960511842552]
  事前訓練された言語モデル(PLM)の微調整は、低リソースのシナリオで過度に適合する傾向がある。 オーバーフィッティングを減らすために,PLMの隠れ表現を利用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-11-16T09:39:29Z)
• ADEPT: A DEbiasing PrompT Framework [49.582497203415855]
  ファインタニングは文脈化された単語の埋め込みを曖昧にするための応用手法である。 意味的な意味を持つ個別のプロンプトは、タスクを乱すのに有効であることが示されている。 本稿では, PLM をデバイアス化する方法であるADEPT を提案し, バイアス除去と表現能力の確保の微妙なバランスを維持しながら, 即時チューニングによる PLM のデバイアス化手法を提案する。
  論文  参考訳（メタデータ） (2022-11-10T08:41:40Z)
• PATS: Sensitivity-aware Noisy Learning for Pretrained Language Models [29.140036130469042]
  本稿では、下流タスクにおける各パラメータの重要性を考慮に入れたノイズの多いトレーニングメカニズムであるPATS(Perturbation Based To Sensitivity)を提案する。 GLUEベンチマークの異なるタスクで実施された実験は、PATSがPLMの異なるサイズの微調整を一貫して強化できることを示している。
  論文  参考訳（メタデータ） (2022-10-22T10:05:14Z)
• Pruning Pre-trained Language Models Without Fine-Tuning [42.54071630668426]
  PLMを下流タスクに収束させるのに1次プルーニングは十分であるので、ファインチューニングは1次プルーニングには冗長である、と我々は主張する。 そこで本研究では,SMP(Static Model Pruning)を提案する。これは1次プルーニングのみを用いて,目的の空間レベルを達成しつつ,PLMを下流タスクに適応させる。
  論文  参考訳（メタデータ） (2022-10-12T13:58:38Z)
• Prompt Tuning for Discriminative Pre-trained Language Models [96.04765512463415]
  最近の研究は、自然言語処理(NLP)タスクに事前訓練言語モデル(PLM)を刺激する際の迅速なチューニングの有望な結果を示している。 ELECTRAのような差別的なPLMが、いかに効果的に迅速なチューニングが可能かは、まだ不明である。 DPTは,NLPタスクを識別言語モデリング問題に書き換える,識別型PLMの最初のプロンプトチューニングフレームワークである。
  論文  参考訳（メタデータ） (2022-05-23T10:11:50Z)
• Task-guided Disentangled Tuning for Pretrained Language Models [16.429787408467703]
  本稿では,事前学習型言語モデル(PLM)のためのタスク誘導型ディスタングル型チューニング(TDT)を提案する。 TDTは、タスク関連信号を絡み合った表現から切り離すことにより、表現の一般化を強化する。 GLUE と CLUE のベンチマークによる実験結果から,TDT は異なる PLM を用いた微調整よりも一貫した結果が得られた。
  論文  参考訳（メタデータ） (2022-03-22T03:11:39Z)
• Cutting Down on Prompts and Parameters: Simple Few-Shot Learning with Language Models [48.0311578882384]
  訓練例やタスク記述を伴う微調整言語モデル(LM)は、最近の数発の学習の成功に欠かせないものと見なされている。 数ショット設定で微調整されたLMは、迅速なエンジニアリングの必要性を著しく低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-24T23:38:10Z)
• CSS-LM: A Contrastive Framework for Semi-supervised Fine-tuning of Pre-trained Language Models [59.49705076369856]
  プレトレーニング言語モデル(PLM)の微調整フェーズを改善するための新しいフレームワークを提案する。 大規模未ラベルコーパスから,タスクに対するドメインレベルおよびクラスレベルの意味的関連性に応じて,正および負のインスタンスを検索する。 次に、検索したラベル付きおよびオリジナルラベル付きの両方のインスタンスに対して、対照的な半教師付き学習を行い、PLMが重要なタスク関連セマンティックな特徴をキャプチャするのを助ける。
  論文  参考訳（メタデータ） (2021-02-07T09:27:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。