論文の概要: Fine-Tuning Pre-trained Language Model with Weak Supervision: A
Contrastive-Regularized Self-Training Approach
- arxiv url: http://arxiv.org/abs/2010.07835v3
- Date: Wed, 31 Mar 2021 02:25:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 02:58:18.827781
- Title: Fine-Tuning Pre-trained Language Model with Weak Supervision: A
Contrastive-Regularized Self-Training Approach
- Title(参考訳): 弱い監督を伴う微調整事前学習言語モデル--対照規則化自己学習アプローチ
- Authors: Yue Yu, Simiao Zuo, Haoming Jiang, Wendi Ren, Tuo Zhao and Chao Zhang
- Abstract要約: 微調整事前訓練言語モデル(LM)は多くの自然言語処理(NLP)タスクで大きな成功を収めた。
ラベル付きデータなしで、弱い監督のみを用いて、微調整済みのLMの問題について検討する。
我々は、微調整型LMを低監督で実現するために、対照的な自己学習フレームワークであるCOSINEを開発した。
- 参考スコア(独自算出の注目度): 46.76317056976196
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Fine-tuned pre-trained language models (LMs) have achieved enormous success
in many natural language processing (NLP) tasks, but they still require
excessive labeled data in the fine-tuning stage. We study the problem of
fine-tuning pre-trained LMs using only weak supervision, without any labeled
data. This problem is challenging because the high capacity of LMs makes them
prone to overfitting the noisy labels generated by weak supervision. To address
this problem, we develop a contrastive self-training framework, COSINE, to
enable fine-tuning LMs with weak supervision. Underpinned by contrastive
regularization and confidence-based reweighting, this contrastive self-training
framework can gradually improve model fitting while effectively suppressing
error propagation. Experiments on sequence, token, and sentence pair
classification tasks show that our model outperforms the strongest baseline by
large margins on 7 benchmarks in 6 tasks, and achieves competitive performance
with fully-supervised fine-tuning methods.
- Abstract(参考訳): 微調整事前学習言語モデル(LM)は多くの自然言語処理(NLP)タスクで大きな成功を収めているが、細調整段階では過剰なラベル付きデータを必要とする。
ラベル付きデータなしで、弱い監督のみを用いて、微調整済みのLMの問題を研究する。
lmsのキャパシティが高いため、弱い監督によって発生するノイズのラベルをオーバーフィットしやすいため、この問題は困難である。
この問題に対処するため、我々は、監督の弱い微調整LMを実現するために、対照的な自己学習フレームワークであるCOSINEを開発した。
コントラスト正則化と信頼度に基づく再重み付けにより、このコントラスト自己訓練フレームワークは、エラー伝播を効果的に抑制しながら、徐々にモデルの適合性を向上させることができる。
シーケンス,トークン,文ペア分類タスクの実験により,我々のモデルは6つのタスクの7つのベンチマークにおいて,大きなマージンで最強のベースラインを達成し,完全教師付き微調整手法による競合性能を実現する。
関連論文リスト
- Estimating Fr\'echet bounds for validating programmatic weak supervision [50.13475056199486]
我々は、ある変数が連続的に評価される(おそらく高次元の)分布クラス上のFr'echeの境界を推定する手法を開発する。
プログラム弱監督(PWS)を訓練した機械学習(ML)モデルの性能を評価することで,アルゴリズムの有用性を実証する。
論文 参考訳(メタデータ) (2023-12-07T07:15:11Z) - Uncertainty-aware Parameter-Efficient Self-training for Semi-supervised
Language Understanding [38.11411155621616]
我々は,主に半教師あり学習の手法として,自己学習について研究している。
我々は,新しい不確かさを意識した自己学習フレームワークであるUPETを紹介する。
UPETは性能と効率の面で大幅に向上したことを示す。
論文 参考訳(メタデータ) (2023-10-19T02:18:29Z) - Entailment as Robust Self-Learner [14.86757876218415]
我々は、複数の異なるNLUタスクを文脈的エンターテイメントとして定式化するプロンプト戦略を設計する。
自己学習における擬似ラベル品質向上のための簡易擬似ラベル編集(SimPLE)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-05-26T18:41:23Z) - Model-tuning Via Prompts Makes NLP Models Adversarially Robust [97.02353907677703]
Model-tuning Via Prompts (MVP) による対向的ロバスト性の評価
MVPは、標準的な方法よりも平均8%の性能向上を実現している。
また,これらの利得の基盤となるメカニズムの解明も行なっている。
論文 参考訳(メタデータ) (2023-03-13T17:41:57Z) - Revisiting Pretraining for Semi-Supervised Learning in the Low-Label
Regime [15.863530936691157]
半教師付き学習(SSL)は、擬似ラベル付けによって大きなラベル付きデータを活用することでラベル付きデータの欠如に対処する。
近年の研究では、訓練済み重量の微調整(FT)をSSLと組み合わせて課題を緩和し、低ラベル体制においてより優れた結果を主張している。
論文 参考訳(メタデータ) (2022-05-06T03:53:25Z) - When Does Contrastive Learning Preserve Adversarial Robustness from
Pretraining to Finetuning? [99.4914671654374]
本稿では,新しい逆比較事前学習フレームワークAdvCLを提案する。
本稿では,AdvCLがモデル精度と微調整効率を損なうことなく,タスク間の堅牢性伝達性を向上できることを示す。
論文 参考訳(メタデータ) (2021-11-01T17:59:43Z) - NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task
Models [54.184609286094044]
補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。
提案手法は,従来の微調整モデルと比較して平均55%改善した。
論文 参考訳(メタデータ) (2021-08-29T06:58:28Z) - Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。
我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
論文 参考訳(メタデータ) (2020-10-26T04:44:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。