論文の概要: Task-adaptive Pre-training and Self-training are Complementary for Natural Language Understanding

• arxiv url: http://arxiv.org/abs/2109.06466v1
• Date: Tue, 14 Sep 2021 06:24:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-15 15:42:18.808945
• Title: Task-adaptive Pre-training and Self-training are Complementary for Natural Language Understanding
• Title（参考訳）: タスク適応型事前学習と自己学習は自然言語理解を補完する
• Authors: Shiyang Li, Semih Yavuz, Wenhu Chen, Xifeng Yan
• Abstract要約: タスク教師あり事前学習(TAPT)と自己学習(ST)は、自然言語理解を改善するための主要な半適応的アプローチとして現れている。 TAPT Fine -> Self-training (TFS) プロセスに従うことで,TAPT と ST は単純なプロトコルで補完可能であることを示す。
• 参考スコア（独自算出の注目度）: 27.459759446031192
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Task-adaptive pre-training (TAPT) and Self-training (ST) have emerged as the major semi-supervised approaches to improve natural language understanding (NLU) tasks with massive amount of unlabeled data. However, it's unclear whether they learn similar representations or they can be effectively combined. In this paper, we show that TAPT and ST can be complementary with simple TFS protocol by following TAPT -> Finetuning -> Self-training (TFS) process. Experimental results show that TFS protocol can effectively utilize unlabeled data to achieve strong combined gains consistently across six datasets covering sentiment classification, paraphrase identification, natural language inference, named entity recognition and dialogue slot classification. We investigate various semi-supervised settings and consistently show that gains from TAPT and ST can be strongly additive by following TFS procedure. We hope that TFS could serve as an important semi-supervised baseline for future NLP studies.
• Abstract（参考訳）: タスク適応型事前学習(TAPT)と自己学習(ST)は、膨大な量の未ラベルデータを用いて自然言語理解(NLU)タスクを改善するための主要な半教師付きアプローチとして登場した。 しかし、類似した表現を効果的に組み合わせられるかどうかは不明である。 本稿では,TAPT と ST は,TAPT -> Finetuning -> Self-training (TFS) プロセスに従うことで,単純なTFSプロトコルと補完可能であることを示す。 実験結果から, TFSプロトコルは, 感情分類, パラフレーズ識別, 自然言語推論, 名前付きエンティティ認識, 対話スロット分類を含む6つのデータセットにおいて, ラベル付きデータを効果的に活用し, 強い組み合わせのゲインを得ることができた。 種々の半教師付き設定を調査し,TAPTおよびSTからのゲインがTFS手順に従うことで強く付加可能であることを示す。 TFSが今後のNLP研究の重要な半教師付きベースラインになることを期待しています。

関連論文リスト

• From Question to Exploration: Test-Time Adaptation in Semantic Segmentation? [21.27237423511349]
  テスト時間適応(TTA)は、トレーニングデータに基づいてトレーニングされたモデルを、潜在的な分散シフトを伴うテストデータに適用することを目的としている。 セマンティックセグメンテーションにおける既存の古典的TTA戦略の適用性について検討する。
  論文  参考訳（メタデータ） (2023-10-09T01:59:49Z)
• Rethinking Semi-supervised Learning with Language Models [33.70349754359132]
  半教師付き学習(SSL)は、モデル性能を改善するために非ラベルデータを有効に活用することを目的とした一般的な設定である。 自己学習(ST)とタスク適応事前学習(TAPT)の2つの手法がある。
  論文  参考訳（メタデータ） (2023-05-22T13:07:35Z)
• When do you need Chain-of-Thought Prompting for ChatGPT? [87.45382888430643]
  CoT(Chain-of-Thought)は,大規模言語モデル(LLM)から複雑な多段階推論を効果的に引き出すことができる CoT がChatGPT などの最近の命令微調整 (IFT) LLM に対してまだ有効であるかどうかは不明である。
  論文  参考訳（メタデータ） (2023-04-06T17:47:29Z)
• Revisiting Realistic Test-Time Training: Sequential Inference and Adaptation by Anchored Clustering Regularized Self-Training [37.75537703971045]
  テスト時アンカークラスタリング(TTAC)アプローチを開発し,より強力なテスト時特徴学習を実現する。 自己学習(ST)はラベルのないデータから学ぶ上で大きな成功を収めた。 TTAC++は、5つのTTデータセットの最先端メソッドを一貫して上回る。
  論文  参考訳（メタデータ） (2023-03-20T04:30:18Z)
• M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
  緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。 これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。 提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-09T09:05:47Z)
• Towards Simple and Efficient Task-Adaptive Pre-training for Text Classification [0.7874708385247353]
  TAPTおよびタスク固有の微調整において,埋め込み層のみの学習がモデルの性能に及ぼす影響について検討した。 TAPT中のBERT埋め込み層のみのトレーニングは、ターゲットドメインの語彙に適応し、同等の性能を達成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2022-09-26T18:29:12Z)
• Learning to Win Lottery Tickets in BERT Transfer via Task-agnostic Mask Training [55.43088293183165]
  近年の研究では、BERTのような事前学習言語モデル(PLM)には、元のPLMと同じような変換学習性能を持つマッチングワークが含まれていることが示されている。 本稿では, BERTworksがこれらの研究で示された以上の可能性を秘めていることを示す。 我々は、サブネットワークの普遍的な転送可能性を維持することを目的として、事前学習タスクのモデル重みよりも二項マスクを訓練する。
  論文  参考訳（メタデータ） (2022-04-24T08:42:47Z)
• Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
  ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。 本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
  論文  参考訳（メタデータ） (2021-10-04T08:51:36Z)
• On the Transferability of Pre-trained Language Models: A Study from Artificial Datasets [74.11825654535895]
  大規模未ラベルテキストデータ上での事前学習言語モデル(LM)により、ダウンストリームのパフォーマンスが極めて容易になる。 我々は,事前学習データに含まれる特定の特徴について,セマンティクス以外では,下流タスクのスクラッチからトレーニングしたデータよりも,事前学習したLMを優れているか検討した。
  論文  参考訳（メタデータ） (2021-09-08T10:39:57Z)
• Self-training Improves Pre-training for Natural Language Understanding [63.78927366363178]
  我々は、半教師付き学習を通じてラベルのないデータを活用する別の方法として、自己学習について研究する。 本稿では,ラベル付きデータからタスク固有のクエリの埋め込みを計算するデータ拡張手法であるSentAugmentを紹介する。 我々のアプローチは、標準的なテキスト分類ベンチマークで最大2.6%の改善を達成し、スケーラブルで効果的な自己学習に繋がる。
  論文  参考訳（メタデータ） (2020-10-05T17:52:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。