論文の概要: Don't Stop Pretraining: Adapt Language Models to Domains and Tasks

• arxiv url: http://arxiv.org/abs/2004.10964v3
• Date: Tue, 5 May 2020 22:00:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-10 08:52:01.101734
• Title: Don't Stop Pretraining: Adapt Language Models to Domains and Tasks
• Title（参考訳）: 事前トレーニングをやめるな - ドメインとタスクに言語モデルを適用する
• Authors: Suchin Gururangan, Ana Marasovi\'c, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, Noah A. Smith
• Abstract要約: バイオメディカルおよびコンピュータサイエンスの出版物、ニュース、レビュー)と8つの分類タスクについて調査する。 ドメイン内の事前トレーニング(ドメイン適応型事前トレーニング)の第2フェーズでは、パフォーマンスが向上する。 タスクの未ラベルデータ(タスク適応事前トレーニング)に適応することで、ドメイン適応事前トレーニング後のパフォーマンスが向上する。
• 参考スコア（独自算出の注目度）: 81.99843216550306
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models pretrained on text from a wide variety of sources form the foundation of today's NLP. In light of the success of these broad-coverage models, we investigate whether it is still helpful to tailor a pretrained model to the domain of a target task. We present a study across four domains (biomedical and computer science publications, news, and reviews) and eight classification tasks, showing that a second phase of pretraining in-domain (domain-adaptive pretraining) leads to performance gains, under both high- and low-resource settings. Moreover, adapting to the task's unlabeled data (task-adaptive pretraining) improves performance even after domain-adaptive pretraining. Finally, we show that adapting to a task corpus augmented using simple data selection strategies is an effective alternative, especially when resources for domain-adaptive pretraining might be unavailable. Overall, we consistently find that multi-phase adaptive pretraining offers large gains in task performance.
• Abstract（参考訳）: 様々な情報源からテキストで事前訓練された言語モデルは、今日のNLPの基礎を形成する。 これらの広範囲にわたるモデルの成功を踏まえて,事前学習したモデルを対象タスクの領域に合わせることが依然として有効であるか検討する。 生物・コンピュータ科学の出版物・ニュース・レビュー)と8つの分類課題について,ドメイン内事前学習(ドメイン適応型事前学習)の第2段階が,高・低リソース環境下での性能向上につながることを示す。 さらに、タスクのラベルなしデータ(タスク適応プレトレーニング)への適応は、ドメイン適応プレトレーニング後もパフォーマンスが向上する。 最後に、単純なデータ選択戦略を用いて強化されたタスクコーパスへの適応は、特にドメイン適応型事前学習のためのリソースが利用できない場合に有効であることを示す。 全体としては、多相適応事前学習はタスク性能に大きな利益をもたらすことが一貫して見出される。

関連論文リスト

• Towards Simple and Efficient Task-Adaptive Pre-training for Text Classification [0.7874708385247353]
  TAPTおよびタスク固有の微調整において,埋め込み層のみの学習がモデルの性能に及ぼす影響について検討した。 TAPT中のBERT埋め込み層のみのトレーニングは、ターゲットドメインの語彙に適応し、同等の性能を達成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2022-09-26T18:29:12Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• Efficient Domain Adaptation of Language Models via Adaptive Tokenization [5.058301279065432]
  ドメイン固有のサブワードシーケンスは,ベースおよびドメイン固有のコーパスの条件付きトークン分布の分岐から,直接的に決定可能であることを示す。 我々の手法は、トークン化器の強化を用いた他の手法よりも、より小さなモデルで、トレーニングや推論の時間が少なくなります。
  論文  参考訳（メタデータ） (2021-09-15T17:51:27Z)
• Should We Be Pre-training? An Argument for End-task Aware Training as an Alternative [88.11465517304515]
  一般に、事前学習のステップは、モデルを微調整するタスクについて、ほとんど、あるいは全く直接の知識に依存しない。 エンドタスクと補助目的をマルチタスクすることで、ダウンストリームタスクのパフォーマンスが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2021-09-15T17:13:18Z)
• Back-Translated Task Adaptive Pretraining: Improving Accuracy and Robustness on Text Classification [5.420446976940825]
  本稿では, LM再学習のためのタスク固有データ量を増加させるBT-TAPT法を提案する。 実験結果から,BT-TAPTは従来の適応型事前学習法よりも低リソースデータと高リソースデータの両方の分類精度が向上し,ノイズに対する堅牢性が向上することがわかった。
  論文  参考訳（メタデータ） (2021-07-22T06:27:35Z)
• Adapt-and-Distill: Developing Small, Fast and Effective Pretrained Language Models for Domains [45.07506437436464]
  本稿では、特定のドメインに対して、小型で高速かつ効果的に事前訓練されたモデルを開発するための一般的なアプローチを提案する。 これは、既成の一般訓練モデルに適応し、ターゲットドメインでタスク非依存の知識蒸留を行うことによって達成される。
  論文  参考訳（メタデータ） (2021-06-25T07:37:05Z)
• CUPID: Adaptive Curation of Pre-training Data for Video-and-Language Representation Learning [49.18591896085498]
  ソースデータとターゲットデータのドメインギャップを埋めるCUPIDを提案します。 CUPIDは、複数のビデオ言語およびビデオタスクにまたがる最新のパフォーマンスを提供します。
  論文  参考訳（メタデータ） (2021-04-01T06:42:16Z)
• AdaptSum: Towards Low-Resource Domain Adaptation for Abstractive Summarization [43.024669990477214]
  低リソース環境下における6つの多様な対象領域の抽象的要約タスクに対する領域適応の検討について述べる。 実験により,事前学習の有効性は,事前学習データと対象領域タスクの類似度と相関することが示された。
  論文  参考訳（メタデータ） (2021-03-21T08:12:19Z)
• Train No Evil: Selective Masking for Task-Guided Pre-Training [97.03615486457065]
  一般的な事前学習と微調整の間を選択的にマスキングするタスク誘導事前学習段階を付加した3段階のフレームワークを提案する。 提案手法は,50%未満のコストで同等あるいはさらに優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-04-21T03:14:22Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。