論文の概要: Back-Translated Task Adaptive Pretraining: Improving Accuracy and Robustness on Text Classification

• arxiv url: http://arxiv.org/abs/2107.10474v1
• Date: Thu, 22 Jul 2021 06:27:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-23 12:59:45.367713
• Title: Back-Translated Task Adaptive Pretraining: Improving Accuracy and Robustness on Text Classification
• Title（参考訳）: back-tranulated task adaptive pretraining: improved accuracy and robustness on text classification
• Authors: Junghoon Lee, Jounghee Kim, Pilsung Kang
• Abstract要約: 本稿では, LM再学習のためのタスク固有データ量を増加させるBT-TAPT法を提案する。 実験結果から,BT-TAPTは従来の適応型事前学習法よりも低リソースデータと高リソースデータの両方の分類精度が向上し,ノイズに対する堅牢性が向上することがわかった。
• 参考スコア（独自算出の注目度）: 5.420446976940825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models (LMs) pretrained on a large text corpus and fine-tuned on a downstream text corpus and fine-tuned on a downstream task becomes a de facto training strategy for several natural language processing (NLP) tasks. Recently, an adaptive pretraining method retraining the pretrained language model with task-relevant data has shown significant performance improvements. However, current adaptive pretraining methods suffer from underfitting on the task distribution owing to a relatively small amount of data to re-pretrain the LM. To completely use the concept of adaptive pretraining, we propose a back-translated task-adaptive pretraining (BT-TAPT) method that increases the amount of task-specific data for LM re-pretraining by augmenting the task data using back-translation to generalize the LM to the target task domain. The experimental results show that the proposed BT-TAPT yields improved classification accuracy on both low- and high-resource data and better robustness to noise than the conventional adaptive pretraining method.
• Abstract（参考訳）: 大きなテキストコーパスで事前学習され、下流のテキストコーパスで微調整され、下流のタスクで微調整された言語モデル(lms)は、いくつかの自然言語処理(nlp)タスクのデファクトトレーニング戦略となる。 近年,タスク関連データを用いた事前学習型言語モデルの適応型事前学習手法により,性能が大幅に向上した。 しかし,現在の適応型事前学習法は,比較的少ないデータ量でタスク分布の過小評価に悩まされている。 適応型事前学習の概念を完全に活用するため,本手法では,タスクデータをバックトランスレーションを用いて拡張し,タスクを対象のタスク領域に一般化することにより,LM再学習のためのタスク固有データ量を増やす。 実験結果から,BT-TAPTは従来の適応型事前学習法よりも低リソースデータと高リソースデータの分類精度が向上し,ノイズに対する堅牢性が向上することがわかった。

関連論文リスト

• Data Adaptive Traceback for Vision-Language Foundation Models in Image Classification [34.37262622415682]
  我々はData Adaptive Tracebackと呼ばれる新しい適応フレームワークを提案する。 具体的には、ゼロショット法を用いて、事前学習データの最もダウンストリームなタスク関連サブセットを抽出する。 我々は、擬似ラベルに基づく半教師付き手法を採用し、事前学習画像の再利用と、半教師付き学習における確証バイアス問題に対処するための視覚言語コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-07-11T18:01:58Z)
• How Many Pretraining Tasks Are Needed for In-Context Learning of Linear Regression? [92.90857135952231]
  様々なタスクで事前訓練されたトランスフォーマーは、顕著なインコンテキスト学習(ICL)能力を示す。 線形回帰のための線形パラメータ化単一層線形アテンションモデルの事前学習を行う。
  論文  参考訳（メタデータ） (2023-10-12T15:01:43Z)
• SPDF: Sparse Pre-training and Dense Fine-tuning for Large Language Models [4.114555639014612]
  本研究は,非構造的重み空間を用いて,事前訓練中にのみ重みのサブセットを訓練する利点を示す。 我々は1.3Bパラメータ GPT-3 XL モデルに最大75%の間隔を誘導できることを示す。
  論文  参考訳（メタデータ） (2023-03-18T17:56:01Z)
• Towards Simple and Efficient Task-Adaptive Pre-training for Text Classification [0.7874708385247353]
  TAPTおよびタスク固有の微調整において,埋め込み層のみの学習がモデルの性能に及ぼす影響について検討した。 TAPT中のBERT埋め込み層のみのトレーニングは、ターゲットドメインの語彙に適応し、同等の性能を達成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2022-09-26T18:29:12Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• Curriculum-Based Self-Training Makes Better Few-Shot Learners for Data-to-Text Generation [56.98033565736974]
  テキスト生成の困難さによって決定される並べ替え順序でラベルのないデータを活用するために,カリキュラムベースの自己学習(CBST)を提案する。 提案手法は、微調整およびタスク適応型事前学習法より優れており、データ・テキスト・ジェネレーションのわずかな設定で最先端の性能を実現することができる。
  論文  参考訳（メタデータ） (2022-06-06T16:11:58Z)
• Improving Neural Machine Translation by Denoising Training [95.96569884410137]
  本稿では,ニューラルネットワーク翻訳のためのトレーニングDoTの簡易かつ効果的な事前学習戦略を提案する。 モデルパラメータを、初期段階のソースおよびターゲットサイドのDenoisingタスクで更新し、正常にモデルをチューニングします。 実験によると、DoTは12のバイリンガルと16の多言語方向にわたるニューラルマシン翻訳性能を一貫して改善している。
  論文  参考訳（メタデータ） (2022-01-19T00:11:38Z)
• Bayesian Active Learning with Pretrained Language Models [9.161353418331245]
  Active Learning (AL)は、ラベルなしデータのプールからアノテーションのためのデータを反復的に選択する手法である。 以前のALアプローチは、イテレーションごとにゼロからトレーニングされるタスク固有のモデルに制限されている。 BALM;Bayesian Active Learning with pretrained language modelを紹介します。
  論文  参考訳（メタデータ） (2021-04-16T19:07:31Z)
• Don't Stop Pretraining: Adapt Language Models to Domains and Tasks [81.99843216550306]
  バイオメディカルおよびコンピュータサイエンスの出版物、ニュース、レビュー)と8つの分類タスクについて調査する。 ドメイン内の事前トレーニング(ドメイン適応型事前トレーニング)の第2フェーズでは、パフォーマンスが向上する。 タスクの未ラベルデータ(タスク適応事前トレーニング)に適応することで、ドメイン適応事前トレーニング後のパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-04-23T04:21:19Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。