論文の概要: Task-adaptive Pre-training of Language Models with Word Embedding Regularization

• arxiv url: http://arxiv.org/abs/2109.08354v1
• Date: Fri, 17 Sep 2021 05:26:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-20 22:47:41.764867
• Title: Task-adaptive Pre-training of Language Models with Word Embedding Regularization
• Title（参考訳）: 正規化を組み込んだ言語モデルのタスク適応型事前学習
• Authors: Kosuke Nishida, Kyosuke Nishida, Sen Yoshida
• Abstract要約: 事前学習言語モデル(PTLM)は、大量のテキストリソースを用いた事前学習を通じて、ドメインに依存しない言語知識を取得する。 追加の事前学習は、事前学習コーパスによって十分にカバーされていない領域にPTLMを適用するのに効果的である。 単語埋め込み正規化によるタスク適応型事前学習(TAPTER)を提案する。
• 参考スコア（独自算出の注目度）: 5.531249998383388
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained language models (PTLMs) acquire domain-independent linguistic knowledge through pre-training with massive textual resources. Additional pre-training is effective in adapting PTLMs to domains that are not well covered by the pre-training corpora. Here, we focus on the static word embeddings of PTLMs for domain adaptation to teach PTLMs domain-specific meanings of words. We propose a novel fine-tuning process: task-adaptive pre-training with word embedding regularization (TAPTER). TAPTER runs additional pre-training by making the static word embeddings of a PTLM close to the word embeddings obtained in the target domain with fastText. TAPTER requires no additional corpus except for the training data of the downstream task. We confirmed that TAPTER improves the performance of the standard fine-tuning and the task-adaptive pre-training on BioASQ (question answering in the biomedical domain) and on SQuAD (the Wikipedia domain) when their pre-training corpora were not dominated by in-domain data.
• Abstract（参考訳）: 事前学習言語モデル(PTLM)は、大量のテキストリソースを用いた事前学習を通じて、ドメインに依存しない言語知識を取得する。 さらなる事前訓練は、事前訓練されたコーパスでカバーされていない領域にptlmを適用するのに有効である。 本稿では,ドメイン適応のためのPTLMの静的単語埋め込みに着目し,ドメイン固有の単語の意味を教える。 本稿では,単語埋め込み規則付きタスク適応型事前学習(TAPTER)を提案する。 TAPTERは、ターゲットドメインで取得した単語埋め込みに近いPTLMの静的単語埋め込みをfastTextで実行することにより、追加の事前トレーニングを実行する。 TAPTERは下流タスクのトレーニングデータを除いて追加のコーパスを必要としない。 我々は,TAPTERが標準微調整とBioASQ(バイオメディカルドメインでの質問応答)およびSQuAD(ウィキペディアドメイン)におけるタスク適応型事前学習の性能を向上させることを確認した。

関連論文リスト

• Improving Domain Adaptation through Extended-Text Reading Comprehension [108.24709810480654]
  最近の研究は、適応型パターンによってフォーマットされた理解データを読み取るモデルが、ドメイン固有のタスクのパフォーマンスを大幅に改善できることを実証している。 しかし、これらのパターンはドメイン固有の知識を用いて生のコーパスを解析することができない。 AdaptLLMと比較して、ドメイン固有のタスクで5%以上の改善を実現している。
  論文  参考訳（メタデータ） (2024-01-14T13:11:31Z)
• AdaSent: Efficient Domain-Adapted Sentence Embeddings for Few-Shot Classification [53.84663977283108]
  事前学習文(SEs)に基づく文章分類は効率的で堅牢で効果的である。 本稿では, DAPT から SEPT を分離する AdaSent を提案する。 AdaSent は DAPT による PLM 上での完全 SEPT の性能にマッチするか、上回るが、トレーニングコストは大幅に削減される。
  論文  参考訳（メタデータ） (2023-11-01T10:00:15Z)
• Towards Simple and Efficient Task-Adaptive Pre-training for Text Classification [0.7874708385247353]
  TAPTおよびタスク固有の微調整において,埋め込み層のみの学習がモデルの性能に及ぼす影響について検討した。 TAPT中のBERT埋め込み層のみのトレーニングは、ターゲットドメインの語彙に適応し、同等の性能を達成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2022-09-26T18:29:12Z)
• KALA: Knowledge-Augmented Language Model Adaptation [65.92457495576141]
  プレトレーニング言語モデル(PLM)のための新しいドメイン適応フレームワークを提案する。 知識拡張言語モデル適応(英: Knowledge-Augmented Language Model Adaptation, KALA)は、PLMの中間的隠れ表現をドメイン知識で修飾する。 計算効率は高いが,我々のKALAは適応型事前学習よりも優れていた。
  論文  参考訳（メタデータ） (2022-04-22T08:11:59Z)
• Domain-oriented Language Pre-training with Adaptive Hybrid Masking and Optimal Transport Alignment [43.874781718934486]
  我々は、異なるアプリケーションドメインに対して事前訓練された言語モデルを適用するための一般的なドメイン指向のアプローチを提供する。 フレーズ知識を効果的に保存するために,補助訓練ツールとしてドメインフレーズプールを構築した。 我々はクロスエンティティアライメントを導入し、エンティティアライメントを弱い監督力として活用し、事前訓練されたモデルのセマンティックラーニングを強化する。
  論文  参考訳（メタデータ） (2021-12-01T15:47:01Z)
• Back-Translated Task Adaptive Pretraining: Improving Accuracy and Robustness on Text Classification [5.420446976940825]
  本稿では, LM再学習のためのタスク固有データ量を増加させるBT-TAPT法を提案する。 実験結果から,BT-TAPTは従来の適応型事前学習法よりも低リソースデータと高リソースデータの両方の分類精度が向上し,ノイズに対する堅牢性が向上することがわかった。
  論文  参考訳（メタデータ） (2021-07-22T06:27:35Z)
• Domain Adversarial Fine-Tuning as an Effective Regularizer [80.14528207465412]
  自然言語処理(NLP)では、下流タスクに転送される事前訓練された言語モデル(LM)が、最先端の結果を得るために最近示されている。 標準的な微調整は、事前トレーニング中にキャプチャされた汎用ドメイン表現を分解することができる。 本稿では,新しい正規化手法である After; 有効正規化器としてのドメイン・アダクショナル・ファイン・チューニングを提案する。
  論文  参考訳（メタデータ） (2020-09-28T14:35:06Z)
• Feature Adaptation of Pre-Trained Language Models across Languages and Domains with Robust Self-Training [47.12438995938133]
  我々は、訓練済み言語モデル(PrLM)を微調整なしで新しいドメインに適用する。 PrLMから識別的特徴を学習するために,クラス認識型自己蒸留(CFd)を提案する。 2つの単言語および多言語Amazonレビューデータセットの実験は、CFdが継続的に自己学習のパフォーマンスを改善することができることを示している。
  論文  参考訳（メタデータ） (2020-09-24T08:04:37Z)
• Don't Stop Pretraining: Adapt Language Models to Domains and Tasks [81.99843216550306]
  バイオメディカルおよびコンピュータサイエンスの出版物、ニュース、レビュー)と8つの分類タスクについて調査する。 ドメイン内の事前トレーニング(ドメイン適応型事前トレーニング)の第2フェーズでは、パフォーマンスが向上する。 タスクの未ラベルデータ(タスク適応事前トレーニング)に適応することで、ドメイン適応事前トレーニング後のパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-04-23T04:21:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。