論文の概要: Improving Language Plasticity via Pretraining with Active Forgetting

• arxiv url: http://arxiv.org/abs/2307.01163v3
• Date: Fri, 12 Jan 2024 12:01:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-15 21:44:23.638881
• Title: Improving Language Plasticity via Pretraining with Active Forgetting
• Title（参考訳）: アクティブフォーミングによる事前学習による言語可塑性の向上
• Authors: Yihong Chen, Kelly Marchisio, Roberta Raileanu, David Ifeoluwa Adelani, Pontus Stenetorp, Sebastian Riedel, Mikel Artetxe
• Abstract要約: 本稿では,新しい言語に迅速に適応可能な PLM を作成する簡単な方法として,事前学習中に能動的に忘れる機構を提案する。 RoBERTaを用いた実験では、忘れるメカニズムで事前訓練されたモデルは、言語適応中により高速な収束を示す。
• 参考スコア（独自算出の注目度）: 63.36484652568976
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretrained language models (PLMs) are today the primary model for natural language processing. Despite their impressive downstream performance, it can be difficult to apply PLMs to new languages, a barrier to making their capabilities universally accessible. While prior work has shown it possible to address this issue by learning a new embedding layer for the new language, doing so is both data and compute inefficient. We propose to use an active forgetting mechanism during pretraining, as a simple way of creating PLMs that can quickly adapt to new languages. Concretely, by resetting the embedding layer every K updates during pretraining, we encourage the PLM to improve its ability of learning new embeddings within a limited number of updates, similar to a meta-learning effect. Experiments with RoBERTa show that models pretrained with our forgetting mechanism not only demonstrate faster convergence during language adaptation but also outperform standard ones in a low-data regime, particularly for languages that are distant from English.
• Abstract（参考訳）: プリトレーニング言語モデル(plm)は現在、自然言語処理の主要なモデルである。 ダウンストリームのパフォーマンスは印象的なものですが、新しい言語にplmを適用するのは困難です。 以前の作業では、新しい言語用の新しい埋め込みレイヤを学ぶことでこの問題に対処できることが示されているが、データと計算非効率の両方がそうである。 本稿では,新しい言語に迅速に適応できるPLMの作成方法として,事前学習中に能動的に忘れる機構を提案する。 具体的には、プレトレーニング中のK更新毎に埋め込み層をリセットすることで、メタ学習効果と同様に、限られた数の更新で新しい埋め込みを学習する能力を改善することをPLMに推奨する。 RoBERTaを用いた実験では、言語適応の高速化だけでなく、特に英語から離れた言語において、低データ方式の標準モデルよりも優れていることが示されている。

関連論文リスト

• Exploring Pretraining via Active Forgetting for Improving Cross Lingual Transfer for Decoder Language Models [7.998168689120558]
  大規模言語モデル(LLM)は、多数のNLPタスクにおいて例外的な機能を示す。 英語以外の言語に対するそのようなモデルの有効性は制限されることが多い。 能動的忘れを前提としたLLMは,新しい言語や目に見えない言語に適応する上で非常に有効であることを示す。
  論文  参考訳（メタデータ） (2024-10-21T16:33:16Z)
• InstructionCP: A fast approach to transfer Large Language Models into target language [55.2480439325792]
  InsCPは命令タグをCPプロセスに統合し、新しい言語を習得する際の会話能力の喪失を防ぐ。 実験の結果,InsCPは人間のフィードバック能力から会話と強化学習を維持していることがわかった。 このアプローチでは、高品質な命令追従データを0.1億トークンしか必要とせず、それによってリソース消費が減少する。
  論文  参考訳（メタデータ） (2024-05-30T15:45:13Z)
• Efficiently Adapting Pretrained Language Models To New Languages [9.33333013114014]
  近年の大規模言語モデル (LLM) は低リソース言語に準最適性能を示す。 我々は,既存の学習済みLLMをこれらの問題に対処することなく,新しい言語に効率的に適応する方法について検討する。
  論文  参考訳（メタデータ） (2023-11-09T20:59:08Z)
• LERT: A Linguistically-motivated Pre-trained Language Model [67.65651497173998]
  本稿では,3種類の言語特徴を学習する事前学習型言語モデルLERTを提案する。 我々は,中国における10のNLUタスクについて広範な実験を行い,LERTが大きな改善をもたらすことを示す実験結果を得た。
  論文  参考訳（メタデータ） (2022-11-10T05:09:16Z)
• AfroLM: A Self-Active Learning-based Multilingual Pretrained Language Model for 23 African Languages [0.021987601456703476]
  AfroLMは、23のアフリカ語でスクラッチから事前訓練された多言語言語モデルである。 AfroLMは、既存のベースラインよりも小さいデータセット14xで事前訓練される。 様々な領域にまたがってうまく一般化することができる。
  論文  参考訳（メタデータ） (2022-11-07T02:15:25Z)
• Continual Learning in Multilingual NMT via Language-Specific Embeddings [92.91823064720232]
  共有語彙を小さな言語固有の語彙に置き換え、新しい言語の並列データに新しい埋め込みを微調整する。 元のモデルのパラメータは変更されていないため、初期言語の性能は劣化しない。
  論文  参考訳（メタデータ） (2021-10-20T10:38:57Z)
• Cross-lingual Transferring of Pre-trained Contextualized Language Models [73.97131976850424]
  本稿では,PRLMのための新しい言語間モデル転送フレームワークTreLMを提案する。 シンボルの順序と言語間のシーケンス長の差に対処するため,中間的なTRILayer構造を提案する。 提案手法は,スクラッチから学習した言語モデルに対して,性能と効率の両面で,限られたデータで著しく優れることを示す。
  論文  参考訳（メタデータ） (2021-07-27T06:51:13Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。