論文の概要: Exploring Pretraining via Active Forgetting for Improving Cross Lingual Transfer for Decoder Language Models

• arxiv url: http://arxiv.org/abs/2410.16168v1
• Date: Mon, 21 Oct 2024 16:33:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:13:12.896515
• Title: Exploring Pretraining via Active Forgetting for Improving Cross Lingual Transfer for Decoder Language Models
• Title（参考訳）: デコーダ言語モデルにおける言語間移動改善のためのアクティブフォーッティングによる事前学習の探索
• Authors: Divyanshu Aggarwal, Ashutosh Sathe, Sunayana Sitaram,
• Abstract要約: 大規模言語モデル(LLM)は、多数のNLPタスクにおいて例外的な機能を示す。 英語以外の言語に対するそのようなモデルの有効性は制限されることが多い。 能動的忘れを前提としたLLMは,新しい言語や目に見えない言語に適応する上で非常に有効であることを示す。
• 参考スコア（独自算出の注目度）: 7.998168689120558
• License:
• Abstract: Large Language Models (LLMs) demonstrate exceptional capabilities in a multitude of NLP tasks. However, the efficacy of such models to languages other than English is often limited. Prior works have shown that encoder-only models such as BERT or XLM-RoBERTa show impressive cross lingual transfer of their capabilities from English to other languages. In this work, we propose a pretraining strategy that uses active forgetting to achieve similar cross lingual transfer in decoder-only LLMs. We show that LLMs pretrained with active forgetting are highly effective when adapting to new and unseen languages. Through extensive experimentation, we find that LLMs pretrained with active forgetting are able to learn better multilingual representations which translates to better performance in many downstream tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、多数のNLPタスクにおいて例外的な機能を示す。 しかし、そのようなモデルを英語以外の言語に応用することは、しばしば限られている。 以前の研究では、BERT や XLM-RoBERTa のようなエンコーダのみのモデルでは、その能力が英語から他言語へ大幅に変換されていることが示されている。 本研究では,デコーダのみのLLMにおいて,能動的忘れ込みを用いて同様の言語間移動を実現する事前学習戦略を提案する。 能動的忘れを前提としたLLMは,新しい言語や目に見えない言語に適応する上で非常に有効であることを示す。 大規模な実験により、アクティブな忘れ込みで事前訓練されたLLMは、より優れた多言語表現を学習し、多くの下流タスクにおいてより良いパフォーマンスを実現することができることがわかった。

関連論文リスト

• Multilingual Large Language Models and Curse of Multilinguality [4.096453902709292]
  大規模言語モデル(LLM)は自然言語処理(NLP)の研究者や実践者の間で広く普及している。 本稿では,多言語LLMの展望を概観し,その技術的側面について概観する。 基礎となるアーキテクチャ、客観的関数、事前トレーニングされたデータソース、トークン化メソッドを説明します。
  論文  参考訳（メタデータ） (2024-06-15T11:31:39Z)
• Getting More from Less: Large Language Models are Good Spontaneous Multilingual Learners [67.85635044939836]
  大きな言語モデル(LLM)は印象的な言語機能を示している。 本研究では,LLMの自然多言語アライメント改善について検討する。 質問翻訳データ(すなわち注釈付き回答なし)に基づいて学習したLLMは、英語と幅広い言語との整合を促進できることがわかった。
  論文  参考訳（メタデータ） (2024-05-22T16:46:19Z)
• Accelerating Multilingual Language Model for Excessively Tokenized Languages [3.5570874721859016]
  大型言語モデル(LLM)のトークン化子は、文字やUnicodeレベルのトークンを非ローマ語アルファベットの言語で断片化することが多い。 このような言語でテキスト生成を高速化する,シンプルで効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-19T12:26:57Z)
• Improving Language Plasticity via Pretraining with Active Forgetting [63.36484652568976]
  本稿では,新しい言語に迅速に適応可能な PLM を作成する簡単な方法として,事前学習中に能動的に忘れる機構を提案する。 RoBERTaを用いた実験では、忘れるメカニズムで事前訓練されたモデルは、言語適応中により高速な収束を示す。
  論文  参考訳（メタデータ） (2023-07-03T17:12:44Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• WeLM: A Well-Read Pre-trained Language Model for Chinese [37.68378062625651]
  WeLM: 中国語のためのよく読まれる事前学習型言語モデルを提案する。 WeLMには様々なドメインや言語に関する幅広い知識が備わっていることを示す。
  論文  参考訳（メタデータ） (2022-09-21T14:05:30Z)
• Generalizing Multimodal Pre-training into Multilingual via Language Acquisition [54.69707237195554]
  英語のVision-Language Pre-Trainingは、様々な下流タスクで大きな成功を収めた。 この成功を英語以外の言語に一般化するために、Multilingual Vision-Language Pre-Trainingを通じていくつかの取り組みがなされている。 単言語視覚言語事前学習モデルを多言語に容易に一般化できるtextbfMultitextbfLingual textbfAcquisition (MLA) フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-29T08:53:22Z)
• Cross-lingual Transferring of Pre-trained Contextualized Language Models [73.97131976850424]
  本稿では,PRLMのための新しい言語間モデル転送フレームワークTreLMを提案する。 シンボルの順序と言語間のシーケンス長の差に対処するため,中間的なTRILayer構造を提案する。 提案手法は,スクラッチから学習した言語モデルに対して,性能と効率の両面で,限られたデータで著しく優れることを示す。
  論文  参考訳（メタデータ） (2021-07-27T06:51:13Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。