論文の概要: MicroBERT: Effective Training of Low-resource Monolingual BERTs through Parameter Reduction and Multitask Learning

• arxiv url: http://arxiv.org/abs/2212.12510v1
• Date: Fri, 23 Dec 2022 18:18:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 16:45:50.918470
• Title: MicroBERT: Effective Training of Low-resource Monolingual BERTs through Parameter Reduction and Multitask Learning
• Title（参考訳）: MicroBERT:パラメータ削減とマルチタスク学習による低リソース単言語BERTの効果的学習
• Authors: Luke Gessler, Amir Zeldes
• Abstract要約: トランスフォーマー言語モデル(TLM)は、ほとんどのNLPタスクには必須であるが、必要な事前学習データが多いため、低リソース言語では作成が困難である。 本研究では,低リソース環境下でモノリンガルなTLMを訓練する2つの手法について検討する。 7つの多様な言語から得られた結果から,私たちのモデルであるMicroBERTは,典型的なモノリンガルなTLM事前学習手法と比較して,下流タスク評価において顕著な改善を達成できたことが示唆された。
• 参考スコア（独自算出の注目度）: 12.640283469603357
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer language models (TLMs) are critical for most NLP tasks, but they are difficult to create for low-resource languages because of how much pretraining data they require. In this work, we investigate two techniques for training monolingual TLMs in a low-resource setting: greatly reducing TLM size, and complementing the masked language modeling objective with two linguistically rich supervised tasks (part-of-speech tagging and dependency parsing). Results from 7 diverse languages indicate that our model, MicroBERT, is able to produce marked improvements in downstream task evaluations relative to a typical monolingual TLM pretraining approach. Specifically, we find that monolingual MicroBERT models achieve gains of up to 18% for parser LAS and 11% for NER F1 compared to a multilingual baseline, mBERT, while having less than 1% of its parameter count. We conclude reducing TLM parameter count and using labeled data for pretraining low-resource TLMs can yield large quality benefits and in some cases produce models that outperform multilingual approaches.
• Abstract（参考訳）: トランスフォーマー言語モデル(TLM)は、ほとんどのNLPタスクには必須であるが、必要な事前学習データが多いため、低リソース言語では作成が困難である。 本研究では,tlmサイズを大幅に削減し,2つの言語的リッチな教師付きタスク (part-of-speech taggingとdependency parse) によるマスク型言語モデリング目標を補完する,低リソース環境での一言語tlmを訓練するための2つの手法について検討した。 7つの多様な言語から得られた結果から,私たちのモデルであるMicroBERTは,典型的なモノリンガルなTLM事前学習手法と比較して,下流タスク評価において顕著な改善を達成できることが示された。 具体的には,マルチリンガルベースラインであるmBERTに比べて,パーサLASが最大18%,NER F1が11%,パラメータ数が1%未満である。 我々は、TLMパラメータ数を減らし、ラベル付きデータを用いて低リソースのTLMを事前訓練することで、大きな品質上の利点が得られると結論付け、場合によってはマルチランガルアプローチよりも優れたモデルを生成する。

関連論文リスト

• Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
  CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。 現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。 近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
  論文  参考訳（メタデータ） (2024-10-26T00:39:44Z)
• Unlocking the Potential of Model Merging for Low-Resource Languages [66.7716891808697]
  大規模言語モデルを新しい言語に適応させるには、通常、継続事前訓練(CT)と、教師付き微調整(SFT)が含まれる。 我々は低リソース言語の代替としてモデルマージを提案し、異なる機能を持つモデルを追加トレーニングなしで単一のモデルに組み合わせる。 Llama-2-7Bをベースとした実験により、モデルマージはタスク解決能力の低い低リソース言語に対して、極めて少ないデータを持つシナリオにおいて、CT-then-SFTよりも優れていることが実証された。
  論文  参考訳（メタデータ） (2024-07-04T15:14:17Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• Distilling Efficient Language-Specific Models for Cross-Lingual Transfer [75.32131584449786]
  多言語変換器(MMT)は多言語間変換学習に広く用いられている。 MMTの言語カバレッジは、モデルサイズ、推論時間、エネルギ、ハードウェアコストの点で、必要以上にコストがかかる。 本稿では,MMTから圧縮された言語固有のモデルを抽出し,言語間移動のための元のMTのキャパシティを保持することを提案する。
  論文  参考訳（メタデータ） (2023-06-02T17:31:52Z)
• High-resource Language-specific Training for Multilingual Neural Machine Translation [109.31892935605192]
  負の干渉を軽減するために,HLT-MT(High-Resource Language-specific Training)を用いた多言語翻訳モデルを提案する。 具体的には、まずマルチ言語モデルを高リソースペアでトレーニングし、デコーダの上部にある言語固有のモジュールを選択する。 HLT-MTは、高リソース言語から低リソース言語への知識伝達のために、利用可能なすべてのコーパスでさらに訓練されている。
  論文  参考訳（メタデータ） (2022-07-11T14:33:13Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Multi-task Learning for Multilingual Neural Machine Translation [32.81785430242313]
  本稿では,bitextデータ上での翻訳タスクと,モノリンガルデータ上での2つの認知タスクを併用してモデルを学習するマルチタスク学習フレームワークを提案する。 提案手法は,高リソース言語と低リソース言語の両方の翻訳品質を効果的に向上できることを示す。
  論文  参考訳（メタデータ） (2020-10-06T06:54:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。