論文の概要: Adapting Multilingual LLMs to Low-Resource Languages using Continued Pre-training and Synthetic Corpus

• arxiv url: http://arxiv.org/abs/2410.14815v1
• Date: Fri, 18 Oct 2024 18:35:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:20:49.751692
• Title: Adapting Multilingual LLMs to Low-Resource Languages using Continued Pre-training and Synthetic Corpus
• Title（参考訳）: 継続事前学習と合成コーパスを用いた低リソース言語への多言語LLMの適用
• Authors: Raviraj Joshi, Kanishk Singla, Anusha Kamath, Raunak Kalani, Rakesh Paul, Utkarsh Vaidya, Sanjay Singh Chauhan, Niranjan Wartikar, Eileen Long,
• Abstract要約: ヒンディー語と英語の両方をサポートするバイリンガルSLMであるNemotron-Mini-Hindi 4Bを紹介する。 ベースモデルとインストラクションモデルの両方がヒンディー語のベンチマークで最先端の結果が得られることを示す。
• 参考スコア（独自算出の注目度）: 0.9674145073701153
• License:
• Abstract: Multilingual LLMs support a variety of languages; however, their performance is suboptimal for low-resource languages. In this work, we emphasize the importance of continued pre-training of multilingual LLMs and the use of translation-based synthetic pre-training corpora for improving LLMs in low-resource languages. We conduct our study in the context of the low-resource Indic language Hindi. We introduce Nemotron-Mini-Hindi 4B, a bilingual SLM supporting both Hindi and English, based on Nemotron-Mini 4B. The model is trained using a mix of real and synthetic Hindi + English tokens, with continuous pre-training performed on 400B tokens. We demonstrate that both the base and instruct models achieve state-of-the-art results on Hindi benchmarks while remaining competitive on English tasks. Additionally, we observe that the continued pre-training approach enhances the model's overall factual accuracy.
• Abstract（参考訳）: マルチ言語 LLM は様々な言語をサポートしているが、低リソース言語では性能が最適である。 本研究では,多言語LLMの継続事前学習の重要性と,低リソース言語におけるLLMの改善のための翻訳ベース合成事前学習コーパスの利用を強調した。 我々は、低リソースのインド語ヒンディー語(Hindi)の文脈で研究を行っている。 我々は,Nemotron-Mini-Hindi 4Bをベースとした,ヒンディー語と英語の両方をサポートするバイリンガルSLMであるNemotron-Mini-Hindi 4Bを紹介する。 このモデルは、実際のHindi + Englishトークンと合成されたHindi + Englishトークンを混合してトレーニングされ、400Bトークン上で連続的な事前トレーニングが行われる。 ベースモデルとインストラクションモデルの両方が、ヒンディー語のベンチマークにおいて、英語のタスクにおいて競争力を維持しながら、最先端の結果を達成することを実証する。 さらに、継続した事前学習アプローチにより、モデル全体の事実精度が向上することが観察された。

関連論文リスト

• Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
  CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。 現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。 近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
  論文  参考訳（メタデータ） (2024-10-26T00:39:44Z)
• Do Large Language Models Speak All Languages Equally? A Comparative Study in Low-Resource Settings [12.507989493130175]
  大規模言語モデル (LLM) は自然言語処理 (NLP) に大きな関心を寄せている。 近年の研究では、低リソース言語におけるLLMの限界が強調されている。 英語からバングラ語、ヒンディー語、ウルドゥー語に翻訳することで、感情と憎悪の音声タスクのデータセットを提示する。
  論文  参考訳（メタデータ） (2024-08-05T05:09:23Z)
• Adapting LLMs to Hebrew: Unveiling DictaLM 2.0 with Enhanced Vocabulary and Instruction Capabilities [2.047424180164312]
  Hebrewのような低リソース言語での大規模言語モデル(LLM)のトレーニングには、ユニークな課題がある。 我々はDictaLM2.0とDictaLM2.0-Instructを紹介した。
  論文  参考訳（メタデータ） (2024-07-09T17:51:37Z)
• Towards a More Inclusive AI: Progress and Perspectives in Large Language Model Training for the Sámi Language [7.289015788793582]
  本研究は、S'ami言語における技術参加の増大に焦点を当てている。 我々は,Ultra Low Resource (ULR)言語の言語モデリング問題に対して,MLコミュニティの注目を集めている。 Webから利用可能なS'ami言語リソースをコンパイルして、言語モデルをトレーニングするためのクリーンなデータセットを作成しました。
  論文  参考訳（メタデータ） (2024-05-09T13:54:22Z)
• Teaching Large Language Models an Unseen Language on the Fly [32.83773919852362]
  In-context Learning を用いて LLM を未知の言語に適用するためのフレームワークである DiPMT++ を紹介した。 辞書と5Kパラレル文のみを用いて、DiPMT++は中国語から中国語への翻訳において、0から16BLEUまでのGPT-4の性能を大幅に向上させる。 また、もう1つの目に見えない言語であるKalamang上で、我々のフレームワークの有効性を検証する。
  論文  参考訳（メタデータ） (2024-02-29T13:50:47Z)
• Zero-Shot Cross-Lingual Reranking with Large Language Models for Low-Resource Languages [51.301942056881146]
  アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。 私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。 我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
  論文  参考訳（メタデータ） (2023-12-26T18:38:54Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• LERT: A Linguistically-motivated Pre-trained Language Model [67.65651497173998]
  本稿では,3種類の言語特徴を学習する事前学習型言語モデルLERTを提案する。 我々は,中国における10のNLUタスクについて広範な実験を行い,LERTが大きな改善をもたらすことを示す実験結果を得た。
  論文  参考訳（メタデータ） (2022-11-10T05:09:16Z)
• Generalizing Multimodal Pre-training into Multilingual via Language Acquisition [54.69707237195554]
  英語のVision-Language Pre-Trainingは、様々な下流タスクで大きな成功を収めた。 この成功を英語以外の言語に一般化するために、Multilingual Vision-Language Pre-Trainingを通じていくつかの取り組みがなされている。 単言語視覚言語事前学習モデルを多言語に容易に一般化できるtextbfMultitextbfLingual textbfAcquisition (MLA) フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-29T08:53:22Z)
• Reusing a Pretrained Language Model on Languages with Limited Corpora for Unsupervised NMT [129.99918589405675]
  本稿では,オープンソース言語上でのみ事前訓練されたLMを再利用する効果的な手法を提案する。 モノリンガルLMは両言語で微調整され、UNMTモデルの初期化に使用される。 我々のアプローチであるRE-LMは、英語・マケドニア語(En-Mk)と英語・アルバニア語(En-Sq)の競合言語間事前学習モデル(XLM)より優れています。
  論文  参考訳（メタデータ） (2020-09-16T11:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。