論文の概要: Dynamic data sampler for cross-language transfer learning in large language models

• arxiv url: http://arxiv.org/abs/2405.10626v1
• Date: Fri, 17 May 2024 08:40:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-20 16:32:42.328262
• Title: Dynamic data sampler for cross-language transfer learning in large language models
• Title（参考訳）: 大規模言語モデルにおける言語間移動学習のための動的データサンプリング
• Authors: Yudong Li, Yuhao Feng, Wen Zhou, Zhe Zhao, Linlin Shen, Cheng Hou, Xianxu Hou,
• Abstract要約: ChatFlowは、言語間移動に基づく大規模言語モデル(LLM)である。 我々は、LLaMA2モデルを継続的に訓練するために、中国語、英語、並列コーパスを組み合わせています。 実験により,本手法はモデル収束を加速し,優れた性能を実現することを示す。
• 参考スコア（独自算出の注目度）: 34.464472766868106
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have gained significant attention in the field of natural language processing (NLP) due to their wide range of applications. However, training LLMs for languages other than English poses significant challenges, due to the difficulty in acquiring large-scale corpus and the requisite computing resources. In this paper, we propose ChatFlow, a cross-language transfer-based LLM, to address these challenges and train large Chinese language models in a cost-effective manner. We employ a mix of Chinese, English, and parallel corpus to continuously train the LLaMA2 model, aiming to align cross-language representations and facilitate the knowledge transfer specifically to the Chinese language model. In addition, we use a dynamic data sampler to progressively transition the model from unsupervised pre-training to supervised fine-tuning. Experimental results demonstrate that our approach accelerates model convergence and achieves superior performance. We evaluate ChatFlow on popular Chinese and English benchmarks, the results indicate that it outperforms other Chinese models post-trained on LLaMA-2-7B.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、その幅広い応用により自然言語処理(NLP)の分野で大きな注目を集めている。 しかし、大規模なコーパスの取得や必要な計算資源の取得が困難であることから、英語以外の言語でLLMを訓練することは大きな課題となっている。 本稿では,これらの課題に対処し,大規模中国語モデルを低コストで訓練するための言語間移動型LLMであるChatFlowを提案する。 我々は、中国語、英語、並列コーパスの混合を用いてLLaMA2モデルを継続的に訓練し、言語間表現の整合と中国語モデルへの知識伝達を促進することを目的としている。 さらに、動的データサンプリングを用いて、教師なし事前学習から教師なし微調整へモデルを段階的に移行する。 実験により,本手法はモデル収束を加速し,優れた性能を実現することを示す。 一般的な中国語と英語のベンチマークでChatFlowを評価し,LLaMA-2-7Bで学習した他の中国語モデルよりも優れていることを示した。

関連論文リスト

• Unlocking the Potential of Model Merging for Low-Resource Languages [66.7716891808697]
  大規模言語モデルを新しい言語に適応させるには、通常、継続事前訓練(CT)と、教師付き微調整(SFT)が含まれる。 我々は低リソース言語の代替としてモデルマージを提案し、異なる機能を持つモデルを追加トレーニングなしで単一のモデルに組み合わせる。 Llama-2-7Bをベースとした実験により、モデルマージはタスク解決能力の低い低リソース言語に対して、極めて少ないデータを持つシナリオにおいて、CT-then-SFTよりも優れていることが実証された。
  論文  参考訳（メタデータ） (2024-07-04T15:14:17Z)
• Self-Translate-Train: A Simple but Strong Baseline for Cross-lingual Transfer of Large Language Models [31.025371443719404]
  言語間転送は、ターゲット言語のパフォーマンスを向上させるために、ソース言語でデータを利用するための有望なテクニックである。 本稿では,自己翻訳トレインと呼ばれる簡易かつ効果的な手法を提案する。 大規模言語モデルの翻訳機能を活用して、ターゲット言語で合成トレーニングデータを生成し、独自の生成されたデータでモデルを微調整する。
  論文  参考訳（メタデータ） (2024-06-29T14:40:23Z)
• Towards a More Inclusive AI: Progress and Perspectives in Large Language Model Training for the Sámi Language [7.289015788793582]
  本研究は、S'ami言語における技術参加の増大に焦点を当てている。 我々は,Ultra Low Resource (ULR)言語の言語モデリング問題に対して,MLコミュニティの注目を集めている。 Webから利用可能なS'ami言語リソースをコンパイルして、言語モデルをトレーニングするためのクリーンなデータセットを作成しました。
  論文  参考訳（メタデータ） (2024-05-09T13:54:22Z)
• Tele-FLM Technical Report [96.19923831660266]
  52Bのオープンソース多言語大言語モデルであるTele-FLM(別名FLM-2)を紹介する。 安定的で効率的な事前訓練のパラダイムと、事実判断能力の強化が特徴である。 これは、Llama2-70BやDeepSeek-67Bのようなより大きな事前学習FLOPを含む強力なオープンソースモデルに匹敵する。
  論文  参考訳（メタデータ） (2024-04-25T14:34:47Z)
• Simultaneous Machine Translation with Large Language Models [51.470478122113356]
  我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。 その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-13T04:06:47Z)
• Extrapolating Large Language Models to Non-English by Aligning Languages [109.09051737966178]
  既存の大きな言語モデルは、異なる言語間で異なる能力を示す。 本稿では,言語間のセマンティックアライメントを構築することで,英語以外の言語に事前学習したLLMを強化する。
  論文  参考訳（メタデータ） (2023-08-09T13:32:06Z)
• Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca [23.00353889531171]
  中国語テキストの理解・生成機能を備えたLLaMAの拡張手法を提案する。 我々は、中国語データを用いた二次事前学習を取り入れ、中国語の命令データセットでモデルを微調整する。 C-Evalデータセットの結果は、我々の数倍の大きさのモデル間で競合性能が得られた。
  論文  参考訳（メタデータ） (2023-04-17T11:39:53Z)
• Cross-lingual Transferring of Pre-trained Contextualized Language Models [73.97131976850424]
  本稿では,PRLMのための新しい言語間モデル転送フレームワークTreLMを提案する。 シンボルの順序と言語間のシーケンス長の差に対処するため,中間的なTRILayer構造を提案する。 提案手法は,スクラッチから学習した言語モデルに対して,性能と効率の両面で,限られたデータで著しく優れることを示す。
  論文  参考訳（メタデータ） (2021-07-27T06:51:13Z)
• Investigating Transfer Learning in Multilingual Pre-trained Language Models through Chinese Natural Language Inference [11.096793445651313]
  中国語と英語の自然言語推論(NLI)におけるXLM-Rの言語間移動能力について検討する。 言語移動をより深く理解するために、中国語の課題と敵対課題の4つのカテゴリを作成しました。 英語のNLIで訓練された言語間のモデルが、中国語のタスク間でうまく伝達されていることが分かりました。
  論文  参考訳（メタデータ） (2021-06-07T22:00:18Z)
• Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
  言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。 本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。 本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
  論文  参考訳（メタデータ） (2020-10-18T00:21:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。