論文の概要: Optimizing Low-Resource Language Model Training: Comprehensive Analysis of Multi-Epoch, Multi-Lingual, and Two-Stage Approaches

• arxiv url: http://arxiv.org/abs/2410.12325v1
• Date: Wed, 16 Oct 2024 07:45:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:42:49.178104
• Title: Optimizing Low-Resource Language Model Training: Comprehensive Analysis of Multi-Epoch, Multi-Lingual, and Two-Stage Approaches
• Title（参考訳）: 低リソース言語モデルトレーニングの最適化:多言語・多言語・二段階アプローチの総合的分析
• Authors: Kosuke Akimoto, Masafumi Oyamada,
• Abstract要約: 既存の作業では、制限対象の言語コーパスを効率的に活用するために、マルチエポック、多言語、二段階の訓練が採用されている。 我々は、これらの3つのアプローチを組み合わせて、低リソース言語LLMのトレーニング設定を徹底的に検討する。 対象言語コーパスの量が減少するにつれて、最適トレーニングアプローチは、単言語単段階訓練から、計算予算依存しきい値における多言語二段階訓練へと移行する。
• 参考スコア（独自算出の注目度）: 3.809045695573932
• License:
• Abstract: In this paper, we address the challenge of optimizing training setups for Large Language Models (LLMs) of low-resource language with a limited amount of corpus. Existing works adopt multi-epoch, multi-lingual, and two-stage training to utilize the limited target language corpus efficiently. However, there is still a lack of understanding about the optimal hyperparameter setups for combining these three approaches to train LLMs. We exhaustively explore training setups for low-resource language LLM, combining these three approaches, and found the following insights for efficiently reducing the cost of hyperparameter search: (1) As the amount of target language corpus decreases, the optimal training approach shifts from monolingual single-stage training to multi-lingual two-stage training at a compute budget dependent threshold. (2) The optimal model scale remains stable regardless of the amount of target language corpus, allowing the use of the compute-optimal scale of monolingual training. (3) The optimal number of epochs can be extrapolated from smaller-scale experiments to larger scale using our proposed model. Also, we provide evidence that, in single-stage training, the target language validation loss follows a power law with respect to the target language ratio, with an exponent independent of the amount of data, model scale, and language pair.
• Abstract（参考訳）: 本稿では,低リソース言語におけるLarge Language Models (LLMs) のトレーニング設定をコーパスの限られた量で最適化するという課題に対処する。 既存の作業では、制限対象の言語コーパスを効率的に活用するために、マルチエポック、多言語、二段階の訓練が採用されている。 しかし、これらの3つのアプローチを組み合わせてLLMを訓練するための最適なハイパーパラメータ設定についてはまだ理解されていない。 1) 対象言語コーパスの量が減少するにつれて, 最適トレーニングアプローチは単言語単段階訓練から, 計算予算依存しきい値における多言語2段階訓練へとシフトする。 2) 最適モデルスケールは, 対象言語コーパスの量にかかわらず安定であり, 単言語学習の計算-最適スケールを利用することができる。 (3) 提案したモデルを用いて, 小型実験から大規模まで最適エポック数の推定が可能となった。 また、単段階学習において、対象言語検証損失は、データ量、モデルスケール、言語対に依存しない指数で、対象言語比に対するパワー則に従うことを示す。

関連論文リスト

• Scaling Laws for Multilingual Language Models [41.6318470003173]
  多言語スケーリングの研究における主要な課題は、言語間移動による個々の言語性能の分析が困難であることである。 本稿では,各言語群に対するクロスエントロピー損失が,それぞれのサンプリング比でのみ決定されるという仮説を導入し,検証する。 性能とデータセットサイズ,モデルサイズ,サンプリング比率を関連づける,ゆるい関係を導出する。
  論文  参考訳（メタデータ） (2024-10-15T20:29:38Z)
• Advancing Multimodal Large Language Models with Quantization-Aware Scale Learning for Efficient Adaptation [70.22782550540714]
  QSLAWと呼ばれるマルチモーダルワームアップに基づく量子化対応スケールルアーニング法 本稿では、QSLAWと呼ばれるマルチモーダルワームアップに基づく量子化対応スケールLeArning手法を提案する。
  論文  参考訳（メタデータ） (2024-08-07T12:42:09Z)
• Targeted Multilingual Adaptation for Low-resource Language Families [17.212424929235624]
  我々は、事前学習されたモデルを言語族に適応させるためのベストプラクティスについて研究する。 適応モデルは単言語および多言語ベースラインを大きく上回る。 低リソース言語は、高リソース言語のパフォーマンスをほとんど犠牲にすることなく、トレーニング中に積極的にアップサンプリングできる。
  論文  参考訳（メタデータ） (2024-05-20T23:38:06Z)
• Analyzing and Adapting Large Language Models for Few-Shot Multilingual NLU: Are We There Yet? [82.02076369811402]
  教師付きファインチューニング(SFT)、教師付きインストラクションチューニング(SIT)、インコンテキストラーニング(ICL)は、3つの代替であり、事実上の標準的アプローチである。 提案手法は,6つの高・低リソース言語,3つの異なるNLUタスク,多種多様な言語とドメインのセットアップを用いて,3つのアプローチを網羅的かつ体系的に比較する。 そこで本研究では,教師あり指導のチューニングが,性能とリソース要件の最良のトレードオフであることを示す。
  論文  参考訳（メタデータ） (2024-03-04T10:48:13Z)
• High-resource Language-specific Training for Multilingual Neural Machine Translation [109.31892935605192]
  負の干渉を軽減するために,HLT-MT(High-Resource Language-specific Training)を用いた多言語翻訳モデルを提案する。 具体的には、まずマルチ言語モデルを高リソースペアでトレーニングし、デコーダの上部にある言語固有のモジュールを選択する。 HLT-MTは、高リソース言語から低リソース言語への知識伝達のために、利用可能なすべてのコーパスでさらに訓練されている。
  論文  参考訳（メタデータ） (2022-07-11T14:33:13Z)
• Distributionally Robust Multilingual Machine Translation [94.51866646879337]
  本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。 この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。 本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
  論文  参考訳（メタデータ） (2021-09-09T03:48:35Z)
• Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
  言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。 本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。 本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
  論文  参考訳（メタデータ） (2020-10-18T00:21:53Z)
• Balancing Training for Multilingual Neural Machine Translation [130.54253367251738]
  多言語機械翻訳(MT)モデルは、複数の言語に翻訳/翻訳することができる。 標準的なプラクティスは、表現力を高めるために、リソースの少ない言語をアップサンプルすることである。 そこで本研究では,データスコアラによるトレーニングデータの重み付けを自動的に学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-04-14T18:23:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。