論文の概要: A Practice of Post-Training on Llama-3 70B with Optimal Selection of Additional Language Mixture Ratio

• arxiv url: http://arxiv.org/abs/2409.06624v1
• Date: Tue, 10 Sep 2024 16:26:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-11 16:49:06.785500
• Title: A Practice of Post-Training on Llama-3 70B with Optimal Selection of Additional Language Mixture Ratio
• Title（参考訳）: Llama-370Bにおける追加言語混合比の最適選択による後学習の実践
• Authors: Ningyuan Xi, Yetao Wu, Kun Fan, Teng Chen, Qingqing Gu, Peng Yu, Jinxian Qu, Chenxi Liu, Zhonglin Jiang, Yong Chen, Luo Ji,
• Abstract要約: 大きな言語モデル(LLM)は、慣れていない言語スキルを得たり、新しいドメインに適応するために、連続的な事前訓練(CPT)を必要とすることが多い。 本研究では, 言語混合比(ALMR)と学習率(LR)の最適相関を, 最適実験セットを直接示す8Bサイズで検討した。
• 参考スコア（独自算出の注目度）: 8.120167944739908
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLM) often needs to be Continual Pre-Trained (CPT) to obtain the unfamiliar language skill or adapt into new domains. The huge training cost of CPT often asks for cautious choice of key hyper-parameters such as the mixture ratio of extra language or domain corpus. However, there is no systematic study which bridge the gap between the optimal mixture ratio and the actual model performance, and the gap between experimental scaling law and the actual deployment in the full model size. In this paper, we perform CPT on Llama-3 8B and 70B to enhance its Chinese ability. We study the optimal correlation between the Additional Language Mixture Ratio (ALMR) and the Learning Rate (LR) on the 8B size which directly indicate the optimal experimental set up. By thorough choice of hyper-parameter, and subsequent fine-tuning, the model capability is improved not only on the Chinese-related benchmark, but also some specific domains including math, coding and emotional intelligence. We deploy the final 70B version of LLM on an real-life chat system which obtain satisfying performance.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、よく馴染みのない言語スキルを得たり、新しいドメインに適応するために、連続的な事前訓練(CPT)を必要とする。 CPTの膨大なトレーニングコストは、余剰言語やドメインコーパスの混合比率など、重要なハイパーパラメータの慎重な選択を求めることが多い。 しかし, 最適混合比と実モデル性能とのギャップと, 実験スケーリング法則と実モデルサイズでの実際の展開とのギャップを橋渡しする系統的な研究は存在しない。 本稿では,Llama-3 8Bと70BでCPTを行い,その中国語能力を高める。 本研究では, 言語混合比(ALMR)と学習率(LR)の最適相関を, 最適実験セットを直接示す8Bサイズで検討した。 ハイパーパラメータの徹底的な選択とその後の微調整により、モデル能力は中国のベンチマークだけでなく、数学、コーディング、感情知といった特定の領域にも改善される。 我々は,LLMの最終70Bバージョンを実生活チャットシステムに展開し,満足な性能を得る。

関連論文リスト

• Predictor-Corrector Enhanced Transformers with Exponential Moving Average Coefficient Learning [73.73967342609603]
  トラクションエラーを最小限に抑えるための予測-相関学習フレームワークを提案する。 また、高次予測器を強化するために、指数関数的移動平均ベース係数学習法を提案する。 我々のモデルは3.8BのDeepNetを平均2.9のSacreBLEUで上回り、1/3のパラメータしか使用していない。
  論文  参考訳（メタデータ） (2024-11-05T12:26:25Z)
• Optimizing Low-Resource Language Model Training: Comprehensive Analysis of Multi-Epoch, Multi-Lingual, and Two-Stage Approaches [3.809045695573932]
  既存の作業では、制限対象の言語コーパスを効率的に活用するために、マルチエポック、多言語、二段階の訓練が採用されている。 我々は、これらの3つのアプローチを組み合わせて、低リソース言語LLMのトレーニング設定を徹底的に検討する。 対象言語コーパスの量が減少するにつれて、最適トレーニングアプローチは、単言語単段階訓練から、計算予算依存しきい値における多言語二段階訓練へと移行する。
  論文  参考訳（メタデータ） (2024-10-16T07:45:56Z)
• Optimization Hyper-parameter Laws for Large Language Models [56.322914260197734]
  ハイパーパラメータとトレーニング結果の関係をキャプチャするフレームワークであるOps-Lawsを提案する。 さまざまなモデルサイズとデータスケールにわたる検証は、Opt-Lawsのトレーニング損失を正確に予測する能力を示しています。 このアプローチは、全体的なモデル性能を高めながら、計算コストを大幅に削減する。
  論文  参考訳（メタデータ） (2024-09-07T09:37:19Z)
• DataComp-LM: In search of the next generation of training sets for language models [200.5293181577585]
  DataComp for Language Models (DCLM)は、制御されたデータセット実験のためのテストベッドであり、言語モデルを改善することを目的としている。 我々は、Common Crawlから抽出された240Tトークンの標準化コーパス、OpenLMフレームワークに基づく効果的な事前学習レシピ、53の下流評価スイートを提供する。 DCLMベンチマークの参加者は、412Mから7Bパラメータのモデルスケールでの重複、フィルタリング、データ混合などのデータキュレーション戦略を実験することができる。
  論文  参考訳（メタデータ） (2024-06-17T17:42:57Z)
• The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
  大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。 実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。 我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
  論文  参考訳（メタデータ） (2024-05-02T14:49:50Z)
• Tokenizer Choice For LLM Training: Negligible or Crucial? [30.33170936148845]
  24個の単言語LLMと多言語LLMを学習し,トークン化選択が大規模言語モデル(LLM)の下流性能に与える影響について検討した。 トークン化ツールの選択は、ダウンストリームのパフォーマンスとトレーニングコストに大きな影響を与えます。 ヨーロッパの5言語で訓練された多言語トークン化器は,英語と比較して語彙サイズが3倍に大きくなることが示唆された。
  論文  参考訳（メタデータ） (2023-10-12T22:44:19Z)
• Headless Language Models: Learning without Predicting with Contrastive Weight Tying [0.11510009152620666]
  言語モデルの自己教師付き事前訓練は通常、広範囲なトークン語彙上の確率分布を予測する。 確率予測から脱却し、コンストラッシブウェイトタイリング(CWT)を介してコントラッシブな方法で入力埋め込みを再構築することに焦点を当てた革新的な手法を提案する。 同様の計算予算における古典的 LM と比較して, 有意な +1.6 GLUE スコアの増加と, 顕著な +2.7 LAMBADA の精度向上が観察された。
  論文  参考訳（メタデータ） (2023-09-15T12:20:00Z)
• Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
  本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。 アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。 われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
  論文  参考訳（メタデータ） (2022-12-01T17:31:42Z)
• Multi-Level Contrastive Learning for Cross-Lingual Alignment [35.33431650608965]
  マルチリンガルBERT(mBERT)のような言語間事前学習モデルは、様々な言語間下流のNLPタスクにおいて大きな性能を発揮している。 本稿では,事前学習モデルの言語間能力の向上を図るために,マルチレベルコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-26T07:14:20Z)
• Gradient Vaccine: Investigating and Improving Multi-task Optimization in Massively Multilingual Models [63.92643612630657]
  本稿では、損失関数幾何学のレンズを通して多言語最適化のブラックボックスを覗き込もうとする。 最適化軌道に沿って測定された勾配類似性は重要な信号であり、言語近接とよく相関している。 そこで我々はGradient Vaccineというシンプルでスケーラブルな最適化手法を考案した。
  論文  参考訳（メタデータ） (2020-10-12T17:26:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。