論文の概要: The Fine Line: Navigating Large Language Model Pretraining with Down-streaming Capability Analysis

• arxiv url: http://arxiv.org/abs/2404.01204v1
• Date: Mon, 1 Apr 2024 16:00:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 21:55:47.477033
• Title: The Fine Line: Navigating Large Language Model Pretraining with Down-streaming Capability Analysis
• Title（参考訳）: ファインライン:ダウンストリーム能力分析による大規模言語モデルの事前学習
• Authors: Chen Yang, Junzhuo Li, Xinyao Niu, Xinrun Du, Songyang Gao, Haoran Zhang, Zhaoliang Chen, Xingwei Qu, Ruibin Yuan, Yizhi Li, Jiaheng Liu, Stephen W. Huang, Shawn Yue, Wenhu Chen, Jie Fu, Ge Zhang,
• Abstract要約: 本稿では,様々な事前学習中間点におけるモデル能力の総合的な比較を行う。 特定のダウンストリームメトリクスが、異なるサイズのモデルにまたがる同様のトレーニングダイナミクスを示すことを確認します。 コアの発見に加えて、AmberとOpenLLaMAを再現し、中間チェックポイントをリリースしました。
• 参考スコア（独自算出の注目度）: 60.52921835351632
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Uncovering early-stage metrics that reflect final model performance is one core principle for large-scale pretraining. The existing scaling law demonstrates the power-law correlation between pretraining loss and training flops, which serves as an important indicator of the current training state for large language models. However, this principle only focuses on the model's compression properties on the training data, resulting in an inconsistency with the ability improvements on the downstream tasks. Some follow-up works attempted to extend the scaling-law to more complex metrics (such as hyperparameters), but still lacked a comprehensive analysis of the dynamic differences among various capabilities during pretraining. To address the aforementioned limitations, this paper undertakes a comprehensive comparison of model capabilities at various pretraining intermediate checkpoints. Through this analysis, we confirm that specific downstream metrics exhibit similar training dynamics across models of different sizes, up to 67 billion parameters. In addition to our core findings, we've reproduced Amber and OpenLLaMA, releasing their intermediate checkpoints. This initiative offers valuable resources to the research community and facilitates the verification and exploration of LLM pretraining by open-source researchers. Besides, we provide empirical summaries, including performance comparisons of different models and capabilities, and tuition of key metrics for different training phases. Based on these findings, we provide a more user-friendly strategy for evaluating the optimization state, offering guidance for establishing a stable pretraining process.
• Abstract（参考訳）: 最終的なモデルパフォーマンスを反映した初期段階のメトリクスを明らかにすることは、大規模な事前トレーニングのコア原則のひとつです。 既存のスケーリング法則では,事前学習損失とトレーニングフロップの相関関係が示されており,これは大規模言語モデルにおける現在のトレーニング状態の重要な指標となっている。 しかし、この原則はトレーニングデータに対するモデルの圧縮特性のみに焦点を当てており、結果として下流タスクの能力改善と矛盾する。 いくつかの追従的な研究は、スケーリング法則をより複雑なメトリクス(ハイパーパラメータなど)に拡張しようとしたが、事前訓練中に様々な能力の動的差異を包括的に分析することはできなかった。 上記の制約に対処するため,本研究では,様々な事前学習中間チェックポイントにおけるモデル機能の包括的比較を行う。 この分析により、特定の下流メトリクスが、最大67億のパラメータを含む、異なるサイズのモデルにまたがる同様のトレーニングダイナミクスを示すことを確認した。 コアの発見に加えて、AmberとOpenLLaMAを再現し、中間チェックポイントをリリースしました。 このイニシアチブは、研究コミュニティに貴重なリソースを提供し、オープンソース研究者によるLLM事前学習の検証と探索を容易にする。 さらに、異なるモデルと能力のパフォーマンス比較や、異なるトレーニングフェーズのための重要なメトリクスの授業など、実証的な要約も提供します。 これらの知見に基づき、我々は最適化状態を評価するためのよりユーザフレンドリな戦略を提供し、安定した事前学習プロセスを確立するためのガイダンスを提供する。

関連論文リスト

• Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in Dense Encoders [63.28408887247742]
  得られたモデルにおいて,より優れた一般化能力を得るために,トレーニング手順の改善が可能であるかを検討する。 我々は、高密度エンコーダをトレーニングするための簡単なレシピを推奨する: LoRAのようなパラメータ効率のよいMSMARCOのトレーニング。
  論文  参考訳（メタデータ） (2023-11-16T10:42:58Z)
• An Emulator for Fine-Tuning Large Language Models using Small Language Models [91.02498576056057]
  本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。 EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。 最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:16Z)
• How Many Pretraining Tasks Are Needed for In-Context Learning of Linear Regression? [92.90857135952231]
  様々なタスクで事前訓練されたトランスフォーマーは、顕著なインコンテキスト学習(ICL)能力を示す。 線形回帰のための線形パラメータ化単一層線形アテンションモデルの事前学習を行う。
  論文  参考訳（メタデータ） (2023-10-12T15:01:43Z)
• Towards All-in-one Pre-training via Maximizing Multi-modal Mutual Information [77.80071279597665]
  マルチモーダル相互情報事前学習(M3I事前学習)を最大化するオールインワン単段階事前学習手法を提案する。 提案手法は,ImageNet分類,オブジェクト検出,LVIS長鎖オブジェクト検出,ADE20kセマンティックセマンティックセマンティックセマンティクスなど,様々なビジョンベンチマークにおける事前学習手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-11-17T18:59:49Z)
• Comparative layer-wise analysis of self-supervised speech models [29.258085176788097]
  標準相関解析(CCA)に基づく軽量解析ツールを用いて、各層に符号化された音響・音声・単語レベルの特性を測定する。 これらの特性は、モデルによって異なる層間で進化し、その変動は事前学習対象の選択に関係している。 CCAのトレンドは、下流タスクの関心層を選択するための信頼性の高いガイダンスを提供し、シングルレイヤのパフォーマンスがすべてのレイヤで一致または改善されることに気付き、事前学習されたモデルをより効率的に使用するための意味を示唆している。
  論文  参考訳（メタデータ） (2022-11-08T00:59:05Z)
• Unifying Language Learning Paradigms [96.35981503087567]
  データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。 本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。 また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
  論文  参考訳（メタデータ） (2022-05-10T19:32:20Z)
• Improving In-Context Few-Shot Learning via Self-Supervised Training [48.801037246764935]
  本稿では,事前学習と下流での撮影の中間訓練段階において,自己監督を併用することを提案する。 中間的な自己超越段階は、強いベースラインよりも優れたモデルを生成する。
  論文  参考訳（メタデータ） (2022-05-03T18:01:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。