論文の概要: To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis

• arxiv url: http://arxiv.org/abs/2305.13230v2
• Date: Thu, 5 Oct 2023 14:58:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 12:23:55.691711
• Title: To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis
• Title（参考訳）: 繰り返すか繰り返すか:Token-Crisis下でのLSMのスケーリングから
• Authors: Fuzhao Xue, Yao Fu, Wangchunshu Zhou, Zangwei Zheng, Yang You
• Abstract要約: 大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
• 参考スコア（独自算出の注目度）: 50.31589712761807
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent research has highlighted the importance of dataset size in scaling language models. However, large language models (LLMs) are notoriously token-hungry during pre-training, and high-quality text data on the web is approaching its scaling limit for LLMs. To further enhance LLMs, a straightforward approach is to repeat the pre-training data for additional epochs. In this study, we empirically investigate three key aspects under this approach. First, we explore the consequences of repeating pre-training data, revealing that the model is susceptible to overfitting, leading to multi-epoch degradation. Second, we examine the key factors contributing to multi-epoch degradation, finding that significant factors include dataset size, model parameters, and training objectives, while less influential factors consist of dataset quality and model FLOPs. Finally, we explore whether widely used regularization can alleviate multi-epoch degradation. Most regularization techniques do not yield significant improvements, except for dropout, which demonstrates remarkable effectiveness but requires careful tuning when scaling up the model size. Additionally, we discover that leveraging mixture-of-experts (MoE) enables cost-effective and efficient hyper-parameter tuning for computationally intensive dense LLMs with comparable trainable parameters, potentially impacting efficient LLM development on a broader scale.
• Abstract（参考訳）: 最近の研究は、スケールする言語モデルにおけるデータセットのサイズの重要性を強調している。 しかし、事前トレーニング中の大言語モデル(llm)はトークンに富むことで悪名高く、web上の高品質なテキストデータがllmのスケーリング限界に近づいている。 LLMをさらに強化するために、簡単なアプローチは、追加のエポックのために事前学習データを繰り返すことである。 本研究では,本研究における3つの重要な側面を実証的に検討する。 まず,事前学習データを繰り返した結果について検討し,モデルが過度に適合しやすいことを明らかにし,マルチ・エポック劣化を生じさせる。 第2に,マルチエピック劣化に寄与する重要な要因について検討し,データセットのサイズ,モデルパラメータ,トレーニング目標など重要な要因について検討した。 最後に、広く使われている正規化がマルチエピック劣化を緩和できるかどうかを考察する。 ほとんどの正規化技術では、ドロップアウトを除いて大幅な改善は行われないが、モデルサイズをスケールアップするには注意深いチューニングが必要である。 さらに,ME(Mixix-of-Experts)を利用することで,計算量の多い高密度LLMに対して,コスト効率,高効率なハイパーパラメータチューニングが可能であることが判明した。

関連論文リスト

• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• LLMs on the Line: Data Determines Loss-to-Loss Scaling Laws [21.053622641336744]
  ロス・ツー・ロスのスケーリング法則は、事前トレーニングされたデータセットと下流タスク間の損失を関連付ける。 実験の結果,事前学習データとトークン化器がスケーリングの傾向を決定することがわかった。
  論文  参考訳（メタデータ） (2025-02-17T18:45:25Z)
• Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining [55.262510814326035]
  既存のリウェイト戦略は主にグループレベルのデータの重要性に焦点を当てている。 動的・インスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。 当社のフレームワークでは,冗長データや非形式データを優先的に再重み付けする戦略を考案することが可能です。
  論文  参考訳（メタデータ） (2025-02-10T17:57:15Z)
• Curriculum-style Data Augmentation for LLM-based Metaphor Detection [3.864321514889099]
  オープンソースLLMの微調整によるメタファ検出手法を提案する。 本手法は,すべてのベースラインにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-12-04T02:05:21Z)
• Accelerating Large Language Model Pretraining via LFR Pedagogy: Learn, Focus, and Review [50.78587571704713]
  Learn-Focus-Review(LFR)は、モデルの学習進捗に適応する動的トレーニングアプローチである。 LFRは、データブロック(トークンのシーケンス)にわたるモデルの学習パフォーマンスを追跡し、データセットの困難な領域を再検討する。 フルデータセットでトレーニングされたベースラインモデルと比較して、LFRは一貫して低いパープレキシティと高い精度を達成した。
  論文  参考訳（メタデータ） (2024-09-10T00:59:18Z)
• Breaking Language Barriers: Cross-Lingual Continual Pre-Training at Scale [18.015805664219673]
  本稿では,既存のLLMから連続的に事前学習(CPT)を行うことにより,大規模言語モデル構築のための代替手法を検討する。 CPTはより高速に収束し、拡張性のある方法で重要なリソースを節約できる。 スケールでの転送の有効性は、トレーニング期間と言語特性に影響され、データ再生に頑健である。
  論文  参考訳（メタデータ） (2024-07-02T10:06:41Z)
• Curated LLM: Synergy of LLMs and Data Curation for tabular augmentation in low-data regimes [57.62036621319563]
  本稿では,Large Language Models (LLMs) の知識を低データ構造におけるデータ拡張に活用したCLLMを紹介する。 従来のジェネレータと比較して,低データ方式におけるCLLMの優れた性能を示す。
  論文  参考訳（メタデータ） (2023-12-19T12:34:46Z)
• Scaling Relationship on Learning Mathematical Reasoning with Large Language Models [75.29595679428105]
  本研究では,事前学習損失,教師付きデータ量,拡張データ量が教師付きLDMの推論性能に与える影響について検討する。 複数のモデルからの拒絶サンプルは、LLaMA-7BをGSM8Kの49.3%の精度に押し上げ、監督された微調整(SFT)の精度を35.9%上回る結果となった。
  論文  参考訳（メタデータ） (2023-08-03T15:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。