論文の概要: Temporal Scaling Law for Large Language Models

• arxiv url: http://arxiv.org/abs/2404.17785v2
• Date: Sun, 16 Jun 2024 11:06:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 04:48:05.709380
• Title: Temporal Scaling Law for Large Language Models
• Title（参考訳）: 大規模言語モデルの時間スケーリング法則
• Authors: Yizhe Xiong, Xiansheng Chen, Xin Ye, Hui Chen, Zijia Lin, Haoran Lian, Zhenpeng Su, Jianwei Niu, Guiguang Ding,
• Abstract要約: 本稿では,LLMの試験損失が,トレーニングステップのスケールアップとともにどのように進展するかを考察する,時間スケーリング法の概念を提案する。 テスト損失全体を粗い粒度でモデル化するのとは対照的に、私たちはそれを分解して、各トークン位置のきめ細かいテスト損失に飛び込みます。 動的双曲法則におけるパラメータの時間的パターンを研究することにより、より正確な時間的スケーリング法則を導出する。
• 参考スコア（独自算出の注目度）: 24.12384260752973
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, Large Language Models (LLMs) have been widely adopted in a wide range of tasks, leading to increasing attention towards the research on how scaling LLMs affects their performance. Existing works, termed Scaling Laws, have discovered that the final test loss of LLMs scales as power-laws with model size, computational budget, and dataset size. However, the temporal change of the test loss of an LLM throughout its pre-training process remains unexplored, though it is valuable in many aspects, such as selecting better hyperparameters \textit{directly} on the target LLM. In this paper, we propose the novel concept of Temporal Scaling Law, studying how the test loss of an LLM evolves as the training steps scale up. In contrast to modeling the test loss as a whole in a coarse-grained manner, we break it down and dive into the fine-grained test loss of each token position, and further develop a dynamic hyperbolic-law. Afterwards, we derive the much more precise temporal scaling law by studying the temporal patterns of the parameters in the dynamic hyperbolic-law. Results on both in-distribution (ID) and out-of-distribution (OOD) validation datasets demonstrate that our temporal scaling law accurately predicts the test loss of LLMs across training steps. Our temporal scaling law has broad practical applications. First, it enables direct and efficient hyperparameter selection on the target LLM, such as data mixture proportions. Secondly, viewing the LLM pre-training dynamics from the token position granularity provides some insights to enhance the understanding of LLM pre-training.
• Abstract（参考訳）: 近年、LLM(Large Language Models)は幅広いタスクで広く採用されており、LLMのスケーリングがパフォーマンスに与える影響についての研究に注目が集まっている。 既存のScaling Lawsと呼ばれる研究は、LLMの最終的なテスト損失が、モデルサイズ、計算予算、データセットサイズを備えたパワーローとしてスケールすることを発見した。 しかしながら、LLMの事前学習過程におけるテスト損失の時間的変化は、まだ解明されていないが、ターゲットのLLM上でより良いハイパーパラメータを選択できるなど、多くの面で有用である。 本稿では,LLMの試験損失が,トレーニングステップのスケールアップとともにどのように進展するかを考察する,テンポラルスケーリング法の概念を提案する。 粗い粒度でテスト損失全体をモデル化するのとは対照的に、我々はそれを分解して各トークン位置のきめ細かいテスト損失に潜り込み、さらに動的な双曲型法則を発達させます。 その後、動的双曲法則におけるパラメータの時間的パターンを研究することにより、より正確な時間的スケーリング法則を導出する。 In-distriion (ID) と Out-of-distriion (OOD) の2つの検証データセットの結果は、我々の時間的スケーリング法則がトレーニングステップ間のLCMのテスト損失を正確に予測していることを示している。 我々の時間的スケーリング法は幅広い応用がある。 まず、データ混合比率などの目標LLMに対して、直接的かつ効率的なハイパーパラメータ選択を可能にする。 第二に、トークン位置の粒度からLLM事前学習のダイナミクスを見ることは、LLM事前学習の理解を深めるための洞察を与える。

関連論文リスト

• Dynamic Uncertainty Ranking: Enhancing In-Context Learning for Long-Tail Knowledge in LLMs [50.29035873837]
  大規模言語モデル(LLM)は、事前訓練中に多様なドメインから膨大な量の知識を学習することができる。 専門ドメインからの長い尾の知識は、しばしば不足し、表現されていないため、モデルの記憶にはほとんど現れない。 ICLの強化学習に基づく動的不確実性ランキング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T03:42:17Z)
• Bayesian scaling laws for in-context learning [72.17734205418502]
  In-context Learning(ICL)は、言語モデルをトレーニング更新なしで複雑なタスクを実行するための強力なテクニックである。 我々は、ICCがベイズ学習者を近似し、ICCのための新しいベイズスケーリング法則のファミリーを開発することを示す。
  論文  参考訳（メタデータ） (2024-10-21T21:45:22Z)
• Scaling Laws for Predicting Downstream Performance in LLMs [75.28559015477137]
  この研究は、性能評価のためのより効率的な指標として、事前学習損失に焦点を当てている。 我々は、データソース間のFLOPに基づいて、ドメイン固有の事前学習損失を予測するために、電力法解析関数を拡張した。 我々は2層ニューラルネットワークを用いて、複数のドメイン固有の損失と下流性能の非線形関係をモデル化する。
  論文  参考訳（メタデータ） (2024-10-11T04:57:48Z)
• Scaling Law with Learning Rate Annealing [4.121865876406014]
  ニューラルネットワークモデルのクロスエントロピー損失曲線は、学習速度(LR)がトレーニングステップを上回り、スケーリング法則に準拠している。 LRアニールによるスケーリング法則の適用により、学習速度(LRS)の任意のステップにおける損失を正確に予測することができる。
  論文  参考訳（メタデータ） (2024-08-20T17:30:48Z)
• Performance Law of Large Language Models [58.32539851241063]
  性能法則は、LLMアーキテクチャの選択と計算資源の効率的な割り当てを導くために用いられる。 性能法則は、LLMアーキテクチャの選択と計算資源の効率的な割り当てを広範な実験なしで導くのに利用できる。
  論文  参考訳（メタデータ） (2024-08-19T11:09:12Z)
• Faster and Lighter LLMs: A Survey on Current Challenges and Way Forward [29.81212051279456]
  モデル圧縮およびシステムレベルの最適化手法の最近の進歩は、LLM推論を強化することを目的としている。 この調査はこれらの手法の概要を提供し、最近の発展を強調している。
  論文  参考訳（メタデータ） (2024-02-02T06:29:34Z)
• Dynamic Sparse No Training: Training-Free Fine-tuning for Sparse LLMs [67.38165028487242]
  そこで我々は,DSnoT(Dynamic Sparse No Training, 動的スパース・ノー・トレーニング)を導入した。 動的スパーストレーニングにインスパイアされたDSnoTは、密度とスパースLLM間の再構成誤差を最小限に抑える。 本稿は, LLMのスパースを, 効率的なトレーニング自由な方法で微調整し, 新たな会場をオープンして, LLMの空間性に大きな可能性を拡大する方法について, 新たな知見を提供する。
  論文  参考訳（メタデータ） (2023-10-13T07:38:52Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。