論文の概要: InfoLaw: Information Scaling Laws for Large Language Models with Quality-Weighted Mixture Data and Repetition

• arxiv url: http://arxiv.org/abs/2605.02364v1
• Date: Mon, 04 May 2026 09:07:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:50.206403
• Title: InfoLaw: Information Scaling Laws for Large Language Models with Quality-Weighted Mixture Data and Repetition
• Title（参考訳）: InfoLaw: 品質重み付け混合データと繰り返しを伴う大規模言語モデルの情報スケーリング法則
• Authors: Fengze Liu, Weidong Zhou, Binbin Liu, Ping Guo, Zijun Wang, Bingni Zhang, Yifan Zhang, Yifeng Yu, Xiaohuan Zhou, Taifeng Wang,
• Abstract要約: LLMプリトレーニングにおける高品質なデータのアップウェイト化は、しばしば性能を改善するが、特に過度のトレーニング下では、より強力なアップウェイト化は繰り返しを増大させ、性能を低下させる可能性がある。 我々はInfoLawを紹介した。これは、消費トークン、モデルサイズ、データ混合重量、繰り返しからの損失を予測する、データ対応のスケーリングフレームワークである。
• 参考スコア（独自算出の注目度）: 18.346630567592733
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Upweighting high-quality data in LLM pretraining often improves performance, but in datalimited regimes, especially under overtraining, stronger upweighting increases repetition and can degrade performance. However, standard scaling laws do not reliably extrapolate across mixture recipes or under repetitions, making the selection for optimal data recipes at scaling underdetermined. To solve this, we introduce InfoLaw (Information Scaling Laws), a data-aware scaling framework that predicts loss from consumed tokens, model size, data mixture weights, and repetition. The key idea is to model pretraining as information accumulation, where quality controls information density and repetition induces scaledependent diminishing returns. We first collect the model performance after training on datasets that vary in scale, quality distribution, and repetition level. Then we build up the modeling for information so that information accurately predicts those model performance. InfoLaw predicts performance on unseen data recipes and larger scale runs (up to 7B, 425B tokens) with 0.15% mean and 0.96% max absolute error in loss, and it extrapolates reliably across overtraining levels, enabling efficient data-recipe selection under varying compute budgets.
• Abstract（参考訳）: LLMプリトレーニングにおける高品質なデータのアップウェイト化は、しばしば性能を改善するが、特に過度のトレーニング下では、より強力なアップウェイト化は繰り返しを増大させ、性能を低下させる可能性がある。 しかし、標準的なスケーリング法則は、混合レシピや繰り返しで確実に外挿されないため、スケーリング時の最適なデータレシピの選択は過度に決定される。 この問題を解決するためにInfoLaw(Information Scaling Laws)という,消費トークンからの損失,モデルサイズ,データ混合重量,繰り返しを予測する,データ対応のスケーリングフレームワークを紹介した。 鍵となる考え方は、事前学習を情報蓄積としてモデル化することであり、そこでは品質が情報密度を制御し、繰り返しはスケール依存的な減少するリターンを誘導する。 まず、スケール、品質分布、反復レベルの異なるデータセットをトレーニングした後、モデルパフォーマンスを収集します。 そして、情報のためのモデリングを構築し、それらのモデルの性能を正確に予測する。 InfoLawは、目に見えないデータレシピと大規模実行(最大7B、425Bトークン)のパフォーマンスを平均0.15%、損失の絶対誤差0.96%で予測し、オーバートレーニングレベルにわたって確実に外挿し、さまざまな計算予算の下で効率的なデータレシピ選択を可能にする。

関連論文リスト

• Prescriptive Scaling Laws for Data Constrained Training [21.261009598515066]
  トレーニング計算は、高品質なデータの可用性をますます上回っている。 チンチラスケーリング法は、すべてのトレーニングトークンがユニークであると仮定する。 我々のスケーリング法則は、定性的に新しい計算-最適割り当てアドバイスをもたらす。
  論文  参考訳（メタデータ） (2026-05-02T23:14:20Z)
• Scaling Laws Revisited: Modeling the Role of Data Quality in Language Model Pretraining [13.89166201149496]
  本稿では,モデルサイズ,データボリューム,データ品質の結合関数として損失を予測するため,Chinchillaフレームワークを拡張した品質対応スケーリング法を提案する。 データ品質による損失スケールが予測可能であり,高品質なデータにより,モデルサイズを大幅に削減し,従って計算要求を低減できることを示す。
  論文  参考訳（メタデータ） (2025-09-30T22:45:06Z)
• LLMs on the Line: Data Determines Loss-to-Loss Scaling Laws [21.053622641336744]
  ロス・ツー・ロスのスケーリング法則は、事前トレーニングされたデータセットと下流タスク間の損失を関連付ける。 実験の結果,事前学習データとトークン化器がスケーリングの傾向を決定することがわかった。
  論文  参考訳（メタデータ） (2025-02-17T18:45:25Z)
• Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance [55.872926690722714]
  本研究では,関数形式の混合比に関するモデル性能の予測可能性について検討する。 トレーニングステップのスケーリング法則,モデルサイズ,データ混合法則のネスト利用を提案する。 提案手法は,RedPajamaにおける100Bトークンをトレーニングした1Bモデルのトレーニング混合物を効果的に最適化する。
  論文  参考訳（メタデータ） (2024-03-25T17:14:00Z)
• D4: Improving LLM Pretraining via Document De-Duplication and Diversification [38.84592304799403]
  事前訓練されたモデル埋め込みによる慎重なデータ選択は、トレーニングをスピードアップできることを示す。 また、データ繰り返しがベースライントレーニングよりインテリジェントに優れていることも示しています。
  論文  参考訳（メタデータ） (2023-08-23T17:58:14Z)
• Scaling Data-Constrained Language Models [133.2083255645999]
  データ制約付きシステムにおける言語モデルのスケーリングについて検討する。 固定された計算予算に対する制約付きデータでは、反復するデータの最大4つのエポックなトレーニングは、ユニークなデータに比べて損失に対する無視可能な変化をもたらす。 本稿では,繰り返しトークンと過剰パラメータの値の減少を考慮に入れた計算最適性のスケーリング法則を提案し,実証的に検証する。
  論文  参考訳（メタデータ） (2023-05-25T17:18:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。