論文の概要: How Should LLMs Consume High-Quality Data? Optimal Data Scheduling via Quality-Aware Functional Scaling Laws

• arxiv url: http://arxiv.org/abs/2605.25698v1
• Date: Mon, 25 May 2026 10:56:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:19.750056
• Title: How Should LLMs Consume High-Quality Data? Optimal Data Scheduling via Quality-Aware Functional Scaling Laws
• Title（参考訳）: LLMは高品質データをどう考えるべきか?品質を考慮した機能スケーリング法による最適データスケジューリング
• Authors: Zhitao Zhu, Xili Wang, Shizhe Wu, Jiawei Fu, Xiaoqing Liu,
• Abstract要約: 大規模言語モデル(LLM)のトレーニングでは高品質なデータが不足するが、トレーニングダイナミクスと併用して使用をスケジュールする方法には理論的ガイダンスが欠如している。 LLM中等教育のためのDrop-Stable-Rampupを提案する。 108Bトークンで中級訓練された15BのMixture-of-Expertsモデルでは、Drop-Stable-RampupはWarmup-Stable-Decay(WSD)を+1.70、Cosine-Decayを+2.98で平均精度を改善する。
• 参考スコア（独自算出の注目度）: 4.9075133869724885
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-quality data is scarce in large language model (LLM) training, yet how to schedule its use jointly with training dynamics lacks theoretical guidance. We extend functional scaling laws by incorporating a data-quality dimension, and solve the joint data-quality and batch-size scheduling problem in asymptotic closed form. The solution reveals two regimes and a dual role of high-quality data. In the noise-limited regime, high-quality data should be used as a signal amplifier: lowering the batch size converts cleaner data into more signal without amplifying noise. In the signal-limited regime, it should be used as a noise suppressor: late placement reduces terminal noise without sacrificing signal accumulation. Existing curriculum-style pipelines primarily exploit the second role by placing cleaner data late, but miss the first role because conventional decay schedules reduce update intensity exactly when high-quality data becomes available. Guided by this, we propose Drop-Stable-Rampup for LLM midtraining: upon the quality transition, drop the batch size, hold it stable to accumulate signal, then ramp up to suppress terminal noise. On a 15B Mixture-of-Experts model midtrained on 108B tokens, Drop-Stable-Rampup improves average accuracy over Warmup-Stable-Decay (WSD) by +1.70 and over Cosine-decay by +2.98, with particularly large gains on mathematical reasoning benchmarks such as GSM8K (+4.23) and MATH (+2.80).
• Abstract（参考訳）: 大規模言語モデル(LLM)のトレーニングでは高品質なデータが不足するが、トレーニングダイナミクスと併用して使用をスケジュールする方法には理論的ガイダンスが欠如している。 データ品質の次元を組み込んで関数スケーリングの法則を拡張し、漸近的閉形式におけるデータ品質とバッチサイズスケジューリングの連立問題を解く。 このソリューションは2つのレジームと、高品質なデータの二重の役割を明らかにする。 ノイズ制限方式では、高品質なデータを信号増幅器として用いる必要がある: バッチサイズを下げることで、ノイズを増幅することなく、よりクリーンなデータをより多くの信号に変換する。 信号制限方式では、信号蓄積を犠牲にすることなく終端雑音を低減させるノイズ抑制器として用いる必要がある。 既存のカリキュラムスタイルのパイプラインは主に、よりクリーンなデータを置くことで第2の役割を利用するが、従来の崩壊スケジュールでは、高品質なデータが利用可能になったときの更新強度を正確に減らすため、第1の役割を逃す。 そこで本研究では,LLM中等教育のためのDrop-Stable-Rampupを提案する。 108Bのトークンで中間訓練された15BのMixture-of-Expertsモデルでは、Drop-Stable-Decay(WSD)の平均精度を+1.70、Cosine-Decay+2.98で改善し、特にGSM8K(+4.23)やMATH(+2.80)のような数学的推論ベンチマークにおいて大きな進歩をもたらした。

関連論文リスト

• Information-Guided Noise Allocation for Efficient Diffusion Training [50.49440376762109]
  InfoNoiseはデータ適応型トレーニングノイズスケジュールであり、スケジュール設計を情報誘導型ノイズサンプリング分布に置き換える。 自然画像のベンチマーク全体において、InfoNoiseはEDMスタイルのスケジュールにマッチするか、あるいは超えている。 全体としてInfoNoiseは、ノイズスケジューリングをデータ適応化し、拡散モデルがドメイン全体に広がるにつれて、データセットごとのスケジュール設計の必要性を減らす。
  論文  参考訳（メタデータ） (2026-02-20T22:45:01Z)
• Unifying Sign and Magnitude for Optimizing Deep Vision Networks via ThermoLion [0.0]
  現在のパラダイムは、情報チャネルドリフトパラメータに静的な妥協を課している。 我々は「低次元」探索モデルと「低次元」動的アライメントフレームワークを導入する。
  論文  参考訳（メタデータ） (2025-12-01T17:04:17Z)
• Winning the Pruning Gamble: A Unified Approach to Joint Sample and Token Pruning for Efficient Supervised Fine-Tuning [71.30276778807068]
  サンプルプルーニングとトークンプルーニングを戦略的に協調する統合フレームワークを提案する。 Q-Tuningは、トレーニングデータの12.5%しか使用せず、全データSFTベースラインに対する平均38%の改善を実現している。
  論文  参考訳（メタデータ） (2025-09-28T13:27:38Z)
• DiffImpute: Tabular Data Imputation With Denoising Diffusion Probabilistic Model [9.908561639396273]
  DiffImputeという新しい拡散確率モデル(DDPM)を提案する。 既存のデータの信頼性を損なうことなく、欠落したエントリに対して信頼できる警告を生成する。 Missing Completely At Random (MCAR) と Missing At Random (MAR) の様々な設定に適用できる。
  論文  参考訳（メタデータ） (2024-03-20T08:45:31Z)
• Batch-less stochastic gradient descent for compressive learning of deep regularization for image denoising [0.0]
  クリーンな信号や画像のデータベースから取得した事前情報の助けを借りて飾ることの問題点を考察する。 ディープニューラルネットワーク(DNN)では、大規模なトレーニングデータベースから複雑な分布を復元することができる。 深部正規化パラメータの回復のための2種類の勾配降下法(SGD)を提案する。
  論文  参考訳（メタデータ） (2023-10-02T11:46:11Z)
• On-the-fly Denoising for Data Augmentation in Natural Language Understanding [101.46848743193358]
  よりクリーンなオリジナルデータに基づいて訓練された有機教師モデルによって提供されるソフトな拡張ラベルから学習する,データ拡張のためのオンザフライデノケーション手法を提案する。 本手法は,一般的な拡張手法に適用でき,テキスト分類と質問応答の両タスクの性能を一貫して向上させることができる。
  論文  参考訳（メタデータ） (2022-12-20T18:58:33Z)
• A Data-driven Loss Weighting Scheme across Heterogeneous Tasks for Image Denoising [67.02529586335473]
  変分分解モデルでは、データ忠実度項の重みはノイズ除去能力を高める役割を担っている。 本研究では,これらの問題に対処するデータ駆動型損失重み付け手法を提案する。 DLWの顕著な性能を検証し,様々な変分復調モデルの複素雑音処理能力の向上に寄与することを示した。
  論文  参考訳（メタデータ） (2022-12-09T03:28:07Z)
• SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
  既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。 KRRのストリーミング版であるStreaMRAKを提案する。 本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
  論文  参考訳（メタデータ） (2021-08-23T21:03:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。