論文の概要: Beyond Data Schedule: Fast LLM Pretraining on Data Mixtures by Loss-Reweighting

• arxiv url: http://arxiv.org/abs/2610.32141v1
• Date: Fri, 23 Oct 2026 04:09:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.341457
• Title: Beyond Data Schedule: Fast LLM Pretraining on Data Mixtures by Loss-Reweighting
• Title（参考訳）: データスケジュールを超えて - ロス・リバウンダリングによるデータ混合の高速LLMトレーニング
• Abstract要約: 損失再重み付けは、どちらの段階の軌道に沿って達成された最高の知識と推論スコアを上回る1つのチェックポイントを生成する。 LARE(Loss-Adaptive Reweighting under fixed Exposure)を提案する。
• 参考スコア（独自算出の注目度）: 30.036557725963295
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models often acquire specialized capabilities through successive pretraining stages, but these gains can come at the cost of forgetting earlier knowledge. In this work, we investigate whether such trade-offs can be improved by changing how strongly each domain contributes to learning while keeping its data exposure fixed. We find that, in controlled knowledge--mathematics experiments, loss reweighting produces a single checkpoint that surpasses the best knowledge and reasoning scores attained along either stage trajectory. This reveals an independent control that data-mixture ratios alone do not capture. Building on this finding, we propose LARE (Loss-Adaptive Reweighting under fixed Exposure), which automatically adjusts domain weights from running loss statistics. Motivated by a theoretical analysis of gradient noise, its normalized inverse-square-root rule balances relative loss scales without changing the sampled mixture or requiring additional runs to search for weights. Across knowledge, mathematics, and code, \Method{} improves all five evaluated benchmarks for a 1.5B model trained on 240B tokens, averaging +7.84 pp over a matched direct mixture, including gains of +17.06 pp on GSM8K and +9.00 pp on MATH. These findings demonstrate that adjusting domain loss scales can improve joint capabilities without additional domain exposure.
• Abstract（参考訳）: 大規模言語モデルは、しばしば連続した事前訓練段階を通じて専門的な能力を取得するが、これらの利点は、初期の知識を忘れるコストがかかる。 本研究では、各ドメインがデータ露出を固定しながら学習にどの程度貢献するかを変更して、そのようなトレードオフを改善することができるかを検討する。 制御された知識-数学実験において、損失再重み付けは、それぞれの段階の軌道に沿って達成された最良の知識と推論スコアを超える単一のチェックポイントを生成する。 これにより、データ混合比だけではキャプチャできないという独立した制御が明らかになる。 そこで本研究では, LARE (Loss-Adaptive Reweighting under fixed Exposure) を提案する。 勾配雑音の理論解析により、正規化された逆二乗根則は、サンプル混合物を変更したり、重量を求めるために追加の走行を必要とすることなく、相対的な損失スケールのバランスをとる。 知識、数学、コード全体にわたって、Method{}は240Bトークンで訓練された1.5Bモデルの5つの評価ベンチマークをすべて改善し、GSM8Kでは+17.06pp、MATHでは+9.00ppのゲインを含むマッチした直接混合に対して平均 +7.84pp である。 これらの結果から, ドメイン損失の調整は, 追加のドメイン露出を伴わずに関節機能を改善することが示唆された。

関連論文リスト

• Harnessing the Potential of Optimizing Data Mixtures via Bayesian Domain Reweighting [63.86964530167364]
  本稿では,ダイリクレ分布からの重み付けを,観測から得られたガンマ事前情報を用いて推定するベイズ領域重み付け手法を提案する。 実験により,提案手法は安定かつ効率的な領域重み付け学習を実現し,探索に基づく関数適合法よりもはるかに少ないデータを消費し,大規模アプリケーションにおいて最適化に基づく領域重み付けを活性化する。
  論文  参考訳（メタデータ） (2026-07-30T09:41:02Z)
• DISPO: Enhancing Training Efficiency and Stability in Reinforcement Learning for Large Language Model Mathematical Reasoning [31.369103012768964]
  DISPOは単純だが効果的なREINFORCEスタイルのアルゴリズムで、正しい反応と間違った反応のために重要なサンプリング重量の上昇と下降を分離する。 DISPO は AIME'24 (55.42% CISPO と 50.21% DAPO) で 61.04% を達成することを示す。
  論文  参考訳（メタデータ） (2026-02-01T02:45:04Z)
• Adaptive Weighted Loss for Sequential Recommendations on Sparse Domains [0.0]
  単一の均一な重みは、非常に少ない相互作用を持つドメインでは不十分であり、トレーニング信号は広大な汎用データセットによって容易に希釈される。 本稿では, 包括的理論的基礎と広範な実証検証を備えた動的重み付きロス関数を提案する。
  論文  参考訳（メタデータ） (2025-10-05T21:42:33Z)
• Custom Gradient Estimators are Straight-Through Estimators in Disguise [3.1037083241174197]
  量子化を意識したトレーニングには根本的な課題が伴う: 丸みのような量子化関数の微分はほとんどどこでもゼロである。 学習速度が十分に小さい場合、重み付け勾配推定器はストレート・スルー・スリー・スリー・スリー・スリー・スリー・スリー・スリー・スリー・スリー・スリー・スリー・スリー・スリー・スリー・スリー・スリー・スリー・スリー・スリー・スリー・スリー・スリー・スリー・スリー・スリー・スリー・スリー・スリー・スリー・スリー・ これらの結果は、MNISTデータセットでトレーニングされた小さな畳み込みモデルと、ImageNetでトレーニングされたResNet50モデルの両方に対して有効であることを示す。
  論文  参考訳（メタデータ） (2024-05-08T16:07:56Z)
• Impact of Noisy Supervision in Foundation Model Learning [91.56591923244943]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。