論文の概要: Data Schedules and Learning Rate Schedules Should Be Designed Together

• arxiv url: http://arxiv.org/abs/2610.29348v1
• Date: Wed, 21 Oct 2026 07:42:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.278054
• Title: Data Schedules and Learning Rate Schedules Should Be Designed Together
• Title（参考訳）: データスケジューリングと学習率スケジューリングは一緒に設計されるべきである
• Abstract要約: MT(Mid-training)は、LLMトレーニングパイプラインにおけるトレーニングフェーズであり、より高い価値の小さなデータセットで事前トレーニング(PT)を継続する。 PTとMTのフェーズを全体として考えると、トレーニングは通常、PTデータのみから始まり、MTデータに完全に移行する。 1つのデータスケジュールは1つのLRスケジュールで別のデータスケジュールより優れているが、LRスケジュールだけを変えると結果が逆になる。
• 参考スコア（独自算出の注目度）: 16.044068830770886
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Mid-training (MT) is a training phase in LLM training pipelines that continues pretraining (PT) on smaller datasets of higher value. Taking the PT and MT phases as a whole, training usually starts with only PT data and then transitions completely to MT data. In this work, we view this complete transition from PT to MT data as a special case of a broader class of data mixing schedules that specify how the proportions of PT and MT tokens in each batch change over training. Under fixed total training compute and MT token budgets, we ask: Is this complete transition to MT data optimal for minimizing final MT loss? We show that the answer depends on the learning rate (LR) schedule: one data schedule may outperform another under one LR schedule, but changing only the LR schedule can reverse the outcome. Specifically, when the LR decays throughout continued training, introducing MT data earlier and mixing it with PT data lowers the final MT loss compared with placing all MT data at the end of training, but this result is reversed if we use constant LR. We therefore study how to jointly choose when to introduce MT data and when to decay the LR through ablation studies, and find that it is better to decay the LR only after MT data enters training. Finally, we develop a theoretical model that explains why the optimal data schedule for a fixed MT token budget depends on the LR schedule.
• Abstract（参考訳）: MT(Mid-training)は、LLMトレーニングパイプラインにおけるトレーニングフェーズであり、より高い価値の小さなデータセットで事前トレーニング(PT)を継続する。 PTとMTのフェーズを全体として考えると、トレーニングは通常、PTデータのみから始まり、MTデータに完全に移行する。 本研究では,PTデータからMTデータへの完全移行を,PTトークンとMTトークンの比率がトレーニング前後にどのように変化するかを示す,より広範なデータ混合スケジュールの特殊なケースとみなす。 この完全なMTデータへの遷移は、最終MT損失を最小限に抑えるのに最適か? 1つのデータスケジュールは1つのLRスケジュールで別のデータスケジュールより優れているが、LRスケジュールだけを変えると結果が逆になる。 具体的には、トレーニング継続中にLRが減衰し、早期にMTデータを導入してPTデータと混合すると、トレーニング終了時に全てのMTデータが配置されるのに比べて最終MT損失が減少するが、一定のLRを使用するとこの結果は逆になる。 そこで我々は、MTデータの導入時期とLRの崩壊時期をアブレーション研究により共同で選択し、MTデータがトレーニングに入るとLRが崩壊する方が良いと判断した。 最後に,固定MTトークン予算の最適データスケジュールがLRスケジュールに依存する理由を説明する理論的モデルを開発する。

関連論文リスト

• Pretraining Recurrent Networks without Recurrence [28.905819079755762]
  リカレントニューラルネットワーク(RNN)のトレーニングには、長い列の計算でクレジットを割り当てる必要がある。 本稿では,再帰的クレジット伝搬を完全にサイドステップとする非線形RNNのトレーニング手法であるSupervised Memory Training (SMT)を提案する。
  論文  参考訳（メタデータ） (2026-06-04T17:57:33Z)
• TRACT: Regression-Aware Fine-tuning Meets Chain-of-Thought Reasoning for LLM-as-a-Judge [59.57934574562651]
  TRACT(Two-stage Regression-Aware fine-tuning with CoT)は、CoT推論と回帰学習を組み合わせた手法である。 4つの LLM-as-a-judge データセットと2つの LLM データセットによる実験により、TRACT が既存の手法よりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2025-03-06T12:33:20Z)
• Simple and Scalable Strategies to Continually Pre-train Large Language Models [20.643648785602462]
  大規模言語モデル(LLM)は、数十億のトークンで定期的に事前訓練されるが、新しいデータが利用可能になると、プロセスを再開する。 学習率のリウォーミング、LR再計算、過去のデータのリプレイをシンプルかつスケーラブルに組み合わせることで、スクラッチから完全に再学習する性能に匹敵することを示す。
  論文  参考訳（メタデータ） (2024-03-13T17:58:57Z)
• On the Complementarity between Pre-Training and Random-Initialization for Resource-Rich Machine Translation [80.16548523140025]
  テキスト表現の事前学習(PT)が低リソースニューラルネットワーク翻訳(NMT)に成功している 本稿では,それらの相補性と,PTとRIを協調させる最適輸送を用いたモデル融合アルゴリズムを提案する。 WMT'17 English- Chinese (20M) と WMT'19 English-German (36M) の2つのリソース豊富な翻訳ベンチマークの実験は、PT と RI が相互に相補的であることを示した。
  論文  参考訳（メタデータ） (2022-09-07T17:23:08Z)
• Branch-Train-Merge: Embarrassingly Parallel Training of Expert Language Models [106.65127123304842]
  Branch-Train-Merge (BTM) は、大規模言語モデル(LLM)の並列トレーニングのための効率的なアルゴリズムである。 BTMは独立した専門家のLM(ELM)の集合を学習し、それぞれ異なるテキストドメインに特化している。 実験により、BTMはGPTスタイルのトランスフォーマーLMと比較して、ドメイン内および外部のパープレクティビティを改善することが示された。
  論文  参考訳（メタデータ） (2022-08-05T17:46:38Z)
• How Important is the Train-Validation Split in Meta-Learning? [155.5088631672781]
  メタラーニングにおける一般的な実践は、前者がデータの1つの分割に対してタスクに適応し、その結果の予測器が別の分割に対して評価される列車バリデーション分割(emphtrain-val method)を実行することである。 有病率にもかかわらず、列車の改札の重要性は理論上も実際上もよく理解されていない。 そこで本研究では,実際のメタ学習タスクとシミュレーションの両方において,トレイン・トレイン法がトレイン・ヴァル法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-12T16:48:42Z)
• MLR-SNet: Transferable LR Schedules for Heterogeneous Tasks [56.66010634895913]
  学習率(LR)は、勾配降下(SGD)訓練ネットワーク(DNN)において最も重要なハイパーラーニングネットワークパラメータの1つである。 本稿では,MLR-SNetタスクの適切なLRスケジュールを学習することを提案する。 また、MLR-SNetを使用して、異なるノイズ、アーキテクチャ、データモダリティ、トレーニング用のサイズなどのタスクをクエリし、パフォーマンスを達成または改善します。
  論文  参考訳（メタデータ） (2020-07-29T01:18:58Z)
• Language Model Prior for Low-Resource Neural Machine Translation [85.55729693003829]
  ニューラル翻訳モデル (TM) において, LM を事前に組み込む新しい手法を提案する。 正規化項を追加し、TMの出力分布をLMの下で予測可能とする。 2つの低リソース機械翻訳データセットの結果は、限られたモノリンガルデータであっても明らかな改善を示している。
  論文  参考訳（メタデータ） (2020-04-30T16:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。