論文の概要: SOLAR: A State-Driven Online Learning Rate Scheduler for LLM Pretraining

• arxiv url: http://arxiv.org/abs/2609.34681v1
• Date: Mon, 28 Sep 2026 09:09:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 11:20:10.903142
• Title: SOLAR: A State-Driven Online Learning Rate Scheduler for LLM Pretraining
• Title（参考訳）: SOLAR: LLM事前学習のための状態駆動型オンライン学習率スケジューリング
• Abstract要約: SOLAR(State-driven Online Learning rAte scheduleR)は、信頼性の高いオンラインLR適応のための安定化されたフレームワークである。 個々のパラメータ群に対する有界状態依存残差補正を学習する。 軽量な状態表現と進捗対応報酬ガイドがオンライン学習をガイドし、Circuit-Breakerは稀な安全でないアクションの後にトレーニングを復元する。
• 参考スコア（独自算出の注目度）: 6.154193124905528
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning-rate (LR) scheduling plays a central role in large language model (LLM) pretraining, yet current practice still relies heavily on hand-crafted heuristics such as Warmup-Cosine-Decay and Warmup-Stable-Decay. Because these schedules are fixed in advance, they cannot adapt to evolving optimization dynamics. Online learned scheduling within the Learning to Optimize (L2O) framework offers a dynamic alternative, but remains brittle at LLM scale due to noisy signals, delayed feedback, and the risk of catastrophic divergence. We propose SOLAR (State-driven Online Learning rAte scheduleR), a stabilized framework for reliable online LR adaptation. SOLAR uses a base schedule as a reference and learns bounded, state-dependent residual corrections for individual parameter groups. Each correction re-anchors to the base at every step, allowing the policy to adapt the LR without relearning the warmup-decay profile. A lightweight state representation and progress-aware reward guide online learning, while a Circuit-Breaker restores training after rare unsafe actions. Across autoregressive language-model pretraining, SOLAR improves final perplexity over tuned static schedules and automatic LR tuners for dense models from 60M to 1B, AdamW and Muon, and two MoE settings up to 3B. Matched 130M controls show that adding base anchoring and action bounds improves a global PPO controller from 27.09 to 23.74 final PPL, while group-wise control reaches 22.87 on the same two seeds. A residual policy trained on a 60M proxy can also be frozen and reused at larger dense scales without target PPO updates, remaining effective across a fourfold base-LR range. These results establish SOLAR as a practical learned LR controller for LLM pretraining.
• Abstract（参考訳）: ラーニングレート(LR)スケジューリングは、大規模言語モデル(LLM)の事前訓練において中心的な役割を果たすが、現在のプラクティスは、Warmup-Cosine-DecayやWarmup-Stable-Decayといった手作りのヒューリスティックに大きく依存している。 これらのスケジュールは事前に固定されているため、最適化力学の進化に適応することはできない。 Learning to Optimize(L2O)フレームワーク内のオンライン学習スケジューリングは、動的に代替手段を提供するが、ノイズ信号、遅延フィードバック、破滅的な分岐のリスクにより、LLMスケールでは不安定である。 本稿では、信頼性の高いオンラインLR適応のための安定化フレームワークであるSOLAR(State-driven Online Learning rAte scheduleR)を提案する。 SOLARは基準として基本スケジュールを使用し、個々のパラメータ群に対する境界付き状態依存残差補正を学習する。 各補正は各ステップごとにベースに再アンカーし、ウォームアップ・デカイプロファイルを学習することなくLRを適応させる。 軽量な状態表現と進捗対応報酬ガイドがオンライン学習をガイドし、Circuit-Breakerは稀な安全でないアクションの後にトレーニングを復元する。 SOLARは、自動回帰言語モデルの事前トレーニング全体にわたって、チューニング済みの静的スケジュールと、60Mから1B、AdamWとMuonの高密度モデルのためのLRチューナー、および2つのMoE設定を3Bに改善する。 一致した130Mコントロールは、ベースアンカーとアクションバウンドの追加によりグローバルPPOコントローラが27.09から23.74の最終PPLに改善され、グループワイドコントロールは同じ2つのシードで22.87に達したことを示している。 60Mプロキシでトレーニングされた残留ポリシーは、ターゲットのPPO更新を使わずに、より大規模な密集スケールで凍結および再利用することが可能で、4倍のベースLR範囲で有効である。 これらの結果から,SOLARをLLM事前学習のための実用的なLRコントローラとして確立した。

関連論文リスト

• Accelerating Reinforcement Learning via MPC Solver-Gradient Guidance for Weights-varying MPC [17.152519147246842]
  本稿では,RLをベースとしたオンラインMPCコスト重み付けのためのソルバ感度向上手法を提案する。 SG-RL in Proximal Policy Optimization (PPO) with four modular algorithm that inject solver-gradient guidance into actor-update scaling, policy loss, advantage estimation, and value-function learning。 意図的なモデルミスマッチを持つ2つのフルスケールの自律レースプラットフォームにおいて、SG-RLは最大70.6%のサンプルでPPOの最高のクローズドループリターンに達し、クローズドループリターンにおいてGB-PLベースラインを少なくとも54%上回り、ゼロショットを目に見えない環境に一般化する。
  論文  参考訳（メタデータ） (2026-09-01T10:55:18Z)
• Effective Learning Rate Governs Loss Dynamics in Language Model Pretraining [14.638843324365546]
  学習率(LR)とパラメータノルムは、その比率、有効学習率(ELR)を通して損失ダイナミクスを制御している ELRはランで一致し、LRとパラメータの基準がかなり異なるにもかかわらず、トレーニング中に損失軌跡は崩壊する。 崩壊エラーは通常、代表的な構成で測定された種子から種子までの変動より下の数 x 10-3 である。
  論文  参考訳（メタデータ） (2026-08-25T16:57:29Z)
• Uncertainty-Aware LLM-Guided Policy Shaping for Sparse-Reward Reinforcement Learning [2.384534878752428]
  校正された大言語モデルを強化学習訓練ループに統合するフレームワークである,不確実性を考慮した LLM-Guided Policy Shaping (ULPS) を提案する。 ULPS は A* ベースのオラクルを用いて最適な記号軌道を合成し、BERT ベースの言語モデルを微調整する。 成功率、報酬効率、サンプルの複雑さを、無誘導、非校正、標準のRLベースラインで一貫した改善を観察する。
  論文  参考訳（メタデータ） (2026-06-04T19:46:45Z)
• SOPE: Stabilizing Off-Policy Evaluation for Online RL with Prior Data [49.370849653460716]
  本稿では,アクタに整列したオフポリシー評価信号を用いたSOPEを,自動早期停止機構として提案する。 Minariベンチマークスイートから25の継続的制御タスクを評価した。 SOPEはベースライン性能を最大45.6%改善し、必要なTFLOPを最大22倍改善した。
  論文  参考訳（メタデータ） (2026-05-07T08:32:09Z)
• MetaClaw: Just Talk -- An Agent That Meta-Learns and Evolves in the Wild [74.7263562191605]
  大規模言語モデル(LLM)エージェントは、複雑なタスクにますます使われている。 既存の方法は、知識を蒸留せずに生の軌跡を保存するか、静的なスキルライブラリを維持するか、または再訓練のために破壊的なダウンタイムを必要とする。 本稿では,基本的なLCMポリシと再利用可能な行動スキルのライブラリを共同で進化させるメタ学習フレームワークであるMetaClawを紹介する。
  論文  参考訳（メタデータ） (2026-03-17T22:30:30Z)
• Beyond Precision: Training-Inference Mismatch is an Optimization Problem and Simple LR Scheduling Fixes It [24.70923739848818]
  トレーニングが進むにつれて,勾配雑音やトレーニング推論ミスマッチが増大することが明らかとなった。 更新サイズを小さくすることで、ミスマッチを効果的に抑制できることがわかった。 本稿では,学習率スケジューラという,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2026-02-02T09:00:53Z)
• Just-In-Time Reinforcement Learning: Continual Learning in LLM Agents Without Gradient Updates [53.3717573880076]
  JitRL(Just-In-Time Reinforcement Learning、ジャスト・イン・タイム強化学習)は、テスト時間ポリシーの最適化を可能にするトレーニング不要のフレームワークである。 JitRLは、経験の動的で非パラメトリックな記憶を維持し、関連する軌跡を取得して、オンザフライでのアクションの利点を推定する。 WebArenaとJerrichoの実験では、JitRLがトレーニング不要メソッドの間に新しい最先端技術を確立していることが示されている。
  論文  参考訳（メタデータ） (2026-01-26T14:16:51Z)
• Human-in-the-loop Online Rejection Sampling for Robotic Manipulation [55.99788088622936]
  Hi-ORSは、オンライン微調整中に負の報酬を得たサンプルをフィルタリングすることで、値推定を安定化する。 Hi-ORSは、わずか1.5時間でコンタクトリッチな操作をマスターするためのpiベースのポリシーを微調整する。
  論文  参考訳（メタデータ） (2025-10-30T11:53:08Z)
• Understanding Forgetting in LLM Supervised Fine-Tuning and Preference Learning - A Convex Optimization Perspective [55.66517396157806]
  オープンソースLLMのポストトレーニングにおいて広く採用されているアプローチは、SFTとRLHF/DPOのシーケンシャルな実行である。 これはSFTとRLHF/DPOのトレードオフの点において最適である。 本稿では,理論収束保証と逐次後学習フレームワークの性能を実証的に向上させる,実践的な後学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-20T19:38:41Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。