Fugu-MT 論文翻訳(概要): Effective Learning Rate Governs Loss Dynamics in Language Model Pretraining

論文の概要: Effective Learning Rate Governs Loss Dynamics in Language Model Pretraining

arxiv url: http://arxiv.org/abs/2608.24814v1
Date: Tue, 25 Aug 2026 16:57:29 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-26 14:09:35.110265
Title: Effective Learning Rate Governs Loss Dynamics in Language Model Pretraining
Title（参考訳）: 言語モデル事前学習における効果的な学習速度ゴブリンの損失ダイナミクス
Abstract要約: 学習率(LR)とパラメータノルムは、その比率、有効学習率(ELR)を通して損失ダイナミクスを制御している ELRはランで一致し、LRとパラメータの基準がかなり異なるにもかかわらず、トレーニング中に損失軌跡は崩壊する。崩壊エラーは通常、代表的な構成で測定された種子から種子までの変動より下の数 x 10-3 である。
参考スコア（独自算出の注目度）: 14.638843324365546
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We uncover ELR collapse in language model pretraining: learning rate (LR) and parameter norm govern loss dynamics primarily through their ratio, the effective learning rate (ELR). When ELR is matched across runs, their loss trajectories collapse throughout training despite substantially different LRs and parameter norms. Across optimizers, architectures, datasets, and model scales, mean collapse errors are typically a few x 10^-3, below the seed-to-seed variation measured in a representative configuration. Systematic ablations identify normalization design and the timescale of LR-norm variation as key determinants of collapse precision. Controlled interventions further show that weight decay and Hyperball shape loss dynamics primarily through the ELR schedules they induce. Replacing LR with ELR enables a fitted functional scaling law (FSL) to transfer across norm-control methods. The resulting ELR-based FSL also explains delayed acceleration, a recurring effect of norm control. Together, these results establish ELR as a common coordinate linking LR scheduling, norm control, and loss dynamics.
Abstract（参考訳）: 学習率 (LR) とパラメータノルムは, 主にその比率, 有効学習率 (ELR) によって損失ダイナミクスを管理する。 ELRがラン毎に一致した場合、その損失軌跡は、LRとパラメータノルムがかなり異なるにもかかわらず、トレーニング中に崩壊する。最適化器、アーキテクチャ、データセット、モデルスケール全体にわたって、崩壊エラーは通常、代表構成で測定された種から種までの変化より低い数 x 10^-3 である。システマティックアブレーションは、正規化設計とLR-ノルム変動の時間スケールを、崩壊精度の重要な決定要因として同定する。制御された介入により、重量減衰とハイパーボール形状損失のダイナミクスは、主にそれらが誘導するELRスケジュールによってもたらされる。 LRをELRに置き換えることで、標準制御法をまたぐFSL(Fi fited functional scaling law)が実現される。結果として生じるELRベースのFSLは、標準制御の繰り返し効果である遅延加速についても説明している。これらの結果は、LRスケジューリング、ノルム制御、損失ダイナミクスをリンクする共通座標としてELRを確立する。

関連論文リスト

PhaseLoRA: Control-Regime-Conditioned Low-Rank Adaptation for Continuous-Action Vision-Language-Action Policies [74.07190331264488]
本稿では,アクションチャンク予測ステップ毎に条件適応を行う軽量なLoRAパラメータ化を提案する。 PhaseLoRAはアクションエキスパートのLoRA左ファクタを変調し、有効な低ランク更新方向を時間とともに変更する。その結果、連続的なVLAポリシーのための効果的な軽量PEFT軸として、軌道内コンディショニングが確立された。
論文参考訳（メタデータ） (2026-08-15T15:32:08Z)
MeanSR: Restoration Trajectory Learning for One-Step Perceptual Super-Resolution [50.60539317126614]
MeanSRはLR条件の平均速度場を学習し、ノイズ入力から可算HR出力への有限時間遷移を直接キャプチャする。実験の結果、MeanSRはCLIPIQA、MUSIQ、MANIQAでCTMSRより優れており、FLOPと推論遅延を大幅に低減していることがわかった。
論文参考訳（メタデータ） (2026-08-10T10:33:18Z)
Learning from Failures: Correction-Oriented Policy Optimization with Verifiable Rewards [73.44333771806282]
RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデルの推論能力向上に有効なパラダイムとして登場した。本稿では,RLVRの簡易かつ効果的な拡張であるCIPO(Correction-Oriented Policy Optimization)を提案する。 CIPOは学習効率を向上し、モデルが自身のエラーを修正する能力を明示的に強化する。
論文参考訳（メタデータ） (2026-05-14T08:22:21Z)
Curvature-Guided LoRA: Steering in the pretrained NTK subspace [60.35296431630704]
本稿では,PEFTを用いて得られた予測器と,出力レベルにおける完全微調整の予測器との整合性を考慮した予測アライメント問題を提案する。我々は、この目的が自然に、ニュートンのような、曲率ホワイトの勾配に対応する最適な低ランク更新を行う、曲率対応の2階定式化につながることを示した。この知見に基づいて、局所曲率情報を用いて適応方向を選択し、スケールする曲率誘導LoRA(CG-LoRA)を提案する。
論文参考訳（メタデータ） (2026-03-31T14:46:39Z)
Trajectory-Optimized Time Reparameterization for Learning-Compatible Reduced-Order Modeling of Stiff Dynamical Systems [0.2877671212386687]
時間再パラメータ化(TR)は、ニューラルODEの低次モデリングのための剛性緩和機構である。本研究では, TR をニューラルODE の低次モデリングのための剛性緩和機構として検討し, トラジェクトリ最適化TR (TOTR) の定式化を導入する。 ToTRは、パラメータ化された剛性線形系、ファンデルポル発振器、HIRES化学動力学モデルという3つの硬質問題で評価される。
論文参考訳（メタデータ） (2026-03-17T14:33:59Z)
ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations [54.886931928255564]
低ランク適応(LoRA)は、深層移動学習においてパラメータ効率の高い微調整法として広く採用されている。常微分方程式(ODE)の形でLoRA因子行列に対する新しい連続時間最適化ダイナミクスを提案する。 ODELoRAは,問題次元の異なるスケールのディープニューラルネットワークのトレーニングに不可欠な特性である,安定した特徴学習を実現する。
論文参考訳（メタデータ） (2026-02-07T10:19:36Z)
Principled RL for Diffusion LLMs Emerges from a Sequence-Level Perspective [85.06838178922791]
強化学習(RL)は自己回帰言語モデルに非常に効果的であることが証明されている。しかし、これらの手法を拡散大言語モデル(dLLM)に適応させることは、根本的な課題を提起する。本稿では,全シーケンス生成を単一アクションとして扱い,ELBOを抽出可能なシークエンスレベル確率プロキシとして利用する,原則的RLフレームワークを提案する。
論文参考訳（メタデータ） (2025-12-03T13:05:32Z)
Functional Scaling Laws in Kernel Regression: Loss Dynamics and Learning Rate Schedules [9.332823269318842]
スケーリング法則は、大きな言語モデルのトレーニングを理解し、導くための統一レンズとして登場した。我々は任意のLSSの下で全損失軌跡を捕捉する機能スケーリング法を確立した。データ制限と計算制限の両方で明示的なスケーリング関係を導出する。
論文参考訳（メタデータ） (2025-09-23T16:05:16Z)
Explainable Learning Rate Regimes for Stochastic Optimization [12.836088204932842]
現代の機械学習は勾配降下(SGD)によって訓練され、その性能は学習率(LR)が時間とともにどのように調整され減少するかに依存する。既存のLRレギュレーションは複雑で、あるいは1つ以上の追加のハイパーパラメータを手動で調整する必要がある。この研究は、内在的な勾配の変化によってのみLRが自動的に更新される方法を明らかにする。
論文参考訳（メタデータ） (2025-08-19T08:51:38Z)
LoRA-MGPO: Mitigating Double Descent in Low-Rank Adaptation via Momentum-Guided Perturbation Optimization [16.360816770124874]
LoRA-MGPO は Momentum-Guided Perurbation Optimization (MGPO) を組み込んだフレームワークである。 MGPOは勾配状態から運動量ベクトルを誘導する運動力学を安定化させる。実験の結果, LoRA-MGPO は LoRA や他のPEFT 法よりも優れた性能を発揮することがわかった。
論文参考訳（メタデータ） (2025-02-20T13:14:41Z)
On the Weight Dynamics of Deep Normalized Networks [5.250288418639077]
ディープニューラルネットワークの層間の効果的な学習率(ELR)の相違は、トレーニング容易性に悪影響を及ぼす可能性がある。正規化層を持つネットワークの重み力学をモデル化することにより、これらの相違が時間とともにどのように進化するかを定式化する。一定の学習率のトレーニングでは,初期勾配の爆発にもかかわらず,ELR比が1に収束することが証明された。
論文参考訳（メタデータ） (2023-06-01T14:09:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。