論文の概要: How Does Local Landscape Geometry Evolve in Language Model Pre-Training?

• arxiv url: http://arxiv.org/abs/2609.39767v1
• Date: Wed, 30 Sep 2026 13:58:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.863282
• Title: How Does Local Landscape Geometry Evolve in Language Model Pre-Training?
• Title（参考訳）: 言語モデルによる事前学習における景観形状の展開
• Abstract要約: 局所的なランドスケープ幾何学の観点から,言語モデルの事前学習動態を解析する。 第一段階において、局所景観の鋭さは最初は高く、大きな学習率(LR)下での不安定性と損失高原につながる。 第2相では、局所的な景観は勾配ノイズスケールによって支配される。
• 参考スコア（独自算出の注目度）: 51.078328931347414
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The scale and expense of pre-training language models make efficient hyperparameter tuning essential, yet a principled guidance is still missing. In this work, we analyze language model pre-training dynamics from a local landscape geometry perspective. Our study reveals two distinct phases. In Phase I, sharpness of the local landscape is initially high, leading to instability and loss plateaus under large learning rates (LRs). The landscape shifts from sharp to flatter regions early in training. This dynamic explains the necessity of LR warmup and further suggests that larger peak LRs require proportionally longer warmup periods. In Phase II, the local landscape is governed by the gradient noise scale. Our theory identifies a depth flatness trade-off: high noise from smaller batches widens the loss basin, whereas reduced noise from larger batches deepens it. This theory motivates a dynamic batch-size (BS) scheduler that begins with a small BS and increases it late in training. Together, we provide a unified view of loss landscape evolution, which translates into actionable tuning strategies for large-scale pre-training.
• Abstract（参考訳）: 事前学習言語モデルのスケールとコストは、効率的なハイパーパラメータチューニングを必須にしますが、原則化されたガイダンスはいまだに欠落しています。 本研究では,局所的なランドスケープ幾何学の観点から,言語モデルの事前学習動態を解析する。 我々の研究は2つの異なる段階を明らかにしている。 フェーズIでは、局所的な景観の鋭さが最初高く、大きな学習率(LR)の下で不安定と損失高原につながる。 ランドスケープは訓練の早い段階で鋭い地域から平らな地域へと変化する。 この力学はLRウォームアップの必要性を説明し、さらに大きなピークLRは比例して長いウォームアップ期間を必要とすることを示唆している。 第2相では、局所的な景観は勾配ノイズスケールによって支配される。 より小さなバッチからの高ノイズは損失流域を広げる一方、大きなバッチからの低ノイズはより深くする。 この理論は、小さなBSから始まる動的バッチサイズ(BS)スケジューラを動機付け、訓練の遅れで増加させる。 そこで我々は,ロスランドスケープの進化を統一的に把握し,大規模事前学習のための実用的なチューニング戦略に転換する。

関連論文リスト

• Lost in the Non-convex Loss Landscape: How to Fine-tune the Large Time Series Model? [6.169999812521259]
  本稿では,線形時間モデルのためのファインチューニング技術を提案する。 具体的には、スムーズな損失制限を得るためにランダムな補助タスクを構築し、そのタスクを他のモデルのタスクと補間する。
  論文  参考訳（メタデータ） (2026-06-07T11:25:19Z)
• Mapping Post-Training Forgetting in Language Models at Scale [21.32247361921916]
  スケールドポストトレーニングは、現在、言語モデルで最大の能力向上を加速している。 我々は,忘れられたことや後方移動の発生時期を測定するために,サンプルワイズパラダイムを提案する。 我々のフレームワークは、ポストトレーニングが事前訓練された知識を大規模にどのように変更するかをマッピングするための実践的なヤードスティックを提供する。
  論文  参考訳（メタデータ） (2025-10-20T17:35:47Z)
• Mpemba Effect in Large-Language Model Training Dynamics: A Minimal Analysis of the Valley-River model [0.0]
  大規模言語モデル(LLM)トレーニングにおける学習速度のスケジュールは、ウォームアップ、一定のプラトー/安定フェーズ、崩壊といった経験的なテンプレートに従うことが多い。 トレーニング力学をMpemba効果を介して熱力学的アナログに接続する。 我々は、ある失われた風景に対して、最適な高原学習率、すなわち「強いムペンバ点」が存在することを示す。
  論文  参考訳（メタデータ） (2025-07-06T01:34:12Z)
• Do Larger Language Models Generalize Better? A Scaling Law for Implicit Reasoning at Pretraining Time [73.22651918134808]
  この研究は、モデルサイズのスケーリングによる直感的効果を示し、言語モデル(LM)におけるスケーリングと推論の関係に関する新たな洞察を提供する。 我々は,実世界の大規模知識グラフの構造と分布を再現する合成暗黙のマルチホップ推論環境において,ゼロからLMを事前学習する。 次に、実世界の事前学習における暗黙的推論の単純化とみなすことができるマルチホップ推論を必要とする、グラフの欠落したエッジを完遂するLMの能力を評価する。
  論文  参考訳（メタデータ） (2025-04-04T17:57:22Z)
• Understanding Warmup-Stable-Decay Learning Rates: A River Valley Loss Landscape Perspective [66.80315289020487]
  Warmup-Stable-Decay (WSD) スケジュールは、一定の学習率を使用して、所定の計算予算なしで無限に継続できるイテレーションのメインブランチを生成する。 プレトレーニング損失は,河底に川がある深い谷に類似した河谷景観を呈することを示す。 この理論にインスパイアされたWSD-Sは、従来のチェックポイントの崩壊フェーズを再利用し、メインブランチを1つだけ保持するWSDの変種である。
  論文  参考訳（メタデータ） (2024-10-07T16:49:39Z)
• Landscape-Aware Growing: The Power of a Little LAG [49.897766925371485]
  成長戦略のプールから最適な成長戦略をどのように選択するかという課題について検討する。 ランドスケープ・アウェア・グロース(LAG)と呼ぶ早期学習力学に基づく代替視点を提案する。
  論文  参考訳（メタデータ） (2024-06-04T16:38:57Z)
• On the Weight Dynamics of Deep Normalized Networks [5.250288418639077]
  ディープニューラルネットワークの層間の効果的な学習率(ELR)の相違は、トレーニング容易性に悪影響を及ぼす可能性がある。 正規化層を持つネットワークの重み力学をモデル化することにより、これらの相違が時間とともにどのように進化するかを定式化する。 一定の学習率のトレーニングでは,初期勾配の爆発にもかかわらず,ELR比が1に収束することが証明された。
  論文  参考訳（メタデータ） (2023-06-01T14:09:52Z)
• Staged Training for Transformer Language Models [47.99321376123886]
  私たちは、小さなモデルから始まり、トレーニングに使用する計算量を漸進的に増加させる、段階的なトレーニング設定を考えます。 トレーニングプロセスは、各ステージを前のステージの出力で初期化することにより、計算を効果的に再利用する。 成長オペレーターを実証的に検証し、自己回帰言語モデルのトレーニングを行い、最大22%の計算貯蓄量を示した。
  論文  参考訳（メタデータ） (2022-03-11T19:05:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。