論文の概要: Terminal Shrinkage Averaging Reveals a Schedule-Estimator Interaction in LLM Pretraining

• arxiv url: http://arxiv.org/abs/2609.25482v1
• Date: Mon, 21 Sep 2026 23:19:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.14081
• Title: Terminal Shrinkage Averaging Reveals a Schedule-Estimator Interaction in LLM Pretraining
• Title（参考訳）: LLMプレトレーニングにおける終端収縮平均値のスケジュール-推定相互作用
• Abstract要約: 終末変動に対する最近の進展のバランスをとるために, 頭頂部収縮平均化(TSA)を提案する。 局所2次近似を用いて,TSAが望ましい終末学習率のスケジュールをどのように変更するかを解析する。 その結果,Depth-22 NanoChatへの転送が得られ,スケジュールと推定器の組み合わせで検証精度が向上することを示した。
• 参考スコア（独自算出の注目度）: 33.69413571438309
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM) pretraining conventionally returns the raw final iterate. This couples two design choices: the learning-rate schedule that generates the parameter trajectory and the estimator that constructs the deployed model (e.g. the raw final iterate or a checkpoint average). A schedule that promotes optimization progress may differ from one that minimizes variation in the raw final iterate. Separating these choices creates an opportunity to maintain progress late in training while reducing variation in the returned model. To this end, we propose \emph{Terminal Shrinkage Averaging (TSA)}, which interpolates between the raw final iterate and the average of recent checkpoints to balance recent progress against terminal variation. We analyze how TSA changes the preferred terminal learning-rate schedule under a local quadratic approximation and test this interaction through a sequence of controlled NanoChat experiments. Finally, we demonstrate that the resulting gains transfer to depth-22 NanoChat, where the combined schedule and estimator improve validation quality. A qualifying time-to-GPT-2 run also finishes faster than the public baseline used in our experiments, providing preliminary evidence of benchmark acceleration.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、通常、生の最終的な繰り返しを返す。 これは、パラメータの軌跡を生成する学習速度スケジュールと、デプロイされたモデルを構成する推定器(例えば、生の最終イテレーションまたはチェックポイント平均)の2つの設計選択を分ける。 最適化の進行を促進するスケジュールは、生の最終回における変動を最小限に抑えるスケジュールとは異なる場合がある。 これらの選択を分離することで、返却されたモデルの変動を低減しつつ、トレーニングの遅い段階で進捗を維持する機会が生まれる。 そこで本研究では, 終末反復点と最近のチェックポイントの平均を補間して, 終末変動に対する最近の進展のバランスをとる, TSA (emph{terminal Shrinkage Averaging) を提案する。 我々は、TSAが2次近似の下で望ましい終末学習率のスケジュールをどのように変更するかを解析し、制御されたNanoChat実験の連続を通してこの相互作用をテストする。 最後に、結果がDeep-22 NanoChatに転送され、スケジュールと推定器の組み合わせで検証精度が向上することを示した。 基準時間からGPT-2の実行も,我々の実験で使用した公的なベースラインよりも高速に終了し,ベンチマークアクセラレーションの予備的証拠を提供する。

関連論文リスト

• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• Double Preconditioning (DoPr): Optimization for Test-Time Performance, not Validation Loss [26.33868416147844]
  ダブルプレコンディショニング(DoPr)と呼ばれる新しい最適化パラダイムを導入する。 DoPr は、Adam や Muon のようにグラデーションワイドプレコンディショニングとアクティベーションワイドプレコンディショニング(AP)を組み合わせている。 我々は、APの追加により、様々なテスト時間設定でダウンストリームモデルの性能を向上させるために、ドロップインの介入が得られることを示す。
  論文  参考訳（メタデータ） (2026-06-04T17:22:58Z)
• The Convergence Gap: Instruction-Tuned Language Models Stabilize Later in the Forward Pass [9.8812664524155]
  最終的なアウトプットは、チェックポイントがその次のポイント予測にコミットしたときに隠される。 本稿では,各層の次点分布をデコードし,モデルの最終分布までの距離を測定するモデル微分診断法である収束ギャップを導入する。
  論文  参考訳（メタデータ） (2026-05-08T05:45:52Z)
• Bootstrapped Control Limits for Score-Based Concept Drift Control Charts [0.5985204759362747]
  適応型教師付き学習モデル(コンセプトドリフト検出)で表される予測関係の変化のモニタリングは広く行われている問題である。 汎用的で強力なフィッシャースコアに基づくコンセプトドリフト手法が最近提案されている。 我々は制御限界(CL)を計算するための新しいブートストラップ法を開発した。 これは、特にサンプルサイズと/または偽アラームレートが小さい場合に、より正確な偽アラームレートの制御を提供する。
  論文  参考訳（メタデータ） (2025-07-22T16:36:51Z)
• Post-Processing Temporal Action Detection [134.26292288193298]
  時間的行動検出(TAD)法は、通常、入力された可変長のビデオを固定長のスニペット表現シーケンスに変換する際に、前処理のステップを踏む。 この前処理ステップは、ビデオを時間的にダウンサンプリングし、推論の解像度を低減し、元の時間分解における検出性能を阻害する。 モデルの再設計や再学習を伴わない新しいモデル非依存のポストプロセッシング手法を提案する。
  論文  参考訳（メタデータ） (2022-11-27T19:50:37Z)
• Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
  本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。 トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。 1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
  論文  参考訳（メタデータ） (2022-05-27T11:13:17Z)
• A Closer Look at Temporal Sentence Grounding in Videos: Datasets and Metrics [70.45937234489044]
  2つの広く使用されているTSGVデータセット(Charades-STAとActivityNet Captions)を再編成し、トレーニング分割と異なるものにします。 基本的なIoUスコアを校正するために、新しい評価基準「dR@$n$,IoU@$m$」を導入する。 すべての結果は、再編成されたデータセットと新しいメトリクスがTSGVの進捗をよりよく監視できることを示している。
  論文  参考訳（メタデータ） (2021-01-22T09:59:30Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。