論文の概要: A Refresh Interval Does Not Fully Specify a Refresh Schedule: Learning-Rate-Dependent Placement in Kronecker-Preconditioned Language Model Training

• arxiv url: http://arxiv.org/abs/2610.18695v1
• Date: Tue, 13 Oct 2026 16:46:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 20:08:17.727826
• Title: A Refresh Interval Does Not Fully Specify a Refresh Schedule: Learning-Rate-Dependent Placement in Kronecker-Preconditioned Language Model Training
• Title（参考訳）: リフレッシュ・インターバルはリフレッシュ・スケジュールを完全に特定しない: Kronecker-Preconditioned Language Model Trainingにおける学習時間に依存した配置
• Abstract要約: モデルサイズを Mousse でトレーニングした GPT スタイルのモデルでは,第1と第2の修正をしながら,4回の更新スケジュールの途中で移動します。 一定回数のリフレッシュで、同じ計算でホールドアウトロスが発生すると、その頻度がスケジュールの一部を解放することを示す。 スペクトル幅の安定度スコアは、学習速度毎に同じランキングを予測し、逆転を逃した。
• 参考スコア（独自算出の注目度）: 13.031553555836794
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Kronecker-preconditioned optimizers recompute a cached curvature eigendecomposition only periodically, and implementations and adaptive methods control this through the refresh frequency. We show that frequency leaves part of a schedule free: at a fixed number of refreshes, when they occur changes held-out loss at the same compute. Training GPT-style models with the Mousse optimizer across model sizes, we move the middle refreshes of a four-refresh schedule while fixing the first and last. On FineWeb the two placements exchanged rank as the learning rate rose (later placement was better at low rates, earlier placement at high ones), so a single-learning-rate comparison can report either ranking. The reversal held under controls including the published optimizer internals, and placement still mattered at the published refresh density. The learning rate at which the preference flips fell with model size, consistent with a held-out smaller model, and shifted with training length. A spectral-width staleness score predicted the same ranking at every learning rate and missed the reversal. Refresh schedules should be reported in full and compared across the learning rates at which they will be used.
• Abstract（参考訳）: Kroneckerでプレコンディショニングされたオプティマイザは、キャッシュされた曲率の固有分解を定期的にのみ再計算し、実装と適応的手法がこれをリフレッシュ周波数で制御する。 一定回数のリフレッシュで、同じ計算でホールドアウトロスが発生すると、その頻度がスケジュールの一部を解放することを示す。 Mousseオプティマイザを用いたGPTスタイルのモデルをモデルサイズでトレーニングし、第1と第2の修正をしながら、4リフレッシュスケジュールの中間更新を移動させる。 FineWebでは、学習率が上昇するにつれて、2つの配置がランクを交換した(後に低いレートで、高い位置で、より早い位置で)。 公表されたオプティマイザ内部や配置を含むコントロールの下で保持された反転は、公表されたリフレッシュ密度において依然として重要であった。 好みが反転する学習速度はモデルサイズで低下し、保持された小さなモデルと一致し、トレーニング長にシフトした。 スペクトル幅の安定度スコアは、学習速度毎に同じランキングを予測し、逆転を逃した。 リフレッシュスケジュールをフルに報告し、使用予定の学習率を比較すべきである。

関連論文リスト

• Differential Refresh Policies for Models Trained on Lagging Data Snapshots: From a Single-Age Equivalence Limit to an Optimal Per-Segment Allocation [0.0]
  一般的な反応は、固定された再訓練ケイデンスを適応的なトリガーで置き換えることである。 これが間違ったレバーであることを示し、正しいレバーを特定します。 モデルリフレッシュのレバレッジは、より良いスコアではなく、より良いアクションです。
  論文  参考訳（メタデータ） (2026-10-07T06:15:40Z)
• Task Vector Descent: Learning from Non-IID Batches [73.36333480977952]
  モデルをアクティブディストリビューションに適応させることは、アクティブディストリビューションのモデルを改善することができるが、以前トレーニングされたデータのパフォーマンス低下につながる可能性がある。 完全変位(=1$)と部分積分(英語版)を比較し、継続モデルに適用する前にタスクベクトルを$$スケールし、同じ係数で状態をスケールする。
  論文  参考訳（メタデータ） (2026-10-04T17:37:49Z)
• Adversarial Learning of Classifier-Free Guidance Schedules [74.70485037604884]
  我々は,拡散時間,条件付け,および現在の雑音サンプルの関数として指導スケジュールを学習する。 これを密度比推定問題とする。 軽量なジェネレータネットワークは、最適で状態依存のガイダンススケールを予測する。
  論文  参考訳（メタデータ） (2026-08-14T07:30:36Z)
• Learning Rate Scaling across LoRA Ranks and Transfer to Full Finetuning [24.03926595342341]
  Low-Rank Adaptation (LoRA) は、大規模モデルのパラメータ効率の良い微調整ツールである。 最適な学習速度がアダプタランクとどのようにスケールするかは不明確である。 最適」学習率がいかにスケールすべきかを特徴付ける理論フレームワークであるMaximal-Update Adaptation(A)を紹介する。
  論文  参考訳（メタデータ） (2026-02-05T21:28:59Z)
• FOREVER: Forgetting Curve-Inspired Memory Replay for Language Model Continual Learning [63.20028888397869]
  FOREVER(FORgEtting curVe-inspired mEmory)は、リプレイスケジュールをモデル中心の時間の概念と整合させる新しいフレームワークである。 このアプローチに基づいて、ForeVERは、リプレイのタイミングを決定するための曲線ベースのリプレイスケジューラと、リプレイの方法を適応的に制御するインテンシティ対応の正規化機構を組み込んでいる。
  論文  参考訳（メタデータ） (2026-01-07T13:55:14Z)
• Bridging the Gap: Learning Pace Synchronization for Open-World Semi-Supervised Learning [44.91863420044712]
  オープンワールドの半教師付き学習において、機械学習モデルはラベルなしのデータから新しいカテゴリを明らかにすることを任務とする。 本稿では,(1)モデル偏差を軽減するためにクラス固有の負のマージンを課するアダプティブ・コミュニケート・ラミナル・ロス,(2)モデルによって予測される擬似ラベルを利用した擬似ラベル・コントラッシブ・クラスタリングについて紹介する。 本手法は,授業の学習速度のバランスを保ち,画像Netデータセットの平均精度を3%向上させる。
  論文  参考訳（メタデータ） (2023-09-21T09:44:39Z)
• Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
  メトリクス学習はコンピュータビジョンの基本的な問題である。 蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。 特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
  論文  参考訳（メタデータ） (2023-03-30T03:22:52Z)
• Learning Rate Schedules in the Presence of Distribution Shift [18.310336156637774]
  我々は、変化するデータ分布の存在下で、後悔するネットワークが累積的に学習する学習スケジュールを設計する。 我々は, 高次元回帰モデルを用いて, 後悔モデルを増加させる実験を行った。
  論文  参考訳（メタデータ） (2023-03-27T23:29:02Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。