論文の概要: From Spectra to Joint Schedules in LLM Pre-training: 3+3(+2) Scaling-Law Regimes
- arxiv url: http://arxiv.org/abs/2609.40148v1
- Date: Wed, 30 Sep 2026 16:53:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:28.11308
- Title: From Spectra to Joint Schedules in LLM Pre-training: 3+3(+2) Scaling-Law Regimes
- Title（参考訳）: LLM予修におけるスペクトルからジョイントスケジュール:3+3(+2)スケーリングルーレジーム
- Abstract要約: パワーロー学習曲線は、しばしばモデルとそのデータの固定特性として扱われる。
非線形ランダムな特徴を持つオンラインSGDにおけるノイズ状態の依存性について検討する。
実験により、B/$パスの学習速度とバッチサイズスケジュールは本質的な時間でほぼ同等であることが示されている。
- 参考スコア（独自算出の注目度）: 17.624096414011916
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Power-law learning curves are often treated as fixed properties of a model and its data, although learning-rate and batch-size schedules can change the observed loss. We study this dependence in noisy online SGD with linear random features. Conditional on the representation, an exact Volterra equation separates two response components: a forcing term that propagates unresolved target error and a memory kernel that propagates stochastic-error injections. We prove that either component follows a power law if and only if its cumulative weighted spectral mass has the corresponding low-spectrum scaling; individual eigenvalues and target coefficients need not obey coordinatewise power laws. Under a joint schedule, intrinsic time $T_t=\sum_{s<t}η_s$ controls optimization progress, while $r_t=B_t/η_t$ controls noise injection. Their interaction yields sharp conditions under which a schedule preserves, changes, or destroys the clean power law, together with a memory ceiling on noise reduction. The power-law random-feature model realizes this mechanism in $3+3(+2)$ propagation regimes with phase-dependent compute rates. Controlled nanoGPT experiments show that (1) learning-rate and batch-size schedules with matched $B/η$ paths are nearly equivalent in intrinsic time, (2) a forcing-memory surrogate accurately predicts loss across schedules, and (3) its fitted exponents across real-world datasets identify the regime of LLMs in $3+3(+2)$ map.
- Abstract（参考訳）: パワーロー学習曲線は、しばしばモデルとそのデータの固定特性として扱われるが、学習速度とバッチサイズスケジュールは、観測された損失を変える可能性がある。
線形ランダムな特徴を持つノイズの多いオンラインSGDにおけるこの依存性について検討する。
正確なVolterra方程式は、未解決のターゲットエラーを伝播する強制項と確率的エラー注入を伝播するメモリカーネルの2つの応答成分を分離する。
いずれの成分も、累積重み付きスペクトル質量が対応する低スペクトルスケーリングを持つ場合に限り、パワー則に従うことを証明する。
共同スケジュールでは、内在時間$T_t=\sum_{s<t}η_s$が最適化の進捗を制御し、$r_t=B_t/η_t$がノイズ注入を制御する。
彼らの相互作用は、スケジュールがクリーンパワー法則を保存、変更、あるいは破壊するシャープな条件と、ノイズ低減のためのメモリ天井をもたらす。
パワーローランダム・フィーチャーモデルでは、位相依存の計算速度を持つ3+3(+2)$伝搬系でこの機構を実現する。
制御されたナノGPT実験により,(1)一致した$B/η$パスの学習速度とバッチサイズスケジュールは本質的な時間でほぼ同値であり,(2)強制メモリサロゲートはスケジュール間の損失を正確に予測し,(3)実世界のデータセットに収まる指数は3+3(+2)$マップでLLMの状況を特定する。
関連論文リスト
- World Models with Predictable Long-Horizon Marginals [6.02574242789382]
固定ガウス参照の復号器を学習することにより,世界モデルの定式化法則を明示する。
制御システムでは、ジョイントトランジションは条件付きアクションチャートを使用して行動占有を維持する。
論文 参考訳（メタデータ） (2026-09-26T14:16:49Z) - Scalable Lindblad Noise Learning via Stochastic Tensor-Network Simulation [48.887627688666974]
大規模オープン量子システムにおける学習散逸率は、短期量子技術の大きな障害である。
本稿では,シミュレーション手法であるJump Method(TJM)を組み合わせたLindblad散逸率のスケーラブルなノイズ学習フレームワークを提案する。
我々は,Isingモデルにおける2つのノイズモデルに対するアプローチを実証し,各サイトについて,N_mathrmsite=16$まで独立散逸率を学習した。
スケーラブルな数値と厳密な理論的保証の組み合わせは、TJMベースのノイズ学習を大きな量子デバイスにおける散逸を特徴づける実用的な基礎として位置づけている。
論文 参考訳（メタデータ） (2026-08-25T15:07:11Z) - Spectral-Guided Diffusion: Accelerating Inference via Static Spectral Layer Scheduling [6.908972852063454]
SCR/フロベニウスは、ランダム、深さ、ノルム、安定ランク、およびフロベニウスの安定ランクスケジュールよりも品質を保っていることを示す。
SCR/フロベニウスはレイヤーステップの予算で、ランダム、深さ、ノルム、安定なランク、安定なランクのスケジュールよりも品質を保っている。
論文 参考訳（メタデータ） (2026-08-24T17:43:01Z) - LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。
本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。
その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
論文 参考訳（メタデータ） (2026-06-03T06:07:33Z) - Scale-Equivariant Generative Forecasting: Weight-Tied Dilated Convolutions, Wavelet Scattering Inputs, and Spectral-Consistency Training for Self-Similar Time Series [0.0]
1次元因果ネットワークの離散スケール等式を正確に定義する。
ダイアディック拡張は、カーネル重みがレベル間で共有されるような拡張畳み込みスタックで可換であることが証明される。
30年間のS&P 500日間のログリターンで、SE-WaveNetのサンプルは、Allan-Varianceトップ25宇宙上での経験的なスケール・崩壊の診断を再現した。
論文 参考訳（メタデータ） (2026-05-17T18:21:30Z) - Accelerating Quantum Materials Characterization: Hybrid Active Learning for Autonomous Spin Wave Spectroscopy [0.0]
自律三軸スピン波分光のためのハイブリッド-物理インフォームドフレームワークTAS-AIを提案する。
ブラインドリコンストラクションベンチマークでは、ランダムサンプリング、粗いグリッド、ガウス過程マッパーといったモデルに依存しない手法が、物理情報プランニングよりも信頼性が高く、測定の少ないグローバルエラーしきい値に達する。
TAS-AIは10測定未満で決定的なAIC由来のエビデンス比(>100)に達する一方、モーションアウェアのスケジューリングは固定された測定予算でウォールタイム時間を32%削減する。
論文 参考訳（メタデータ） (2026-04-26T17:54:40Z) - Quasi-Periodic Gaussian Process Predictive Iterative Learning Control [7.0206339525686055]
反復学習制御(ILC)は、過去のイテレーションの情報を用いて、将来のイテレーションで期待されるエラーを補うことで、パフォーマンスを向上させる。
この研究は、QPGP(Quasi-Periodic Gaussian Processes)を予測ICCフレームワークに組み込んだものである。
本手法は,標準ICCと従来のGPベース予測ICCの両方を3つのタスクで比較した。
論文 参考訳（メタデータ） (2026-02-20T06:10:10Z) - Robust Layerwise Scaling Rules by Proper Weight Decay Tuning [50.11170157029911]
現代のスケール不変アーキテクチャでは、トレーニングは急速に劣化したグラデーション状態に入る。
我々は,AdamWに対して,幅をまたいだサブ層ゲインを保ったウェイトデカイスケーリングルールを導入する。
この結果は,パラメータが設定した定常スケールを明示的に制御することにより,ほぼ入出力体制を超えて$mu$Pを拡大する。
論文 参考訳（メタデータ） (2025-10-17T02:58:35Z) - Seesaw: Accelerating Training by Balancing Learning Rate and Batch Size Scheduling [75.36692892951018]
トレーニング中のバッチサイズの増加は、大規模な言語モデルの事前トレーニングを加速するための有望な戦略である。
この研究はバッチサイズスケジューリングのための原則化されたフレームワークを開発する。
標準スケジューラが学習率を半減するたびに、Seesawは1/sqrt2$と倍増し、バッチサイズを倍増します。
論文 参考訳（メタデータ） (2025-10-16T14:17:38Z) - FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
論文 参考訳（メタデータ） (2025-05-19T07:32:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。