論文の概要: A Defense of the Quadratic Model

• arxiv url: http://arxiv.org/abs/2607.21716v1
• Date: Thu, 23 Jul 2026 18:02:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 20:58:56.965841
• Title: A Defense of the Quadratic Model
• Title（参考訳）: 二次モデルの防御
• Abstract要約: 最も単純な最適化モデル -- 二次モデル -- をテストする。 1億5000万のパラメータと3Bのトレーニングトークンを持つLLM設定で驚くほど予測可能であることを示す。
• 参考スコア（独自算出の注目度）: 71.57026347416729
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Due to the complexity of neural network loss landscapes, optimization theory is forced to rely on idealized models, and there is generally a tradeoff between how theoretically tractable the model is, and how accurately it describes the true optimization dynamics. In this work, we stress test the simplest possible model of optimization -- the quadratic model -- and show that it can be surprisingly predictive in an LLM setting with 150M parameters and 3B training tokens. Specifically, we show that Taylor expanding the model and the loss function at intermediate checkpoints through training can accurately predict the optimization dynamics over windows that can last up to 10\% of training. Having established this agreement, we then turn to analyzing the structure of these local quadratic optimization problems through two lenses: the Hessian spectrum and local stability. Using Lanczos quadrature with extremely deep probes, we are able to estimate the Hessian spectrum deep into the tail, and we find a surprising amount of structure in both the eigenvalues and eigenvectors, which depends on the batch size, preconditioner, and training time. We also empirically test local linear stability at intermediate checkpoints and compare it to theoretical predictions to demonstrate that optimization in LLMs typically occurs at a stochastic edge of stability, whose nature is also determined by batch size. Our results indicate the quadratic model may be a theoretically tractable proxy for pretraining optimization dynamics.
• Abstract（参考訳）: ニューラルネットワークロスランドスケープの複雑さのため、最適化理論は理想化されたモデルに頼らざるを得ず、一般的に、モデルが理論的に牽引可能であるか、真の最適化ダイナミクスをいかに正確に記述するかのトレードオフがある。 本研究では,最小限の最適化モデル(二次モデル)をテストし,1億5000万のパラメータと3Bのトレーニングトークンを持つLLM設定で驚くほど予測可能であることを示す。 具体的には、トレーニングによってモデルと損失関数を中間チェックポイントで拡張することで、トレーニングの最大10%まで続くウィンドウ上での最適化のダイナミクスを正確に予測できることを示す。 この合意を確立した上で、ヘッセンスペクトルと局所安定性という2つのレンズを通して、これらの局所二次最適化問題の構造を分析する。 非常に深いプローブを持つランツォス二次方程式を用いて、ヘッセンスペクトルをテールの奥深くまで推定することができ、バッチサイズ、プレコンディショナー、トレーニング時間に依存する固有ベクトルと固有ベクトルの両方に驚くべき量の構造を見出すことができる。 また、中間チェックポイントにおける局所線形安定性を実証的に検証し、これを理論的予測と比較し、LLMの最適化が通常、バッチサイズによって決定される確率的安定性の端で起こることを示す。 本結果は,2次モデルが最適化力学の事前学習のための理論的にトラクタブルなプロキシであることを示している。

関連論文リスト

• From Atoms to Entropy: Optimal Noise Allocation for Diffusion Training in the Convex Regime [52.459513910242485]
  拡散訓練における最適な雑音レベルアロケーションを研究するための一般統計フレームワークを開発する。 最適化されたトレーニングスケジュールは、有限個のノイズレベルに集中した原子最小値を持つことを示す。 次に,大規模実験におけるエントロピック・スケジュールの評価を行った。
  論文  参考訳（メタデータ） (2026-07-10T20:59:06Z)
• Linearization Explains Fine-Tuning in Large Language Models [13.157568306905885]
  我々は、微調整力学が正定ニューラルネットワークカーネル(NTK)を用いた学習と等価になることを示す。 線形化が良いモデルである場合には,NTKの固有値スペクトルとモデル適応性能との間に強い相関関係が認められた。
  論文  参考訳（メタデータ） (2026-02-09T03:27:58Z)
• ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations [54.886931928255564]
  低ランク適応(LoRA)は、深層移動学習においてパラメータ効率の高い微調整法として広く採用されている。 常微分方程式(ODE)の形でLoRA因子行列に対する新しい連続時間最適化ダイナミクスを提案する。 ODELoRAは,問題次元の異なるスケールのディープニューラルネットワークのトレーニングに不可欠な特性である,安定した特徴学習を実現する。
  論文  参考訳（メタデータ） (2026-02-07T10:19:36Z)
• How to Set the Learning Rate for Large-Scale Pre-training? [73.03133634525635]
  我々はこの調査を2つの異なる研究パラダイムであるフィッティングとトランスファーに定式化する。 フィッティングパラダイムでは,探索係数のスケーリング法則を導入し,O(n3) から O(n*C_D*C_) への探索複雑性を予測モデルにより効果的に低減する。 我々は、$Transferの原則をMixture of Experts (MoE)アーキテクチャに拡張し、モデル深さ、重量減衰、トークン水平線を含む適用範囲を広げる。
  論文  参考訳（メタデータ） (2026-01-08T15:55:13Z)
• Beyond the Ideal: Analyzing the Inexact Muon Update [54.70108543057578]
  本報告では,Muonコアにおける不正確な更新の初回解析について述べる。 この不正確さと最適なステップサイズと運動量との基本的な結合を明らかにする。
  論文  参考訳（メタデータ） (2025-10-22T18:01:07Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Smart Predict-then-Optimize Method with Dependent Data: Risk Bounds and Calibration of Autoregression [7.369846475695131]
  本稿では,決定段階における最適化問題を直接対象とする自己回帰型SPO手法を提案する。 我々は, 絶対損失と最小二乗損失と比較して, SPO+サロゲートの有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2024-11-19T17:02:04Z)
• Towards Stable Machine Learning Model Retraining via Slowly Varying Sequences [6.067007470552307]
  そこで本研究では,リトレーニングを繰り返して安定なモデル列を見つけるためのモデルに依存しないフレームワークを提案する。 最適モデルの復元が保証される混合整数最適化の定式化を開発する。 平均的に、予測力の2%の低下は、安定性の30%の改善につながることが判明した。
  論文  参考訳（メタデータ） (2024-03-28T22:45:38Z)
• Structured Optimal Variational Inference for Dynamic Latent Space Models [16.531262817315696]
  動的ネットワークの潜在空間モデルについて検討し、その目的は、ペアの内積と潜在位置のインターセプトを推定することである。 後部推論と計算スケーラビリティのバランスをとるために、構造的平均場変動推論フレームワークを検討する。
  論文  参考訳（メタデータ） (2022-09-29T22:10:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。