論文の概要: Accelerating LLM Pretraining with Zeroth-Order Curvature on Idle Serving Compute

• arxiv url: http://arxiv.org/abs/2611.02688v1
• Date: Mon, 02 Nov 2026 07:38:45 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:25:31.144138
• Title: Accelerating LLM Pretraining with Zeroth-Order Curvature on Idle Serving Compute
• Title（参考訳）: アイドルサービング計算におけるゼロ次曲率によるLDM事前学習の高速化
• Abstract要約: ZO-Curvは、アイドルフォワードのみのデバイスを用いて曲率を推定し、それを1次トレーニングで使用する更新の適応と改善に利用する。 770Mパラメータでは、ZO-Curvは7.5時間ではなく3.9時間でAdamWの20Kステップの検証損失に達した。
• 参考スコア（独自算出の注目度）: 21.405153867987195
• License:
• Abstract: LLM pretraining is increasingly compute-intensive, while substantial inference serving compute remains idle during off-peak periods. However, such serving hardware is difficult to use for conventional first-order training due to its memory, networking and other system requirements. Zeroth-order (ZO) optimization offers a natural interface to this forward-only compute resource, but its gradient estimates break down in pretraining. Unlike fine-tuning, which can confine updates to a small parameter subspace, pretraining must update every parameter, and the alignment of a ZO gradient estimate with the true gradient shrinks as the number of updated parameters grows. We make a different observation: noisy ZO estimates can still provide useful curvature information, even when they are too inaccurate to serve as gradients. Based on this insight, we propose ZO-Curv, which leverages idle forward-only devices to estimate curvature and uses it to adapt and refine the update used during first-order training, thereby accelerating the process. We provide convergence guarantees that characterize the effect of finite-query curvature estimation. Experiments on LLMs from 125M to 1.5B parameters show that ZO-Curv consistently accelerates pretraining. At 770M parameters, ZO-Curv reaches AdamW's 20K-step validation loss in 3.9 hours instead of 7.5 hours, while achieving a lower final loss of 2.70 versus 2.84 under the same step budget. These results show that idle model serving compute can accelerate LLM pretraining when zeroth-order queries are used to estimate curvature rather than gradients directly.
• Abstract（参考訳）: LLMプレトレーニングは計算集約化が進んでいるが、計算を提供する推論はオフピーク期間中はアイドル状態のままである。 しかし、そのようなサービスハードウェアは、メモリ、ネットワーク、その他のシステム要件のため、従来の1次トレーニングでは使用できない。 Zeroth-order (ZO) 最適化は、このフォワードオンリーの計算リソースに自然なインタフェースを提供するが、その勾配推定は事前学習で故障する。 小さなパラメータ部分空間への更新を限定できる微調整とは異なり、事前訓練はすべてのパラメータを更新し、ZO勾配推定と真の勾配とのアライメントは、更新されたパラメータの数が増えるにつれて減少する。 ノイズの多いZO推定は、勾配として振る舞うには不正確な場合でも、有用な曲率情報を提供することができる。 この知見に基づいて、アイドルフォワードオンリーデバイスを用いて曲率を推定し、一次トレーニングで使用する更新を適応・改善し、処理を高速化するZO-Curvを提案する。 有限列曲率推定の効果を特徴付ける収束保証を提供する。 125Mから1.5BパラメータのLLM実験は、ZO-Curvが常に事前訓練を加速していることを示している。 770Mパラメータでは、ZO-Curvは7.5時間ではなく3.9時間でAdamWの20Kステップの検証損失に達した。 これらの結果から,計算用アイドルモデルでは,勾配を直接ではなく,ゼロ次クエリを用いて曲率を推定する場合に,LCM事前学習を加速できることがわかった。

関連論文リスト

• CAST: History-Adaptive Spectral Clipping for LLM Pretraining [23.747542704521234]
  我々はSCの履歴適応拡張であるCAST(Clipping with Adaptive Scales and Thresholds)を紹介する。 CASTは、9つの勾配処理ベースラインよりも低いトレーニングと平均バリデーション損失を達成する。 ベースラインでの最後のスムーズなトレーニング損失は7.2%減少している。
  論文  参考訳（メタデータ） (2026-10-14T08:15:43Z)
• CurvZO: Adaptive Curvature-Guided Sparse Zeroth-Order Optimization for Efficient LLM Fine-Tuning [15.930478833291827]
  バックプロパゲーションを備えた微調整の大型言語モデル(LLM)は高い性能を実現するが、かなりのメモリオーバーヘッドを引き起こす。 本稿では、スカラーZOフィードバックからオンラインの曲率信号を追跡するCurvZOを提案する。 CurvZOは微調整性能を継続的に改善し,ZOベースラインでのトレーニング時間を短縮することを示す。
  論文  参考訳（メタデータ） (2026-03-23T09:13:45Z)
• Improving the Straight-Through Estimator with Zeroth-Order Information [7.09016563801433]
  本稿では,量子化パラメータを用いたニューラルネットワークのトレーニング問題について検討する。 我々は、第1次誘導ゼロ階勾配蛍光(FOGZO)を提案する。 FOGZOは、量子化対応事前学習における品質とトレーニング時間のトレードオフを改善することを示す。
  論文  参考訳（メタデータ） (2025-10-27T23:14:59Z)
• PLUMAGE: Probabilistic Low rank Unbiased Min Variance Gradient Estimator for Efficient Large Model Training [21.695928776150808]
  アクセラレータのメモリとネットワークの制約は、大きな言語モデルをトレーニングする際の主要なボトルネックとして現れている。 PLUMAGE: Probabilistic Low rank Unbiased Minimum v Ariance Gradient Estorを提案する。 PLUMAGEは,モデル全体で平均33%,GLUEベンチマークで平均28%,GaloREと同様の計算量およびメモリフットプリントで平均33%の事前トレーニング評価損失に対して,フルランク最適化のギャップを縮めることを実証的に実証した。
  論文  参考訳（メタデータ） (2025-05-23T19:17:55Z)
• The Journey Matters: Average Parameter Count over Pre-training Unifies Sparse and Dense Scaling Laws [51.608402959163925]
  本稿では,大規模言語モデルに対する最適スパース事前学習構成の体系的検討を行う。 総トレーニング計算の25%でプルーニングを開始し、75%で終了すると、ほぼ最適の最終評価損失が得られることがわかった。 本稿では,事前学習よりも平均パラメータ数を使用するように,チンチラスケーリング法を修正した新しいスケーリング法を提案する。
  論文  参考訳（メタデータ） (2025-01-21T20:23:22Z)
• Stepping Forward on the Last Mile [8.756033984943178]
  本稿では,バックプロパゲーションと比較してメモリフットプリントと精度のギャップを低減させるアルゴリズムの一連の拡張を提案する。 その結果、エッジデバイス上でのモデルカスタマイズの最後のマイルでは、固定点前方勾配によるトレーニングが実現可能で実践的なアプローチであることが示されている。
  論文  参考訳（メタデータ） (2024-11-06T16:33:21Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。 本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Predicting Training Time Without Training [120.92623395389255]
  我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。 我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。 トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
  論文  参考訳（メタデータ） (2020-08-28T04:29:54Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。