論文の概要: Probe-Space Preconditioning for Fast and Stable Zero-Order Training

• arxiv url: http://arxiv.org/abs/2609.38095v1
• Date: Tue, 29 Sep 2026 17:43:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.800458
• Title: Probe-Space Preconditioning for Fast and Stable Zero-Order Training
• Title（参考訳）: 高速で安定なゼロオーダートレーニングのためのプローブ空間プレコンディショニング
• Abstract要約: バックプロパゲーションはディープラーニングを支配しているが、大量のメモリ税を課している。 計算予算を多くのステップから大規模なバッチサイズに再配置することで、1SPSAがゼロオーダー法を上回り得ることを示す。 また、1.5-SPSAを導入し、1ステップごとに1SPSAを開梱し、プローブ空間における安価な対角前条件を計算する。
• 参考スコア（独自算出の注目度）: 23.669341805296924
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Backpropagation (BP) dominates deep learning but imposes a massive memory tax. For example, training OPT-30B with Adam requires $\approx$ 600GB of GPU memory (assuming batch size 8 and sequence length 2048). Alternatively, zero-order optimization (ZOO) trains in inference-mode (requiring only $\approx$ 60GB for the same model): no stored activations, no gradients, and no optimizer states. However, ZOO convergence has lagged behind BP. In this work, we evaluate two methods to close this gap. First, we show that reallocating training compute budget from many steps to large effective batch sizes with many perturbations (or probes) but fewer steps, allows 1SPSA (Spall, 1992) to outperform zero order methods like MeZO (Malladi et al., 2023) with less training compute. Next, we introduce 1.5-SPSA, adding a single "clean" forward-pass per step to 1SPSA to calculate a cheap diagonal preconditioner in probe-space, which improves convergence rate and convergence by down-weighting high curvature directions. Benchmarking on 6 post-training datasets on both Qwen3 and OPT model families, we show that 1.5-SPSA achieves State-of-the-Art results over previous ZOO solvers with much less optimization steps. For example, we train OPT-13B (for direct comparison to MeZO) and find 1.5-SPSA achieves +3.1% accuracy on SST-2 over both MeZO and BP in only 70 steps vs. MeZO's 100,000 steps. Finally, we combine an 8-bit-packing random generator, triton fused unpack/apply kernels, and distributed parallelism to achieve fast and stable training of models as large as OPT-30B in-place on commodity GPUs (e.g. A100).
• Abstract（参考訳）: バックプロパゲーション(BP)はディープラーニングを支配しているが、大量のメモリ税を課している。 例えば、OPT-30BをAdamでトレーニングするには、600GBのGPUメモリを$\approx(バッチサイズ8とシーケンスの長さ2048と仮定する)が必要である。 あるいは、ゼロオーダー最適化(ZOO)は推論モードで(同じモデルでは$\approx$ 60GBしか必要としない)、格納されたアクティベーション、勾配なし、オプティマイザ状態なしである。 しかし、ZOO収束はBPに遅れを取っている。 本研究では,このギャップを埋める2つの方法を評価する。 まず,多くのステップから,多数の摂動(あるいはプローブ)を持つ大規模なバッチサイズへのトレーニング計算予算の再配置を行い,訓練計算の少ないMeZO (Malladi et al , 2023) のようなゼロオーダー法を1SPSA (Spall, 1992) が上回ることを示す。 次に、1.5-SPSAを導入し、1ステップごとに1SPSAに1つの「クリーン」フォワードパスを加え、プローブ空間における安価な対角プレコンディショナーを計算し、高い曲率方向を下げることで収束率と収束率を向上させる。 Qwen3およびOPTモデルファミリ上の6つのトレーニング後のデータセットをベンチマークした結果、1.5-SPSAは従来のZOOソルバよりもはるかに少ない最適化ステップでStation-of-the-Art結果が得られることがわかった。 例えば、OPT-13B(MeZOと直接比較するために)をトレーニングし、1.5-SPSAは、MeZOとBPの両方に対して、MeZOの10000ステップに対してわずか70ステップでSST-2で+3.1%の精度を達成する。 最後に、8ビットのパッケージングランダムジェネレータ、トリトンフューズされたアンパック/アプライカーネル、分散並列性を組み合わせることで、コモディティGPU(例えばA100)上でのOPT-30Bの高速かつ安定したモデルのトレーニングを実現する。

関連論文リスト

• Super-Tuning: From Activation-Aware Pruning to Sparse Fine-Tuning [47.97857843162072]
  そこで本研究では,当初プルーニングのために開発されたサリエンシ信号が,モデルが適応すべき場所を選択するために再利用できるかどうかについて検討する。 我々は,小さなトレーニング可能なサポートを修正可能なスパースパラメータ効率細調整(PEFT)手法であるSuperを提案する。 次に、このスパースアップデートとLoRAを組み合わせたハイブリッドアダプタであるSupraを紹介します。
  論文  参考訳（メタデータ） (2026-07-10T10:55:28Z)
• LLM Zeroth-Order Fine-Tuning is an Inference Workload [11.157054169482322]
  バックプロパゲーションを前方目標評価に置き換えるため、ゼロオーダー(ZO)ファインチューニングは大規模言語モデルにとって魅力的である。 既存の実装では、近隣のパラメータ状態の下で、支配的な作業が繰り返しスコアリングされているにもかかわらず、従来のトレーニングループ内でZOアルゴリズムを実行している。 LLM ZOファインチューニングは推論に支配される作業負荷であり,その繰り返しスコアリングフェーズをサービスランタイムを通じて実行することを示す。
  論文  参考訳（メタデータ） (2026-05-27T17:19:19Z)
• Closing the Approximation Gap of Partial AUC Optimization: A Tale of Two Formulations [121.39938773554523]
  ROC曲線の下の領域(AUC)は、クラス不均衡と決定制約の両方を持つ実世界のシナリオにおける重要な評価指標である。 PAUC最適化の近似ギャップを埋めるために,2つの簡単なインスタンス単位のミニマックス修正を提案する。 得られたアルゴリズムは、サンプルサイズと典型的な一方方向と双方向のPAUCに対して$O(-2/3)$の収束率の線形パーイテレーション計算複雑性を享受する。
  論文  参考訳（メタデータ） (2025-12-01T02:52:33Z)
• FZOO: Fast Zeroth-Order Optimizer for Fine-Tuning Large Language Models towards Adam-Scale Speed [14.370468094916918]
  我々はAdam-Scale Speedに向けたFast Zeroth-Orderを紹介する。 FZOOは、バッチ化された片側推定を用いて収束に必要な総前方通過を減らす。 また、RademacherランダムベクトルGPUと並列処理を使用することで、バッチ毎の計算を高速化する。
  論文  参考訳（メタデータ） (2025-06-10T17:56:53Z)
• A Computationally Efficient Sparsified Online Newton Method [48.78646010774149]
  Sparsified Online Newton (SONew) はメモリ効率の良い2次アルゴリズムである。 最大で30%の高速化,3.4%の妥当性向上,80%のトレーニング損失の相対的改善を実現しています。
  論文  参考訳（メタデータ） (2023-11-16T18:44:22Z)
• Fine-Tuning Language Models with Just Forward Passes [92.04219196752007]
  微調整言語モデル(LM)は、様々な下流タスクで成功したが、LMのサイズが大きくなるにつれて、バックプロパゲーションは大量のメモリを必要とする。 本稿では,メモリ効率の高いゼロソーダ(MeZO)を提案する。
  論文  参考訳（メタデータ） (2023-05-27T02:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。