論文の概要: Leap+Verify: Regime-Adaptive Speculative Weight Prediction for Accelerating Neural Network Training

• arxiv url: http://arxiv.org/abs/2602.19580v1
• Date: Mon, 23 Feb 2026 08:01:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.719865
• Title: Leap+Verify: Regime-Adaptive Speculative Weight Prediction for Accelerating Neural Network Training
• Title（参考訳）: Leap+Verify: ニューラルネットワークトレーニングの高速化のためのレジーム適応型投機重み予測
• Authors: Jeremy McEntire,
• Abstract要約: 本稿では,ニューラルネットワークトレーニングの高速化を目的としたLeap+Verifyを紹介する。 将来のモデルの重みを予測し、受け入れ前に予測を検証する。 GPT-2 124MのLeap+VerifyとWikiText-103で訓練されたQwen 2.5-1.5Bを5つのランダムシードで評価した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Leap+Verify, a framework that applies speculative execution -- predicting future model weights and validating predictions before acceptance -- to accelerate neural network training. Inspired by speculative decoding in language model inference and by the Automatically Scalable Computation (ASC) architecture for program execution, Leap+Verify decomposes training into three dynamically detected regimes (chaotic, transition, stable) using activation-space cosine similarity as a real-time Lyapunov proxy signal. Within each regime, analytic weight predictors (momentum, linear, quadratic extrapolation) attempt to forecast model parameters K training steps ahead; predictions are accepted only when validated against a held-out loss criterion. We evaluate Leap+Verify on GPT-2 124M and Qwen 2.5-1.5B trained on WikiText-103 across five random seeds, sweeping prediction depth K in {5, 10, 25, 50, 75, 100}. Momentum-based prediction (Adam moment extrapolation) fails catastrophically at both scales, with predicted losses exceeding actuals by 100-10,000x -- a universal norm explosion in optimizer-state extrapolation. Finite-difference predictors (linear, quadratic) succeed where momentum fails: at 124M, they achieve 24% strict acceptance at K=5 in stable regimes; at 1.5B, they achieve 37% strict acceptance in transition regimes. The scale-dependent finding is in regime distribution: GPT-2 124M spends 34% of training in stable regime, while Qwen 1.5B spends 64% in chaotic regime and reaches stable in only 0-2 of 40 checkpoints. Larger models are more predictable when predictable, but less often predictable -- the practical bottleneck shifts from predictor accuracy to regime availability. Cross-seed results are highly consistent (less than 1% validation loss variance), and the three-regime framework produces identical phase boundaries (plus or minus 50 steps) across seeds.
• Abstract（参考訳）: Leap+Verifyは、ニューラルネットワークトレーニングを加速するために、投機的実行 -- 将来のモデルの重みを予測し、受け入れ前に予測を検証する -- を適用したフレームワークである。 言語モデル推論における投機的復号化と、プログラム実行のための自動拡張計算(ASC)アーキテクチャによって着想を得たLeap+Verifyは、リアルタイムリアプノフプロキシ信号としてアクティベーション空間コサイン類似性を用いて、動的に検出された3つの状態(カオス、遷移、安定)にトレーニングを分解する。 各体制内では、分析重量予測器(モメンタム、線形、二次外挿)は、モデルパラメータKのトレーニングステップを先進的に予測しようとする。 GPT-2 124M 上の Leap+Verify と Qwen 2.5-1.5B を WikiText-103 で訓練した5つのランダム種子を用いて評価した。 モーメントベースの予測(アダムモーメント外挿)は、両方のスケールで破滅的に失敗し、予測損失は100-10,000倍となる。 124MではK=5で24%、1.5Bでは遷移系で37%の厳格な受理を達成する。 GPT-2 124Mは安定した体制でトレーニングを34%、Qwen 1.5Bはカオス的な体制で64%、40のチェックポイントのうち0-2で安定している。 より大規模なモデルは予測可能であれば予測可能になりますが、予測可能でない場合が少なくなります。 交雑種は, 種子間での相境界(プラス50段階, マイナス50段階)を同一に生成し, 高い一貫性 (1%の検証損失分散を伴わない) を示した。

関連論文リスト

• d-TreeRPO: Towards More Reliable Policy Optimization for Diffusion Language Models [45.27333046908981]
  emphd-TreeRPOは、dLLMのための信頼できる強化学習フレームワークである。 我々は,emphd-TreeRPOが複数の推論ベンチマークで大きく向上していることを示す。
  論文  参考訳（メタデータ） (2025-12-10T14:20:07Z)
• LYNX: Learning Dynamic Exits for Confidence-Controlled Reasoning [15.597220136913258]
  LYNXはオンラインのアーリーエグジットメカニズムで、モデル自身の隠れ状態の認識を信頼性制御による停止決定に変換する。 一般的な数学的コーパスで一度このプローブをトレーニングして校正し、ベンチマーク、復号化温度、さらには非数学的なタスクで再利用します。
  論文  参考訳（メタデータ） (2025-12-05T00:04:42Z)
• Bridging the Gap Between Bayesian Deep Learning and Ensemble Weather Forecasts [100.26854618129039]
  天気予報は、大気のカオス的な性質によって根本的に挑戦されている。 ベイジアンディープラーニング(BDL)の最近の進歩は、有望だがしばしば非接続な代替手段を提供する。 気象予報のための統合型BDLフレームワークにより,これらのパラダイムを橋渡しする。
  論文  参考訳（メタデータ） (2025-11-18T07:49:52Z)
• Re-FORC: Adaptive Reward Prediction for Efficient Chain-of-Thought Reasoning [85.76121000710522]
  適応型報酬予測法であるRe-FORCを提案する。 将来の思考トークン数の関数として期待される未来の報酬を予測することができる。
  論文  参考訳（メタデータ） (2025-11-03T23:47:49Z)
• One Sample is Enough to Make Conformal Prediction Robust [53.78604391939934]
  共形予測は, 1つのランダムな摂動入力に対して前方通過しても, ある程度の堅牢性が得られることを示す。 提案手法は,入力毎に多数のパス(例えば100回程度)を使用するSOTA法と比較して,平均セットサイズが小さいロバストな集合を返す。
  論文  参考訳（メタデータ） (2025-06-19T19:14:25Z)
• Movement-Prediction-Adjusted Naive Forecast [6.935130578959931]
  MPANF (Motion-Prediction-Adjusted Naive forecast) は, 偏差ベースラインを超えて点予測を改善するために設計されている。 MPANFは、信頼できる動き予測が利用できる場合に有効な第2段階の手法として機能する。
  論文  参考訳（メタデータ） (2024-06-20T16:32:18Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• Uncertainty estimation of pedestrian future trajectory using Bayesian approximation [137.00426219455116]
  動的トラフィックシナリオでは、決定論的予測に基づく計画は信頼できない。 著者らは、決定論的アプローチが捉えられない近似を用いて予測中の不確実性を定量化する。 将来の状態の不確実性に対する降雨重量と長期予測の影響について検討した。
  論文  参考訳（メタデータ） (2022-05-04T04:23:38Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。