論文の概要: Randomized Momentum Transport with Cheap Predictors

• arxiv url: http://arxiv.org/abs/2610.13789v1
• Date: Fri, 09 Oct 2026 16:04:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.679715
• Title: Randomized Momentum Transport with Cheap Predictors
• Title（参考訳）: チープ予測器を用いたランダム化モーメント輸送
• Abstract要約: モーメント法は運動量に輸送補正を加えることで勾配を追跡する。 ランダム化された運動量輸送を導入し、確率で補正する。 修正の4分の1をクエリすると、MNIST1Dで18ドルから43%の最終的なトレーニング損失が減少し、CIFAR-10上でのHessian-vectorトランスポートのテスト精度が1.5ドルポイント向上する。
• 参考スコア（独自算出の注目度）: 43.7624716532625
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Momentum methods such as STORM and second-order momentum track the gradient by adding a transport correction to momentum, at the cost of an extra oracle call per iteration. We introduce randomized momentum transport, which evaluates the correction with probability $q$ and otherwise uses a cheap prediction, with importance weighting that preserves the conditional mean and adds $(q^{-1}-1)$ times the prediction loss to the variance. Under transport-bias, second-moment, and residual-control assumptions, linear minimization oracle (LMO) updates, including normalized, sign, and exact spectral (Muon) directions, retain an $O(T^{-1/3})$ stationarity bound for each fixed $q>0$ with a single-gradient initialization. For unnormalized STORM, some $q<1$ lowers the leading coefficient of our sufficient gradient budget if and only if the gradient-difference noise modulus exceeds the smoothness constant, by at most about $10\%$. An online diagonal predictor admits a regret-to-convergence guarantee. At approximately equal oracle cost, querying a quarter of the corrections lowers the final training loss by $18$ to $43\%$ on MNIST1D and raises the test accuracy of Hessian-vector transport on CIFAR-10 by $1.5$ points.
• Abstract（参考訳）: STORMや2階モーメントのようなモメンタム手法は、反復ごとに余分なオラクル呼び出しを犠牲にして、モメンタムにトランスポート補正を加えることで勾配を追跡する。 確率$q$で補正し、それ以外は安価な予測を用いて、条件平均を保存する重み付けを行い、分散に$(q^{-1}-1)$の予測損失を加算するランダム化運動量輸送を導入する。 輸送バイアス、第二モーメント、残留制御仮定の下では、正規化、符号、正確なスペクトル (Muon) 方向を含む線形最小化オラクル (LMO) は、単階初期化を持つ各固定された$q>0$に対して$O(T^{-1/3})$定常性を保持する。 正規化されていない STORM に対して、ある$q<1$ が十分な勾配予算の先頭係数を下げるのは、勾配差雑音係数が滑らか性定数を超える場合に限りである。 オンライン対角予測器は、後悔と収束の保証を認める。 約1/4の修正では、MNIST1D上でのトレーニング損失が18ドルから43セント%まで減少し、CIFAR-10上でのHessian-vectorトランスポートのテスト精度が1.5ドル上昇する。

関連論文リスト

• The Impact of Likelihood Tempering on the Limiting Predictive Moments of Variational Bayesian Linear Neural Networks [2.37685358666088]
  ワイドベイズニューラルネットワークでは、ガウス平均場変動推論は「優越性」の傾向にある 我々は、$T = /Mc$, with constants $, c > 0$, as $M to infty$という形式のスケジュール下での限定予測分布を導出し、それを正確な後部の無限幅極限である未干渉ニューラルネットワークガウス過程(NNGP)の後方と比較する。
  論文  参考訳（メタデータ） (2026-10-06T21:24:49Z)
• Finite-Horizon Fisher Memory in Two-Sided Power-Bounded Recurrent Systems [0.5076419064097734]
  ノイズを繰り返す記憶におけるアロケーション,アクセプション,書き込み後保持の分析を行う。 デュアルパワーのキャリアの場合、均一な1/n$のラグバウンドを導出します。 バイナリ精度はガウス予想と一致し、絶対誤差は0.002$以下の4桁以上である。
  論文  参考訳（メタデータ） (2026-09-30T14:13:55Z)
• Clipped or Unclipped? Finite-Sample Trade-offs for Averaged SGD under Heavy-Tailed Noise [66.13091490213743]
  グラディエントクリッピングはトレーニングを安定させるために広く用いられているが、平均的なSGDの統計的精度を改善する必要はない。 有限条件の$p$-th モーメント,$pge2$ の条件下で, クリッピングおよび非クリッピングのPolyak-Ruppert平均 SGD の比較を導出した。 我々の主な結果は、$p>2$の場合、ガウス項が未開偏差境界を独占する明確な精度と信頼条件を与える。
  論文  参考訳（メタデータ） (2026-09-26T21:47:14Z)
• Constrained Online Learning with Noisy Constraint Values [55.29259818039367]
  一般的な実現可能性の下では、我々のLEDGERアルゴリズムは、期待される損失$O(sqrt T)と期待される予算違反$O(sqrtTlog(eT))を達成します。 スレーター条件、フィードバックチャネル間の独立性、絶対的制約値境界は不要である。
  論文  参考訳（メタデータ） (2026-09-07T01:38:41Z)
• Round-Trip Consistency: Bidirectional Diffusion Models Can Predict Their Own Rollout Errors [51.56484100374058]
  自動回帰モデルは、長時間のロールアウトでエラーを蓄積しますが、デプロイ時には、それを測定するための基本的な真実はありません。 我々は、方向フラグを介して動的システムを前方または後方にステップする単一の条件付き潜在拡散モデルを訓練する。 この双方向性は測定不要なテスト時間誤差信号を提供することを示す。
  論文  参考訳（メタデータ） (2026-08-01T13:49:46Z)
• Asymptotic-Preserving A Posteriori Analysis of Diffusion and Flow-Matching Samplers [0.6768558752130311]
  拡散及びフローマッチングサンプリングは、学習した確率フローODEを、大きなノイズスケールから小さな終端フロア($_min$)まで統合し、スコアが硬く、フローが境界層を発達させる。 特異摂動パラメータとして$_min$を扱い、どの固定ステップサンプリングが解けるかを決定する。
  論文  参考訳（メタデータ） (2026-07-05T04:48:33Z)
• Black-Box Assisted Regression: Phase Transitions and Minimax Optimality [13.030603690976202]
  ファンデーションモデルは、ラベル付きデータに制限のある下流タスクのための固定されたブラックボックス予測器としてしばしば使用される。 有限サンプルのミニマックス特徴づけを$_c(n) asymp n-/(2+d)$で表し、主要なリスクは$min2, n-2/(2+d)$である。 Safe Residual Estimatorを解析し、$f_0$あたりの補正を学習し、残留ヘッドを0で初期化し、初期予測器が$f_0$に等しいようにし、ホールドアウト選択を使用する。
  論文  参考訳（メタデータ） (2026-06-24T12:11:59Z)
• How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
  r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。 まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
  論文  参考訳（メタデータ） (2026-05-23T22:00:38Z)
• Bandit Convex Optimization with Gradient Prediction Adaptivity [56.816177049016794]
  本研究では, 楽観的な勾配予測が, 最悪の後悔の保証を予測順応的に改善できるかどうかを考察する。 鍵となるアイデアは、分散が勾配ノルムではなく予測誤差でスケールする、新しい分散還元勾配推定器である。 我々は、$(sqrtmathbbE[S_T])$としてスケールする情報理論の下限を確立し、最も達成可能な予測適応的後悔の基本的な特徴を提供する。
  論文  参考訳（メタデータ） (2026-05-21T08:57:38Z)
• Online Covariance Estimation in Averaged SGD: Improved Batch-Mean Rates and Minimax Optimality via Trajectory Regression [12.805268849262243]
  我々はPolyak-Ruppert averaged gradient descent (SGD)のオンライン共分散行列推定について検討した。 この構造は、このボトルネックがSGDドリフトからヘッセンの情報をサブ線形に蓄積していることを明らかにする。
  論文  参考訳（メタデータ） (2026-04-12T20:49:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。