Fugu-MT 論文翻訳(概要): Fast Compute for ML Optimization

論文の概要: Fast Compute for ML Optimization

arxiv url: http://arxiv.org/abs/2602.14280v1
Date: Sun, 15 Feb 2026 19:09:58 GMT
ステータス: 翻訳完了
システム内更新日: 2026-02-17 16:22:49.933105
Title: Fast Compute for ML Optimization
Title（参考訳）: ML最適化のための高速計算
Authors: Nick Polson, Vadim Sokolov,
Abstract要約: 分散平均スケール-混合表現を含む損失に対する最適化について検討する。その結果、SM-EM(Scale Mixture EM)アルゴリズムは、ユーザが指定した学習率と運動量スケジュールを除去する。基底(非加速)アルゴリズムでは、EM単調性は非増加目標値を保証する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We study optimization for losses that admit a variance-mean scale-mixture representation. Under this representation, each EM iteration is a weighted least squares update in which latent variables determine observation and parameter weights; these play roles analogous to Adam's second-moment scaling and AdamW's weight decay, but are derived from the model. The resulting Scale Mixture EM (SM-EM) algorithm removes user-specified learning-rate and momentum schedules. On synthetic ill-conditioned logistic regression benchmarks with $p \in \{20, \ldots, 500\}$, SM-EM with Nesterov acceleration attains up to $13\times$ lower final loss than Adam tuned by learning-rate grid search. For a 40-point regularization path, sharing sufficient statistics across penalty values yields a $10\times$ runtime reduction relative to the same tuned-Adam protocol. For the base (non-accelerated) algorithm, EM monotonicity guarantees nonincreasing objective values; adding Nesterov extrapolation trades this guarantee for faster empirical convergence.
Abstract（参考訳）: 分散平均スケール-混合表現を含む損失に対する最適化について検討する。この表現の下では、各EMイテレーションは、潜在変数が観測とパラメータの重みを決定する、最小二乗更新である。その結果、SM-EM(Scale Mixture EM)アルゴリズムは、ユーザが指定した学習率と運動量スケジュールを除去する。合成条件付きロジスティック回帰ベンチマークでは、$p \in \{20, \ldots, 500\}$, SM-EM with NesterovAccelerationは、Adamが学習レートグリッドサーチで調整したよりも最大13\times$低い最終損失を達成した。 40ポイントの正規化パスでは、ペナルティ値間で十分な統計情報を共有すると、同じチューニングされたAdamプロトコルに対して10\times$ランタイム還元が得られる。基底(非加速)アルゴリズムでは、EM単調性は非増加目標値を保証する。

関連論文リスト

Singular Bayesian Neural Networks [1.2891210250935148]
ベイズニューラルネットワークはキャリブレーションされた不確かさを約束するが、標準平均体ガウス後方に対する$O(mn)$パラメータを必要とする。我々は、ルベーグ測度に関して特異な後部を誘導し、ランク-$r$多様体に集中する。複素項が $sqrtr(m+n)$ ではなく $sqrtm n$ としてスケールするPAC-Bayes 一般化境界を導出し、誤差を最適化とランク誘導バイアスに分解する損失境界を証明する。
論文参考訳（メタデータ） (2026-01-30T23:06:34Z)
AdamHD: Decoupled Huber Decay Regularization for Language Model Pre-Training [0.2578242050187029]
AdamHuberDecayはAdamWのドロップイン代替品で、$ell$ペナルティを分離したスムーズなHuberレギュレータで置き換える。 GPT-2 と GPT-3 の事前学習実験により,AdamHuberDecay は壁面時間で 10-15% の速度で収束することが示された。
論文参考訳（メタデータ） (2025-11-18T18:08:20Z)
Robust Layerwise Scaling Rules by Proper Weight Decay Tuning [50.11170157029911]
現代のスケール不変アーキテクチャでは、トレーニングは急速に劣化したグラデーション状態に入る。我々は,AdamWに対して,幅をまたいだサブ層ゲインを保ったウェイトデカイスケーリングルールを導入する。この結果は,パラメータが設定した定常スケールを明示的に制御することにより,ほぼ入出力体制を超えて$mu$Pを拡大する。
論文参考訳（メタデータ） (2025-10-17T02:58:35Z)
MGDA Converges under Generalized Smoothness, Provably [27.87166415148172]
多目的最適化(MOO)はマルチタスク学習など様々な分野で注目を集めている。最近の研究は、理論解析を伴う効果的なアルゴリズムを提供しているが、それらは標準の$L$-smoothあるいは有界勾配仮定によって制限されている。一般化された$ell$-smooth損失関数のより一般的で現実的なクラスについて研究し、$ell$は勾配ノルムの一般非減少関数である。
論文参考訳（メタデータ） (2024-05-29T18:36:59Z)
Towards Communication-efficient Federated Learning via Sparse and Aligned Adaptive Optimization [90.08459757321405]
Federated Adam (FedAdam) アルゴリズムはアップリンク通信オーバーヘッドの3倍の増大に悩まされている。我々はFedAdam-SSMと呼ばれる新しいスパースなFedAdamアルゴリズムを提案する。我々は,FedAdam-SSMが訓練したモデルと集中型Adamの差異を最小化することにより,スペーシフィケーションエラーによる学習性能劣化を軽減するためにSSMを最適化する。
論文参考訳（メタデータ） (2024-05-28T07:56:49Z)
Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
論文参考訳（メタデータ） (2021-04-30T08:50:24Z)
Adam$^+$: A Stochastic Method with Adaptive Variance Reduction [56.051001950733315]
Adamはディープラーニングアプリケーションに広く使われている最適化手法である。我々はAdam$+$(Adam-plusと発音する)という新しい方法を提案する。画像分類,言語モデリング,自動音声認識など,さまざまなディープラーニングタスクに関する実証研究により,Adam$+$がAdamを著しく上回ることを示した。
論文参考訳（メタデータ） (2020-11-24T09:28:53Z)
ADAHESSIAN: An Adaptive Second Order Optimizer for Machine Learning [91.13797346047984]
本稿では,2次最適化アルゴリズムであるADAHESSIANを紹介する。 ADAHESSIANは、他の適応最適化手法と比較して、新しい最先端の成果を大きなマージンで達成することを示す。
論文参考訳（メタデータ） (2020-06-01T05:00:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。