Fugu-MT 論文翻訳(概要): A modified limited memory Nesterov's accelerated quasi-Newton

論文の概要: A modified limited memory Nesterov's accelerated quasi-Newton

arxiv url: http://arxiv.org/abs/2112.01327v1
Date: Wed, 1 Dec 2021 06:48:47 GMT
ステータス: 処理完了
システム内更新日: 2021-12-04 13:42:45.842177
Title: A modified limited memory Nesterov's accelerated quasi-Newton
Title（参考訳）: メモリ変更によるNesterov'sAccelerated quasi-Newton
Authors: S. Indrapriyadarsini, Shahrzad Mahboubi, Hiroshi Ninomiya, Takeshi Kamio, Hideki Asai
Abstract要約: ネステロフの加速準ニュートン(L)NAQ法は従来の(L)BFGS準ニュートン法を加速することを示した。 Momentum accelerated Quasi-Newton (MoQ) 法は,Nesterov の加速勾配を過去の勾配の線形結合として近似できることを示した。この抽象化は、MoQ近似を限られたメモリNAQに拡張し、関数近似問題における性能を評価する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The Nesterov's accelerated quasi-Newton (L)NAQ method has shown to accelerate the conventional (L)BFGS quasi-Newton method using the Nesterov's accelerated gradient in several neural network (NN) applications. However, the calculation of two gradients per iteration increases the computational cost. The Momentum accelerated Quasi-Newton (MoQ) method showed that the Nesterov's accelerated gradient can be approximated as a linear combination of past gradients. This abstract extends the MoQ approximation to limited memory NAQ and evaluates the performance on a function approximation problem.
Abstract（参考訳）: Nesterov's accelerated quasi-Newton (L)NAQ法は、いくつかのニューラルネットワーク(NN)アプリケーションにおいて、Nesterov's accelerated gradientを用いた従来の(L)BFGS quasi-Newton法を加速することを示した。しかし、反復毎の2つの勾配の計算は計算コストを増大させる。 Momentum accelerated Quasi-Newton (MoQ) 法は,Nesterov の加速勾配を過去の勾配の線形結合として近似できることを示した。この抽象化は、MoQ近似を限られたメモリNAQに拡張し、関数近似問題の性能を評価する。

関連論文リスト

Incremental Quasi-Newton Methods with Faster Superlinear Convergence Rates [50.36933471975506]
各成分関数が強く凸であり、リプシッツ連続勾配とヘシアンを持つ有限和最適化問題を考える。最近提案されたインクリメンタル準ニュートン法は、BFGSの更新に基づいて、局所的な超線形収束率を達成する。本稿では、対称ランク1更新をインクリメンタルフレームワークに組み込むことにより、より効率的な準ニュートン法を提案する。
論文参考訳（メタデータ） (2024-02-04T05:54:51Z)
Accelerated gradient methods for nonconvex optimization: Escape trajectories from strict saddle points and convergence to local minima [9.66353475649122]
本稿ではその問題を考察する。加速勾配法の一般一般の凸挙動を理解すること。非アプティック関数。これは、運動量可変ネステロフの加速法(NAG)が、厳密なサドル点をほぼ確実に避けていることを示している。
論文参考訳（メタデータ） (2023-07-13T19:11:07Z)
Nesterov acceleration despite very noisy gradients [2.048226951354646]
我々はネステロフの加速勾配降下アルゴリズムの一般化を提案する。 AGNESは滑らかな凸と強い凸最小化タスクの加速を達成する。
論文参考訳（メタデータ） (2023-02-10T21:32:47Z)
Revisiting the acceleration phenomenon via high-resolution differential equations [6.53306151979817]
ネステロフの加速勾配降下(NAG)は、一階アルゴリズムの歴史におけるマイルストーンの1つである。 Lyapunov解析と位相空間表現に基づく$mu$-strongly convex関数のNAGについて検討する。 NAGの暗黙的速度スキームによる高分解能微分方程式の枠組みは完璧であり、勾配補正スキームよりも優れていた。
論文参考訳（メタデータ） (2022-12-12T04:36:37Z)
Adan: Adaptive Nesterov Momentum Algorithm for Faster Optimizing Deep Models [158.19276683455254]
アダプティブ勾配アルゴリズムは、重ボール加速の移動平均アイデアを借用し、勾配の第1次モーメントを正確に推定し、収束を加速する。ネステロフ加速は、理論上はボール加速よりも早く収束し、多くの経験的ケースでも収束する。本稿では,計算勾配の余分な計算とメモリオーバーヘッドを回避するため,Nesterov運動量推定法(NME)を提案する。 Adan は視覚変換器 (ViT と CNN) で対応する SoTA を上回り,多くの人気ネットワークに対して新たな SoTA を設定する。
論文参考訳（メタデータ） (2022-08-13T16:04:39Z)
Fast Margin Maximization via Dual Acceleration [52.62944011696364]
指数関数的尾の損失を持つ線形分類器を訓練するための運動量に基づく手法を提案し,解析する。この運動量に基づく法は、最大マルジン問題の凸双対、特にこの双対にネステロフ加速度を適用することによって導出される。
論文参考訳（メタデータ） (2021-07-01T16:36:39Z)
A Unified Analysis of First-Order Methods for Smooth Games via Integral Quadratic Constraints [10.578409461429626]
本研究では、滑らかで強可変なゲームやイテレーションのための一階法に積分二次的制約理論を適用する。我々は、負の運動量法(NM)に対して、既知の下界と一致する複雑性$mathcalO(kappa1.5)$で、初めて大域収束率を与える。一段階のメモリを持つアルゴリズムでは,バッチ毎に1回だけ勾配を問合せすれば,高速化は不可能であることを示す。
論文参考訳（メタデータ） (2020-09-23T20:02:00Z)
Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
論文参考訳（メタデータ） (2020-06-16T15:07:37Z)
Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。この場合、最先端の結果を上回る新たな複雑さが証明される。本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
論文参考訳（メタデータ） (2020-05-21T17:05:27Z)
Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
論文参考訳（メタデータ） (2020-03-11T13:15:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。