論文の概要: On the Performance Analysis of Momentum Method: A Frequency Domain Perspective

• arxiv url: http://arxiv.org/abs/2411.19671v2
• Date: Wed, 12 Feb 2025 01:34:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:45:46.743678
• Title: On the Performance Analysis of Momentum Method: A Frequency Domain Perspective
• Title（参考訳）: モーメントム法の性能解析について:周波数領域の観点から
• Authors: Xianliang Li, Jun Luo, Zhiwei Zheng, Hanxiao Wang, Li Luo, Lingkun Wen, Linlong Wu, Sheng Xu,
• Abstract要約: 本稿では,モーメント法を時間変動フィルタとして解釈する周波数領域解析フレームワークを提案する。 我々の実験はこの視点を支持し、関連するメカニズムをより深く理解する。
• 参考スコア（独自算出の注目度）: 9.566967680633615
• License:
• Abstract: Momentum-based optimizers are widely adopted for training neural networks. However, the optimal selection of momentum coefficients remains elusive. This uncertainty impedes a clear understanding of the role of momentum in stochastic gradient methods. In this paper, we present a frequency domain analysis framework that interprets the momentum method as a time-variant filter for gradients, where adjustments to momentum coefficients modify the filter characteristics. Our experiments support this perspective and provide a deeper understanding of the mechanism involved. Moreover, our analysis reveals the following significant findings: high-frequency gradient components are undesired in the late stages of training; preserving the original gradient in the early stages, and gradually amplifying low-frequency gradient components during training both enhance performance. Based on these insights, we propose Frequency Stochastic Gradient Descent with Momentum (FSGDM), a heuristic optimizer that dynamically adjusts the momentum filtering characteristic with an empirically effective dynamic magnitude response. Experimental results demonstrate the superiority of FSGDM over conventional momentum optimizers.
• Abstract（参考訳）: モーメントベースのオプティマイザは、ニューラルネットワークのトレーニングに広く採用されている。 しかし、運動量係数の最適選択はいまだ解明されていない。 この不確実性は、確率勾配法における運動量の役割を明確に理解することを妨げる。 本稿では,モーメント法を勾配の時間変化フィルタとして解釈する周波数領域解析フレームワークを提案する。 我々の実験はこの視点を支持し、関連するメカニズムをより深く理解する。 さらに,本研究では, トレーニングの後半段階では高周波勾配成分が望ましくないこと, 当初の勾配を早期に保存すること, トレーニング中の低周波勾配成分を徐々に増幅すること, ともに性能を向上させること, など, 重要な知見が得られた。 これらの知見に基づき、経験的に有効な動的マグニチュード応答で運動量フィルタリング特性を動的に調整するヒューリスティックオプティマイザFSGDMを提案する。 従来の運動量最適化器よりもFSGDMの方が優れていることを示す実験結果が得られた。

関連論文リスト

• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• The Marginal Value of Momentum for Small Learning Rate SGD [20.606430391298815]
  モーメントは、勾配雑音のない強い凸条件下での勾配降下の収束を加速することが知られている。 実験により、最適学習率があまり大きくない実践訓練において、運動量には最適化と一般化の両方の利点があることがわかった。
  論文  参考訳（メタデータ） (2023-07-27T21:01:26Z)
• Guaranteed Conservation of Momentum for Learning Particle-based Fluid Dynamics [96.9177297872723]
  本稿では,学習物理シミュレーションにおける線形運動量を保証する新しい手法を提案する。 我々は、強い制約で運動量の保存を強制し、反対称的な連続的な畳み込み層を通して実現する。 提案手法により,学習シミュレータの物理的精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2022-10-12T09:12:59Z)
• Accelerate Distributed Stochastic Descent for Nonconvex Optimization with Momentum [12.324457683544132]
  本稿では,そのようなモデル平均化手法のモーメント法を提案する。 このような運動量法の収束特性とスケーリング特性を解析する。 実験の結果,ブロックモーメントはトレーニングを加速するだけでなく,より良い結果が得られることがわかった。
  論文  参考訳（メタデータ） (2021-10-01T19:23:18Z)
• Implicit Bias of SGD for Diagonal Linear Networks: a Provable Benefit of Stochasticity [24.428843425522107]
  直交線形ネットワーク上の勾配降下の力学を,その連続時間,すなわち勾配流を用いて研究する。 トレーニング損失の収束速度がバイアス効果の大きさを制御することを示し,収束速度が遅くなるほどバイアスが良くなることを示した。
  論文  参考訳（メタデータ） (2021-06-17T14:16:04Z)
• Escaping Saddle Points Faster with Stochastic Momentum [9.485782209646445]
  ディープネットワークでは、モーメントは収束時間を大幅に改善しているように見える。 我々は,SGDを高速に回避できるため,運動量が深度トレーニングを改善することを示す。 また、理想運動量パラメータの選択方法を示す。
  論文  参考訳（メタデータ） (2021-06-05T23:34:02Z)
• Neural Dynamic Mode Decomposition for End-to-End Modeling of Nonlinear Dynamics [49.41640137945938]
  ニューラルネットワークに基づくリフト関数を推定するためのニューラルダイナミックモード分解法を提案する。 提案手法により,予測誤差はニューラルネットワークとスペクトル分解によって逆伝搬される。 提案手法の有効性を,固有値推定と予測性能の観点から実証した。
  論文  参考訳（メタデータ） (2020-12-11T08:34:26Z)
• Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
  最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。 本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
  論文  参考訳（メタデータ） (2020-06-16T15:07:37Z)
• A New Accelerated Stochastic Gradient Method with Momentum [4.967897656554012]
  運動量(Sgdm)による勾配降下は、繰り返し時間とともに指数関数的に減衰する重みを使い、運動量項を生成する。 本研究では,指数関数的減衰重みと逆比例分解重みの両方が領域に最適化されるパラメータの移動方向のばらつきを制限することができる理論収束特性解析を行う。
  論文  参考訳（メタデータ） (2020-05-31T03:04:32Z)
• On Learning Rates and Schr\"odinger Operators [105.32118775014015]
  本稿では,学習率の影響に関する一般的な理論的分析を行う。 学習速度は、幅広い非ニューラルクラス関数に対してゼロとなる傾向にある。
  論文  参考訳（メタデータ） (2020-04-15T09:52:37Z)
• The Break-Even Point on Optimization Trajectories of Deep Neural Networks [64.7563588124004]
  この軌道上の「破滅的な」点の存在を論じる。 トレーニングの初期段階での大きな学習率を用いることで、勾配のばらつきが軽減されることを示す。 また, バッチ正規化層を有するニューラルネットワークにおいても, 低学習率を用いることで損失面の条件が悪くなることを示す。
  論文  参考訳（メタデータ） (2020-02-21T22:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。