Fugu-MT 論文翻訳(概要): SGEM: stochastic gradient with energy and momentum

論文の概要: SGEM: stochastic gradient with energy and momentum

arxiv url: http://arxiv.org/abs/2208.02208v1
Date: Wed, 3 Aug 2022 16:45:22 GMT
ステータス: 処理完了
システム内更新日: 2022-08-04 14:24:22.630371
Title: SGEM: stochastic gradient with energy and momentum
Title（参考訳）: SGEM:エネルギーと運動量による確率勾配
Authors: Hailiang Liu and Xuping Tian
Abstract要約: 我々は、一般の非GEM最適化問題のクラスを解くために、S, Gradient with Energy Momentumを提案する。 SGEMはエネルギー依存収束率を導出するためにエネルギーと運動量の両方を包含する。以上の結果より,SGEMはAEGDやニューラルトレーニングよりも早く収束することが示唆された。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we propose SGEM, Stochastic Gradient with Energy and Momentum, to solve a large class of general non-convex stochastic optimization problems, based on the AEGD method that originated in the work [AEGD: Adaptive Gradient Descent with Energy. arXiv: 2010.05109]. SGEM incorporates both energy and momentum at the same time so as to inherit their dual advantages. We show that SGEM features an unconditional energy stability property, and derive energy-dependent convergence rates in the general nonconvex stochastic setting, as well as a regret bound in the online convex setting. A lower threshold for the energy variable is also provided. Our experimental results show that SGEM converges faster than AEGD and generalizes better or at least as well as SGDM in training some deep neural networks.
Abstract（参考訳）: 本稿では,AEGD法(Adaptive Gradient Descent with Energy, arXiv: 201005109]に基づく一般の非凸確率最適化問題の解法として,SGEM(Stochastic Gradient with Energy and Momentum)を提案する。 SGEMはエネルギーと運動量の両方を同時に含み、その2つの利点を継承する。 SGEMは, 一般の非凸確率環境において, エネルギー依存収束率を導出する非条件のエネルギー安定特性と, オンライン凸環境における後悔の束縛を特徴とすることを示す。また、エネルギー変数の閾値を低くする。実験の結果,SGEM は AEGD よりも早く収束し,SGDM と同様に深層ニューラルネットワークのトレーニングにも有効であることがわかった。

関連論文リスト

On the Convergence of (Stochastic) Gradient Descent for Kolmogorov--Arnold Networks [56.78271181959529]
Kolmogorov--Arnold Networks (KAN) はディープラーニングコミュニティで注目されている。実験により、勾配降下(SGD)により最適化されたカンが、ほぼゼロに近い訓練損失を達成できることが示された。
論文参考訳（メタデータ） (2024-10-10T15:34:10Z)
Enhancing the Energy Gap of Random Graph Problems via XX-catalysts in Quantum Annealing [0.0]
グラフの端面に複数のXX触媒を用いると、最小エネルギーギャップが著しく向上することを示す。その結果, 1次相転移が重くなればなるほど, 触媒はギャップを開くのに有効であることが示唆された。
論文参考訳（メタデータ） (2024-09-24T18:00:01Z)
Smoothed Energy Guidance: Guiding Diffusion Models with Reduced Energy Curvature of Attention [0.7770029179741429]
条件付き拡散モデルは、視覚コンテンツ生成において顕著な成功を収めている。非条件ガイダンスを拡張しようとする最近の試みはテクニックに依存しており、その結果、最適以下の生成品質が得られる。 Smoothed Energy Guidance (SEG) を提案する。
論文参考訳（メタデータ） (2024-08-01T17:59:09Z)
Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文参考訳（メタデータ） (2023-06-06T09:12:49Z)
Sampling with Mollified Interaction Energy Descent [57.00583139477843]
モーフィファイド相互作用エネルギー降下(MIED)と呼ばれる新しい最適化に基づくサンプリング手法を提案する。 MIEDは、モル化相互作用エネルギー(MIE)と呼ばれる確率測度に関する新しいクラスのエネルギーを最小化する我々は,制約のないサンプリング問題に対して,我々のアルゴリズムがSVGDのような既存の粒子ベースアルゴリズムと同等に動作することを示す。
論文参考訳（メタデータ） (2022-10-24T16:54:18Z)
NAG-GS: Semi-Implicit, Accelerated and Robust Stochastic Optimizer [45.47667026025716]
2つの重要な要素に依存した、新しく、堅牢で、加速された反復を提案する。 NAG-GSと呼ばれる手法の収束と安定性は、まず広範に研究されている。我々は、NAG-arityが、重量減衰を伴う運動量SGDや機械学習モデルのトレーニングのためのAdamWといった最先端の手法と競合していることを示す。
論文参考訳（メタデータ） (2022-09-29T16:54:53Z)
An Adaptive Gradient Method with Energy and Momentum [0.0]
目的関数の勾配に基づく最適化のための新しいアルゴリズムを提案する。この方法は実装が簡単で、計算効率が良く、大規模機械学習問題に適している。
論文参考訳（メタデータ） (2022-03-23T04:48:38Z)
On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
論文参考訳（メタデータ） (2021-06-30T17:51:36Z)
Positive-Negative Momentum: Manipulating Stochastic Gradient Noise to Improve Generalization [89.7882166459412]
勾配雑音(SGN)は、ディープラーニングの暗黙の正規化として機能する。深層学習を改善するためにランダムノイズを注入してSGNを人工的にシミュレートしようとした作品もある。低計算コストでSGNをシミュレーションし、学習率やバッチサイズを変更することなく、PNM(Positive-Negative Momentum)アプローチを提案する。
論文参考訳（メタデータ） (2021-03-31T16:08:06Z)
AEGD: Adaptive Gradient Descent with Energy [0.0]
本研究では, 1次勾配非エネルギー目的関数変数に対する新しいアルゴリズムである AEGD を提案する。非エネルギー収束と所望の小さなステップサイズの両方に対してエネルギー依存型AEGDを示す。
論文参考訳（メタデータ） (2020-10-10T22:17:27Z)
Targeted free energy estimation via learned mappings [66.20146549150475]
自由エネルギー摂動 (FEP) は60年以上前にズワンツィヒによって自由エネルギー差を推定する方法として提案された。 FEPは、分布間の十分な重複の必要性という厳しい制限に悩まされている。目標自由エネルギー摂動(Targeted Free Energy Perturbation)と呼ばれるこの問題を緩和するための1つの戦略は、オーバーラップを増やすために構成空間の高次元マッピングを使用する。
論文参考訳（メタデータ） (2020-02-12T11:10:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。