論文の概要: FAdam: Adam is a natural gradient optimizer using diagonal empirical Fisher information
- arxiv url: http://arxiv.org/abs/2405.12807v5
- Date: Mon, 3 Jun 2024 11:55:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-04 14:29:15.560763
- Title: FAdam: Adam is a natural gradient optimizer using diagonal empirical Fisher information
- Title（参考訳）: FAdam:Adamは対角的な経験的フィッシャー情報を用いた自然な勾配最適化器です。
- Authors: Dongseong Hwang,
- Abstract要約: 我々はアダムの対角的経験的フィッシャー情報行列(FIM)を厳密に分析した。
我々の分析は、元のAdamアルゴリズムの欠陥を明らかにし、提案された修正に繋がる。
修正アルゴリズムであるFisher Adam (FAdam) は、様々な領域で優れた性能を示す。
- 参考スコア（独自算出の注目度）: 5.010523239708004
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper establishes a mathematical foundation for the Adam optimizer, elucidating its connection to natural gradient descent through Riemannian and information geometry. We rigorously analyze the diagonal empirical Fisher information matrix (FIM) in Adam, clarifying all detailed approximations and advocating for the use of log probability functions as loss, which should be based on discrete distributions, due to the limitations of empirical FIM. Our analysis uncovers flaws in the original Adam algorithm, leading to proposed corrections such as enhanced momentum calculations, adjusted bias corrections, adaptive epsilon, and gradient clipping. We refine the weight decay term based on our theoretical framework. Our modified algorithm, Fisher Adam (FAdam), demonstrates superior performance across diverse domains including LLM, ASR, and VQ-VAE, achieving state-of-the-art results in ASR.
- Abstract（参考訳）: 本稿では、Adam Optimizationrの数学的基礎を確立し、リーマン的および情報幾何学による自然勾配降下との関係を解明する。
本研究では,Adam の対角的経験的フィッシャー情報行列 (FIM) を厳密に解析し,実験的 FIM の限界のため,離散分布に基づいたログ確率関数の損失としての利用を推奨する。
解析によって元のAdamアルゴリズムの欠陥が明らかとなり、運動量計算の強化、バイアス補正の調整、適応エプシロン、勾配クリッピングなどの修正が提案された。
我々は、我々の理論的枠組みに基づいて重量減衰項を洗練する。
我々の修正アルゴリズムであるFisher Adam (FAdam) は、LLM、ASR、VQ-VAEを含む様々な領域で優れた性能を示し、ASRにおける最先端の結果を達成する。
関連論文リスト
- Gradient-flow adaptive importance sampling for Bayesian leave one out
cross-validation for sigmoidal classification models [1.0485739694839669]
勾配流誘導適応的重要度サンプリング(IS)変換は、ベイズ分類モデルに対する点幅のモンテカルロ近似を安定させる。
我々は,ロジスティック回帰と浅部ReLU活性化人工ニューラルネットワークの場合において,ヤコビ行列式の正則式を導出する。
論文 参考訳（メタデータ） (2024-02-13T01:03:39Z) - Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift [12.770658031721435]
本稿では,学習前のニューラル回帰モデルの最後の層の重みを適応させて,異なる分布から得られる入力データを改善する手法を提案する。
本稿では,この軽量なスペクトル適応手法により,合成および実世界のデータセットの分布外性能が向上することを示す。
論文 参考訳（メタデータ） (2023-12-29T04:15:58Z) - Curvature-Independent Last-Iterate Convergence for Games on Riemannian
Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。
我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文 参考訳（メタデータ） (2023-06-29T01:20:44Z) - Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。
また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
論文 参考訳（メタデータ） (2023-04-27T06:27:37Z) - An Adam-enhanced Particle Swarm Optimizer for Latent Factor Analysis [6.960453648000231]
本稿では,逐次PSOアルゴリズムを用いて潜在因子を改良したAdam-enhanced Hierarchical PSO-LFAモデルを提案する。
4つの実データセットに対する実験結果から,提案モデルがピアで高い予測精度を実現することを示す。
論文 参考訳（メタデータ） (2023-02-23T12:10:59Z) - Optimizing Information-theoretical Generalization Bounds via Anisotropic
Noise in SGLD [73.55632827932101]
SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。
低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
論文 参考訳（メタデータ） (2021-10-26T15:02:27Z) - Understanding the Generalization of Adam in Learning Neural Networks
with Proper Regularization [118.50301177912381]
我々は,重力減衰グローバリゼーションにおいても,目的の異なる解に確実に異なる誤差で収束できることを示す。
凸と重み減衰正則化を用いると、Adamを含む任意の最適化アルゴリズムは同じ解に収束することを示す。
論文 参考訳（メタデータ） (2021-08-25T17:58:21Z) - On the Variance of the Fisher Information for Deep Learning [79.71410479830222]
Fisher InformationMatrix (FIM) はディープラーニングの領域に応用されている。
正確なFIMは、クローズドな形で利用できないか、計算に高すぎるかのいずれかである。
FIMの2つの等価表現に基づく2つの推定器について検討する。
論文 参考訳（メタデータ） (2021-07-09T04:46:50Z) - Two-Level K-FAC Preconditioning for Deep Learning [7.699428789159717]
ディープラーニングの文脈では、グラディエントDescentの収束を加速するために、多くの最適化手法が勾配共分散情報を使用する。
特に、アダグラード(Adagrad)から始まり、一見無限に現れる研究のラインは、いわゆる経験的フィッシャー行列の対角近似の使用を提唱している。
特に成功した方法はK-FAC(Kronecker-ed block-factored preconditioner)と呼ばれる方法である。
論文 参考訳（メタデータ） (2020-11-01T17:54:21Z) - MaxVA: Fast Adaptation of Step Sizes by Maximizing Observed Variance of
Gradients [112.00379151834242]
本稿では,Adamにおける2乗勾配のランニング平均を重み付き平均に置き換える適応学習率の原理を提案する。
これにより、より高速な適応が可能となり、より望ましい経験的収束挙動がもたらされる。
論文 参考訳（メタデータ） (2020-06-21T21:47:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。