論文の概要: Conjugate-gradient-based Adam for stochastic optimization and its
application to deep learning
- arxiv url: http://arxiv.org/abs/2003.00231v2
- Date: Tue, 3 Mar 2020 04:52:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-27 21:02:04.965650
- Title: Conjugate-gradient-based Adam for stochastic optimization and its
application to deep learning
- Title(参考訳): 確率最適化のための共役勾配型adamとその深層学習への応用
- Authors: Yu Kobayashi and Hideaki Iiduka
- Abstract要約: 本稿では,Adamを非線形共役勾配法と混合した共役勾配に基づくAdamアルゴリズムを提案する。
テキスト分類と画像分類に関する数値実験により、提案アルゴリズムは既存の適応最適化アルゴリズムよりも少ないエポックでディープニューラルネットワーク収束を訓練できることが示されている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes a conjugate-gradient-based Adam algorithm blending Adam
with nonlinear conjugate gradient methods and shows its convergence analysis.
Numerical experiments on text classification and image classification show that
the proposed algorithm can train deep neural network models in fewer epochs
than the existing adaptive stochastic optimization algorithms can.
- Abstract(参考訳): 本稿では,Adamを非線形共役勾配法と混合した共役勾配に基づくAdamアルゴリズムを提案する。
テキスト分類と画像分類に関する数値実験により,提案アルゴリズムは,既存の適応確率最適化アルゴリズムよりも少ない時間でディープニューラルネットワークモデルを訓練できることを示した。
関連論文リスト
- StochGradAdam: Accelerating Neural Networks Training with Stochastic
Gradient Sampling [0.0]
本稿では,十分に無視されたAdamアルゴリズムの新たな適応であるStochGradAdamを公表する。
StochGradAdamは画像分類とセグメンテーションの両方において、従来のAdamよりも優れたパフォーマンスを示している。
論文 参考訳(メタデータ) (2023-10-25T22:45:31Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳(メタデータ) (2023-05-24T17:26:22Z) - Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。
また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
論文 参考訳(メタデータ) (2023-04-27T06:27:37Z) - A Control Theoretic Framework for Adaptive Gradient Optimizers in
Machine Learning [0.6526824510982802]
適応勾配法はディープニューラルネットワークの最適化に人気がある。
最近の例にはAdaGradとAdamがある。
我々は適応的勾配法のための汎用的なフレームワークを開発する。
論文 参考訳(メタデータ) (2022-06-04T17:55:33Z) - Understanding the Generalization of Adam in Learning Neural Networks
with Proper Regularization [118.50301177912381]
我々は,重力減衰グローバリゼーションにおいても,目的の異なる解に確実に異なる誤差で収束できることを示す。
凸と重み減衰正則化を用いると、Adamを含む任意の最適化アルゴリズムは同じ解に収束することを示す。
論文 参考訳(メタデータ) (2021-08-25T17:58:21Z) - Cogradient Descent for Dependable Learning [64.02052988844301]
双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。
CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。
また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
論文 参考訳(メタデータ) (2021-06-20T04:28:20Z) - Optimization of Graph Total Variation via Active-Set-based Combinatorial
Reconditioning [48.42916680063503]
本稿では,この問題クラスにおける近位アルゴリズムの適応型事前条件付け手法を提案する。
不活性エッジのネスト・フォレスト分解により局所収束速度が保証されることを示す。
この結果から,局所収束解析は近似アルゴリズムにおける可変指標選択の指針となることが示唆された。
論文 参考訳(メタデータ) (2020-02-27T16:33:09Z) - An improved online learning algorithm for general fuzzy min-max neural
network [11.631815277762257]
本稿では,一般ファジィmin-maxニューラルネット(GFMM)のための現在のオンライン学習アルゴリズムの改良版を提案する。
提案手法では、重なり合うハイパーボックスの収縮過程は使用せず、エラー率を増大させる可能性が高い。
オンライン学習アルゴリズムでは,トレーニングサンプルの提示順序に対する感度を低減するために,簡単なアンサンブル法を提案する。
論文 参考訳(メタデータ) (2020-01-08T06:24:40Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳(メタデータ) (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。