Fugu-MT 論文翻訳(概要): Conjugate-gradient-based Adam for stochastic optimization and its application to deep learning

論文の概要: Conjugate-gradient-based Adam for stochastic optimization and its application to deep learning

arxiv url: http://arxiv.org/abs/2003.00231v2
Date: Tue, 3 Mar 2020 04:52:37 GMT
ステータス: 処理完了
システム内更新日: 2022-12-27 21:02:04.965650
Title: Conjugate-gradient-based Adam for stochastic optimization and its application to deep learning
Title（参考訳）: 確率最適化のための共役勾配型adamとその深層学習への応用
Authors: Yu Kobayashi and Hideaki Iiduka
Abstract要約: 本稿では,Adamを非線形共役勾配法と混合した共役勾配に基づくAdamアルゴリズムを提案する。テキスト分類と画像分類に関する数値実験により、提案アルゴリズムは既存の適応最適化アルゴリズムよりも少ないエポックでディープニューラルネットワーク収束を訓練できることが示されている。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper proposes a conjugate-gradient-based Adam algorithm blending Adam with nonlinear conjugate gradient methods and shows its convergence analysis. Numerical experiments on text classification and image classification show that the proposed algorithm can train deep neural network models in fewer epochs than the existing adaptive stochastic optimization algorithms can.
Abstract（参考訳）: 本稿では,Adamを非線形共役勾配法と混合した共役勾配に基づくAdamアルゴリズムを提案する。テキスト分類と画像分類に関する数値実験により,提案アルゴリズムは,既存の適応確率最適化アルゴリズムよりも少ない時間でディープニューラルネットワークモデルを訓練できることを示した。

関連論文リスト

Eliminating Ratio Bias for Gradient-based Simulated Parameter Estimation [0.7673339435080445]
本稿では、可能性関数が解析的に利用できないモデルにおけるパラメータキャリブレーションの課題に対処する。本稿では,最大推定と後続密度推定の両問題において,比バイアスの問題に対処するマルチタイムスケールを応用した勾配に基づくシミュレーションパラメータ推定フレームワークを提案する。
論文参考訳（メタデータ） (2024-11-20T02:46:15Z)
Conjugate-Gradient-like Based Adaptive Moment Estimation Optimization Algorithm for Deep Learning [2.695991050833627]
本稿では,ディープラーニングのためのCG-like-Adamという新しい最適化アルゴリズムを提案する。具体的には、ジェネリック・アダムの第1次と第2次モーメント推定の両方を共役次数様に置き換える。 CIFAR10/100データセットに基づく提案アルゴリズムの優位性を示す数値実験を行った。
論文参考訳（メタデータ） (2024-04-02T07:57:17Z)
Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。本稿では,直感的に設計を記述し,設計選択について説明する。本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文参考訳（メタデータ） (2023-10-31T16:15:13Z)
StochGradAdam: Accelerating Neural Networks Training with Stochastic Gradient Sampling [0.0]
我々はAdamアルゴリズムの新たな拡張であるStochGradAdamを紹介し、勾配サンプリング手法を取り入れた。 StochGradAdamは、イテレーション毎の勾配更新が少ない場合でも、Adamに匹敵する、あるいは優れたパフォーマンスを実現している。その結果,このアプローチは大規模モデルやデータセットに特に有効であることが示唆された。
論文参考訳（メタデータ） (2023-10-25T22:45:31Z)
Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文参考訳（メタデータ） (2023-05-24T17:26:22Z)
Understanding the Generalization of Adam in Learning Neural Networks with Proper Regularization [118.50301177912381]
我々は,重力減衰グローバリゼーションにおいても,目的の異なる解に確実に異なる誤差で収束できることを示す。凸と重み減衰正則化を用いると、Adamを含む任意の最適化アルゴリズムは同じ解に収束することを示す。
論文参考訳（メタデータ） (2021-08-25T17:58:21Z)
Cogradient Descent for Dependable Learning [64.02052988844301]
双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。 CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
論文参考訳（メタデータ） (2021-06-20T04:28:20Z)
Optimization of Graph Total Variation via Active-Set-based Combinatorial Reconditioning [48.42916680063503]
本稿では,この問題クラスにおける近位アルゴリズムの適応型事前条件付け手法を提案する。不活性エッジのネスト・フォレスト分解により局所収束速度が保証されることを示す。この結果から,局所収束解析は近似アルゴリズムにおける可変指標選択の指針となることが示唆された。
論文参考訳（メタデータ） (2020-02-27T16:33:09Z)
An improved online learning algorithm for general fuzzy min-max neural network [11.631815277762257]
本稿では,一般ファジィmin-maxニューラルネット(GFMM)のための現在のオンライン学習アルゴリズムの改良版を提案する。提案手法では、重なり合うハイパーボックスの収縮過程は使用せず、エラー率を増大させる可能性が高い。オンライン学習アルゴリズムでは,トレーニングサンプルの提示順序に対する感度を低減するために,簡単なアンサンブル法を提案する。
論文参考訳（メタデータ） (2020-01-08T06:24:40Z)
Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。