Fugu-MT 論文翻訳(概要): Gravity Optimizer: a Kinematic Approach on Optimization in Deep Learning

論文の概要: Gravity Optimizer: a Kinematic Approach on Optimization in Deep Learning

arxiv url: http://arxiv.org/abs/2101.09192v1
Date: Fri, 22 Jan 2021 16:27:34 GMT
ステータス: 処理完了
システム内更新日: 2021-03-20 22:39:46.356218
Title: Gravity Optimizer: a Kinematic Approach on Optimization in Deep Learning
Title（参考訳）: gravity optimizer: ディープラーニングにおける最適化に関するキネマティックなアプローチ
Authors: Dariush Bahrami, Sadegh Pouriyan Zadeh
Abstract要約: グラデーションに基づく最適化のための別のアルゴリズムであるgravityを紹介する。本論文では,深層学習モデルの損失を軽減するために,新しいアイデアがパラメータをどう変えるかを説明する。また、移動平均の代替案を提案します。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce Gravity, another algorithm for gradient-based optimization. In this paper, we explain how our novel idea change parameters to reduce the deep learning model's loss. It has three intuitive hyper-parameters that the best values for them are proposed. Also, we propose an alternative to moving average. To compare the performance of the Gravity optimizer with two common optimizers, Adam and RMSProp, five standard datasets were trained on two VGGNet models with a batch size of 128 for 100 epochs. Gravity hyper-parameters did not need to be tuned for different models. As will be explained more in the paper, to investigate the direct impact of the optimizer itself on loss reduction no overfitting prevention technique was used. The obtained results show that the Gravity optimizer has more stable performance than Adam and RMSProp and gives greater values of validation accuracy for datasets with more output classes like CIFAR-100 (Fine).
Abstract（参考訳）: グラデーションに基づく最適化のための別のアルゴリズムであるgravityを紹介する。本稿では,ディープラーニングモデルの損失を減らすために,新しいアイデアがパラメータをどう変えるかを説明する。直感的な3つのハイパーパラメータを持ち、それらの最良の値が提案されます。また,移動平均の代替案を提案する。 GravityオプティマイザのパフォーマンスをAdamとRMSPropの2つの一般的なオプティマイザと比較するために、5つの標準データセットを2つのVGGNetモデルでトレーニングした。重力ハイパーパラメータは異なるモデルのために調整される必要はない。本稿で説明するように、最適化器自体の損失低減効果を直接検討するためにオーバーフィッティング防止技術は使用されなかった。その結果,GravityオプティマイザはAdamやRMSPropよりも安定した性能を示し,CIFAR-100(Fine)のような出力クラスを持つデータセットに対する検証精度が向上した。