論文の概要: Gravity Optimizer: a Kinematic Approach on Optimization in Deep Learning

• arxiv url: http://arxiv.org/abs/2101.09192v1
• Date: Fri, 22 Jan 2021 16:27:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-20 22:39:46.356218
• Title: Gravity Optimizer: a Kinematic Approach on Optimization in Deep Learning
• Title（参考訳）: gravity optimizer: ディープラーニングにおける最適化に関するキネマティックなアプローチ
• Authors: Dariush Bahrami, Sadegh Pouriyan Zadeh
• Abstract要約: グラデーションに基づく最適化のための別のアルゴリズムであるgravityを紹介する。 本論文では,深層学習モデルの損失を軽減するために,新しいアイデアがパラメータをどう変えるかを説明する。 また、移動平均の代替案を提案します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Gravity, another algorithm for gradient-based optimization. In this paper, we explain how our novel idea change parameters to reduce the deep learning model's loss. It has three intuitive hyper-parameters that the best values for them are proposed. Also, we propose an alternative to moving average. To compare the performance of the Gravity optimizer with two common optimizers, Adam and RMSProp, five standard datasets were trained on two VGGNet models with a batch size of 128 for 100 epochs. Gravity hyper-parameters did not need to be tuned for different models. As will be explained more in the paper, to investigate the direct impact of the optimizer itself on loss reduction no overfitting prevention technique was used. The obtained results show that the Gravity optimizer has more stable performance than Adam and RMSProp and gives greater values of validation accuracy for datasets with more output classes like CIFAR-100 (Fine).
• Abstract（参考訳）: グラデーションに基づく最適化のための別のアルゴリズムであるgravityを紹介する。 本稿では,ディープラーニングモデルの損失を減らすために,新しいアイデアがパラメータをどう変えるかを説明する。 直感的な3つのハイパーパラメータを持ち、それらの最良の値が提案されます。 また,移動平均の代替案を提案する。 GravityオプティマイザのパフォーマンスをAdamとRMSPropの2つの一般的なオプティマイザと比較するために、5つの標準データセットを2つのVGGNetモデルでトレーニングした。 重力ハイパーパラメータは異なるモデルのために調整される必要はない。 本稿で説明するように、最適化器自体の損失低減効果を直接検討するためにオーバーフィッティング防止技術は使用されなかった。 その結果,GravityオプティマイザはAdamやRMSPropよりも安定した性能を示し,CIFAR-100(Fine)のような出力クラスを持つデータセットに対する検証精度が向上した。

関連論文リスト

• Optimizing the optimizer for data driven deep neural networks and physics informed neural networks [2.54325834280441]
  ニューラルネットワークに適合するモデルの品質を,小～中程度のパラメータで決定する手法について検討する。 LMアルゴリズムは機械の精度に迅速に収束でき、他のアルゴリズムよりも大きな利点があることがわかった。
  論文  参考訳（メタデータ） (2022-05-16T02:42:22Z)
• Adaptive Optimization with Examplewise Gradients [23.504973357538418]
  本稿では,機械学習のための勾配に基づく最適化手法の設計に対して,より汎用的なアプローチを提案する。 この新しいフレームワークでは、イテレーションは単一の見積もりではなく、パラメータごとの見積もりのバッチへのアクセスを前提としています。 これは、典型的な機械学習のセットアップで実際に利用できる情報を反映している。
  論文  参考訳（メタデータ） (2021-11-30T23:37:01Z)
• MIO : Mutual Information Optimization using Self-Supervised Binary Contrastive Learning [19.5917119072985]
  対が正かどうかを予測するために、比較学習を二項分類問題にモデル化する。 提案手法は,STL-10,CIFAR-10,CIFAR-100などのベンチマークデータセットにおいて,最先端のアルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2021-11-24T17:51:29Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [100.67200801102535]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 我々のフレームワークは、競争力のある下流転送性能を維持しながら、非常に印象的なパラメータ/トレーニング/推論効率を示す。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)
• DEBOSH: Deep Bayesian Shape Optimization [60.400102501013784]
  本稿では,Ensemblesベースの手法が限界を克服し,最先端技術より優れていることを示す。 多様な空気力学および構造解析タスクに関する実験により,形状最適化に不確実性を加えることにより,形状の質が著しく向上することが証明された。
  論文  参考訳（メタデータ） (2021-09-28T11:01:42Z)
• Curvature Injected Adaptive Momentum Optimizer for Convolutional Neural Networks [21.205976369691765]
  本稿では、降下勾配に対するAdaInjectと呼ばれる新しいアプローチを提案する。 曲率情報は、更新ルールの2次モーメントを注入するウェイトとして使用される。 AdaInjectアプローチは、曲率情報を活用することにより、パラメータの更新を促進する。
  論文  参考訳（メタデータ） (2021-09-26T06:24:14Z)
• VSAC: Efficient and Accurate Estimator for H and F [68.65610177368617]
  VSACはRANSAC型頑健な推定器であり、多くの新奇性がある。 従来のすべてのプロセッサよりも大幅に高速で、CPU上では平均1-2msで動作する。 現在最も正確な2次元幾何学推定器である MAGSAC++ と同等の精度で2桁高速である。
  論文  参考訳（メタデータ） (2021-06-18T17:04:57Z)
• Exploiting Adam-like Optimization Algorithms to Improve the Performance of Convolutional Neural Networks [82.61182037130405]
  勾配降下(SGD)は深いネットワークを訓練するための主要なアプローチです。 本研究では,現在と過去の勾配の違いに基づいて,Adamに基づく変分を比較する。 resnet50を勾配降下訓練したネットワークのアンサンブルと融合実験を行った。
  論文  参考訳（メタデータ） (2021-03-26T18:55:08Z)
• Correcting Momentum with Second-order Information [50.992629498861724]
  最適積に$O(epsilon)$epsilon点を求める非臨界最適化のための新しいアルゴリズムを開発した。 我々は、さまざまな大規模ディープラーニングベンチマークとアーキテクチャで結果を検証する。
  論文  参考訳（メタデータ） (2021-03-04T19:01:20Z)
• Genetically Optimized Prediction of Remaining Useful Life [4.115847582689283]
  LSTMおよびGRUモデルを実装し、得られた結果と提案された遺伝子訓練ニューラルネットワークを比較します。 遺伝的アルゴリズムを用いた他の最適化層を追加することによって,予測の整合性の向上を期待する。 これらのモデルと提案されたアーキテクチャは、nasaのターボファンジェットエンジンデータセットでテストされている。
  論文  参考訳（メタデータ） (2021-02-17T16:09:23Z)
• Non-Parametric Adaptive Network Pruning [125.4414216272874]
  アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。 顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
  論文  参考訳（メタデータ） (2021-01-20T06:18:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。