論文の概要: Gravity Optimizer: a Kinematic Approach on Optimization in Deep Learning

• arxiv url: http://arxiv.org/abs/2101.09192v1
• Date: Fri, 22 Jan 2021 16:27:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-20 22:39:46.356218
• Title: Gravity Optimizer: a Kinematic Approach on Optimization in Deep Learning
• Title（参考訳）: gravity optimizer: ディープラーニングにおける最適化に関するキネマティックなアプローチ
• Authors: Dariush Bahrami, Sadegh Pouriyan Zadeh
• Abstract要約: グラデーションに基づく最適化のための別のアルゴリズムであるgravityを紹介する。 本論文では,深層学習モデルの損失を軽減するために,新しいアイデアがパラメータをどう変えるかを説明する。 また、移動平均の代替案を提案します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Gravity, another algorithm for gradient-based optimization. In this paper, we explain how our novel idea change parameters to reduce the deep learning model's loss. It has three intuitive hyper-parameters that the best values for them are proposed. Also, we propose an alternative to moving average. To compare the performance of the Gravity optimizer with two common optimizers, Adam and RMSProp, five standard datasets were trained on two VGGNet models with a batch size of 128 for 100 epochs. Gravity hyper-parameters did not need to be tuned for different models. As will be explained more in the paper, to investigate the direct impact of the optimizer itself on loss reduction no overfitting prevention technique was used. The obtained results show that the Gravity optimizer has more stable performance than Adam and RMSProp and gives greater values of validation accuracy for datasets with more output classes like CIFAR-100 (Fine).
• Abstract（参考訳）: グラデーションに基づく最適化のための別のアルゴリズムであるgravityを紹介する。 本稿では,ディープラーニングモデルの損失を減らすために,新しいアイデアがパラメータをどう変えるかを説明する。 直感的な3つのハイパーパラメータを持ち、それらの最良の値が提案されます。 また,移動平均の代替案を提案する。 GravityオプティマイザのパフォーマンスをAdamとRMSPropの2つの一般的なオプティマイザと比較するために、5つの標準データセットを2つのVGGNetモデルでトレーニングした。 重力ハイパーパラメータは異なるモデルのために調整される必要はない。 本稿で説明するように、最適化器自体の損失低減効果を直接検討するためにオーバーフィッティング防止技術は使用されなかった。 その結果,GravityオプティマイザはAdamやRMSPropよりも安定した性能を示し,CIFAR-100(Fine)のような出力クラスを持つデータセットに対する検証精度が向上した。

関連論文リスト

• Quick Graph Conversion for Robust Recommendation [4.7821274471346005]
  インシシットフィードバックはレコメンデータシステムにおいて大きな役割を果たすが、その高雑音特性は、その効果を著しく減少させる。 暗黙のフィードバックを軽視するため、グラフデータ拡張(GDA)手法にいくつかの取り組みが費やされている。 そこで我々は,従来の相互作用グラフを(正のインスタンスに対して)精製し,(負のインスタンスに対して)凝縮した(負のインスタンスに対して)関心グラフに変換するために,新しいデノベーションパラダイム,すなわちクイックグラフ変換(QGrace)を提案する。
  論文  参考訳（メタデータ） (2022-10-19T06:36:21Z)
• Scaling & Shifting Your Features: A New Baseline for Efficient Model Tuning [126.84770886628833]
  既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。 そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T08:14:49Z)
• AdaNorm: Adaptive Gradient Norm Correction based Optimizer for CNNs [23.523389372182613]
  勾配降下(SGD)は一般に畳み込みニューラルネットワーク(CNN)の訓練に使用される 既存のSGDは過去の反復の勾配基準を活用せず、収束と性能の低下につながる。 本稿では,AdaNormをベースとした新しいSGDを提案する。
  論文  参考訳（メタデータ） (2022-10-12T16:17:25Z)
• Adaptive Optimization with Examplewise Gradients [23.504973357538418]
  本稿では,機械学習のための勾配に基づく最適化手法の設計に対して,より汎用的なアプローチを提案する。 この新しいフレームワークでは、イテレーションは単一の見積もりではなく、パラメータごとの見積もりのバッチへのアクセスを前提としています。 これは、典型的な機械学習のセットアップで実際に利用できる情報を反映している。
  論文  参考訳（メタデータ） (2021-11-30T23:37:01Z)
• DEBOSH: Deep Bayesian Shape Optimization [60.400102501013784]
  本稿では,Ensemblesベースの手法が限界を克服し,最先端技術より優れていることを示す。 多様な空気力学および構造解析タスクに関する実験により,形状最適化に不確実性を加えることにより,形状の質が著しく向上することが証明された。
  論文  参考訳（メタデータ） (2021-09-28T11:01:42Z)
• Curvature Injected Adaptive Momentum Optimizer for Convolutional Neural Networks [21.205976369691765]
  本稿では、降下勾配に対するAdaInjectと呼ばれる新しいアプローチを提案する。 曲率情報は、更新ルールの2次モーメントを注入するウェイトとして使用される。 AdaInjectアプローチは、曲率情報を活用することにより、パラメータの更新を促進する。
  論文  参考訳（メタデータ） (2021-09-26T06:24:14Z)
• Correcting Momentum with Second-order Information [50.992629498861724]
  最適積に$O(epsilon)$epsilon点を求める非臨界最適化のための新しいアルゴリズムを開発した。 我々は、さまざまな大規模ディープラーニングベンチマークとアーキテクチャで結果を検証する。
  論文  参考訳（メタデータ） (2021-03-04T19:01:20Z)
• Genetically Optimized Prediction of Remaining Useful Life [4.115847582689283]
  LSTMおよびGRUモデルを実装し、得られた結果と提案された遺伝子訓練ニューラルネットワークを比較します。 遺伝的アルゴリズムを用いた他の最適化層を追加することによって,予測の整合性の向上を期待する。 これらのモデルと提案されたアーキテクチャは、nasaのターボファンジェットエンジンデータセットでテストされている。
  論文  参考訳（メタデータ） (2021-02-17T16:09:23Z)
• Non-Parametric Adaptive Network Pruning [125.4414216272874]
  アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。 顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
  論文  参考訳（メタデータ） (2021-01-20T06:18:38Z)
• Advanced Dropout: A Model-free Methodology for Bayesian Dropout Optimization [62.8384110757689]
  ディープニューラルネットワーク(DNN)の現実的応用において、ユビキタスなオーバーフィッティングが存在する 先進的なドロップアウト手法は、パラメトリック先行でモデルフリーで容易に実装された分布を適用し、ドロップアウト率を適応的に調整する。 7つのコンピュータビジョンデータセットにおける9つのドロップアウト手法に対する高度なドロップアウトの有効性を評価する。
  論文  参考訳（メタデータ） (2020-10-11T13:19:58Z)
• Bayesian Optimization for Selecting Efficient Machine Learning Models [53.202224677485525]
  本稿では,予測効率とトレーニング効率の両面において,モデルを協調最適化するための統一ベイズ最適化フレームワークを提案する。 レコメンデーションタスクのためのモデル選択の実験は、この方法で選択されたモデルがモデルのトレーニング効率を大幅に改善することを示している。
  論文  参考訳（メタデータ） (2020-08-02T02:56:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。