論文の概要: AngularGrad: A New Optimization Technique for Angular Convergence of Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2105.10190v2
• Date: Sat, 9 Sep 2023 10:53:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-12 23:49:55.398782
• Title: AngularGrad: A New Optimization Technique for Angular Convergence of Convolutional Neural Networks
• Title（参考訳）: AngularGrad: 畳み込みニューラルネットワークのAngular収束のための新しい最適化手法
• Authors: S.K. Roy, M.E. Paoletti, J.M. Haut, S.R. Dubey, P. Kar, A. Plaza, B.B. Chaudhuri
• Abstract要約: 畳み込みニューラルネットワーク(CNN)は、降下勾配(SGD)に基づくタンジェントを用いて訓練される。 本稿では,連続勾配の方向/角度の挙動を考慮した新しいAngularGradを提案する。 提案したAngularGradは、前のイテレーションの勾配角情報に基づいてステップサイズを制御するスコアを生成する。
• 参考スコア（独自算出の注目度）: 0.16492989697868887
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional neural networks (CNNs) are trained using stochastic gradient descent (SGD)-based optimizers. Recently, the adaptive moment estimation (Adam) optimizer has become very popular due to its adaptive momentum, which tackles the dying gradient problem of SGD. Nevertheless, existing optimizers are still unable to exploit the optimization curvature information efficiently. This paper proposes a new AngularGrad optimizer that considers the behavior of the direction/angle of consecutive gradients. This is the first attempt in the literature to exploit the gradient angular information apart from its magnitude. The proposed AngularGrad generates a score to control the step size based on the gradient angular information of previous iterations. Thus, the optimization steps become smoother as a more accurate step size of immediate past gradients is captured through the angular information. Two variants of AngularGrad are developed based on the use of Tangent or Cosine functions for computing the gradient angular information. Theoretically, AngularGrad exhibits the same regret bound as Adam for convergence purposes. Nevertheless, extensive experiments conducted on benchmark data sets against state-of-the-art methods reveal a superior performance of AngularGrad. The source code will be made publicly available at: https://github.com/mhaut/AngularGrad.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は確率勾配降下(SGD)に基づくオプティマイザを用いて訓練される。 近年,アダプティブモーメント推定(Adam)オプティマイザは,SGDの減衰勾配問題に対処する適応運動量によって非常に人気がある。 それでも既存のオプティマイザでは,最適化曲率情報を効率的に活用することはできない。 本稿では,連続勾配の方向/角度の挙動を考慮した新しいAngularGradオプティマイザを提案する。 これは、その大きさとは別に勾配角情報を利用する最初の文献の試みである。 提案するangulargradは、前のイテレーションの勾配角情報に基づいてステップサイズを制御するスコアを生成する。 これにより、直近の勾配のより正確なステップサイズを角情報から捉えることにより、最適化ステップはよりスムーズになる。 angulargradの2つの変種は、勾配角情報を計算するために接関数またはコサイン関数を用いて開発されている。 理論的には、AngularGradは収束の目的でAdamと同じ後悔を表す。 それでも、最先端のメソッドに対するベンチマークデータセットでの広範な実験は、angulargradの優れたパフォーマンスを示している。 ソースコードは、https://github.com/mhaut/AngularGrad.comで公開される。

関連論文リスト

• How to guess a gradient [68.98681202222664]
  我々は、勾配が以前考えられていたよりもより構造化されていることを示す。 この構造をエクスプロイトすると、勾配のない最適化スキームが大幅に改善される。 厳密な勾配の最適化と勾配の推測の間に大きなギャップを克服する上での新たな課題を強調した。
  論文  参考訳（メタデータ） (2023-12-07T21:40:44Z)
• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• ELRA: Exponential learning rate adaption gradient descent optimization method [83.88591755871734]
  我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。 本手法の主な考え方は,状況認識による$alphaの適応である。 これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
  論文  参考訳（メタデータ） (2023-09-12T14:36:13Z)
• RAGO: Recurrent Graph Optimizer For Multiple Rotation Averaging [62.315673415889314]
  本稿では,複数回転平均化(MRA)のための深部繰り返し回転平均化グラフ(RAGO)を提案する。 我々のフレームワークは、実世界のアプリケーションに小さなサイズでデプロイされた、リアルタイムに学習から最適化するローテーション平均化グラフである。
  論文  参考訳（メタデータ） (2022-12-14T13:19:40Z)
• Tom: Leveraging trend of the observed gradients for faster convergence [0.0]
  TomはAdamの新しい変種であり、ニューラルネットワークによって渡される損失の風景の勾配の傾向を考慮に入れている。 Tomは両方の精度でAdagrad、Adadelta、RMSProp、Adamを上回り、より早く収束する。
  論文  参考訳（メタデータ） (2021-09-07T20:19:40Z)
• Exploiting Adam-like Optimization Algorithms to Improve the Performance of Convolutional Neural Networks [82.61182037130405]
  勾配降下(SGD)は深いネットワークを訓練するための主要なアプローチです。 本研究では,現在と過去の勾配の違いに基づいて,Adamに基づく変分を比較する。 resnet50を勾配降下訓練したネットワークのアンサンブルと融合実験を行った。
  論文  参考訳（メタデータ） (2021-03-26T18:55:08Z)
• Stochastic Gradient Variance Reduction by Solving a Filtering Problem [0.951828574518325]
  ディープニューラルネットワーク(DNN)は一般的に最適化された勾配降下(SGD)を用いる 試料を用いた勾配推定はノイズが多く信頼性が低い傾向にあり, 勾配のばらつきが大きく, 収束不良が生じる。 勾配を一貫した推定を行う効率的な最適化アルゴリズムである textbfFilter Gradient Decent (FGD) を提案する。
  論文  参考訳（メタデータ） (2020-12-22T23:48:42Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。