論文の概要: Angle based dynamic learning rate for gradient descent

• arxiv url: http://arxiv.org/abs/2304.10457v1
• Date: Thu, 20 Apr 2023 16:55:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-21 12:28:50.751927
• Title: Angle based dynamic learning rate for gradient descent
• Title（参考訳）: 勾配降下に対する角度に基づく動的学習率
• Authors: Neel Mishra, Pawan Kumar
• Abstract要約: 分類タスクにおける勾配に基づく降下法を適応的に学習する手法を提案する。 勾配に基づく項を期待することで適応学習率を選択する従来の手法の代わりに、現在の勾配と新しい勾配の間の角度を用いる。 提案手法は,ほとんどのデータセットにおいて,最も精度の高い手法であることがわかった。
• 参考スコア（独自算出の注目度）: 2.5077510176642805
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In our work, we propose a novel yet simple approach to obtain an adaptive learning rate for gradient-based descent methods on classification tasks. Instead of the traditional approach of selecting adaptive learning rates via the decayed expectation of gradient-based terms, we use the angle between the current gradient and the new gradient: this new gradient is computed from the direction orthogonal to the current gradient, which further helps us in determining a better adaptive learning rate based on angle history, thereby, leading to relatively better accuracy compared to the existing state-of-the-art optimizers. On a wide variety of benchmark datasets with prominent image classification architectures such as ResNet, DenseNet, EfficientNet, and VGG, we find that our method leads to the highest accuracy in most of the datasets. Moreover, we prove that our method is convergent.
• Abstract（参考訳）: そこで本研究では,分類タスクにおける勾配に基づく降下手法の適応学習率を得るための,新しい手法を提案する。 この新たな勾配は、現在の勾配と直交する方向から計算され、角度履歴に基づいて適応学習率を決定するのに役立ち、既存の最先端オプティマイザと比較して相対的に精度が向上する。 ResNet,DenseNet,EfficientNet,VGGといった画像分類アーキテクチャを備えたベンチマークデータセットの多種多様さから,本手法がほとんどのデータセットにおいて最も精度の高いものとなることが判明した。 さらに,本手法が収束していることを示す。

関連論文リスト

• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• Gradient Alignment Improves Test-Time Adaptation for Medical Image Segmentation [15.791041311313448]
  勾配アライメントに基づくテスト時間適応法(GraTa)による勾配方向と学習率の向上 GraTa法は、勾配アライメントを容易にするために、擬似的勾配に補助勾配を組み込む。 擬似勾配と補助勾配のコサイン類似性に基づく動的学習率を設計する。
  論文  参考訳（メタデータ） (2024-08-14T07:37:07Z)
• Interpreting Adaptive Gradient Methods by Parameter Scaling for Learning-Rate-Free Optimization [14.009179786857802]
  深層ニューラルネットワークの学習に使用される適応的勾配法について,学習率を推定する上での課題に対処する。 学習速度のないいくつかのアプローチが提案されているが、それらは典型的には最も急降下に適したものである。 本稿では,適応勾配法をパラメータスケールネットワークに適用した最も急勾配と解釈する。
  論文  参考訳（メタデータ） (2024-01-06T15:45:29Z)
• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Delving into Effective Gradient Matching for Dataset Condensation [13.75957901381024]
  勾配マッチング法は、元のデータセットと合成データセットのトレーニング時に勾配をマッチングすることで、トレーニングダイナミクスを直接ターゲットとする。 クラス内勾配情報とクラス間勾配情報の両方を含む多段階勾配情報とを一致させることを提案する。 アルゴリズムの効率向上のための不要な最適化ステップをトリムするために、過適合適応学習ステップ戦略も提案されている。
  論文  参考訳（メタデータ） (2022-07-30T21:31:10Z)
• Incorporating the Barzilai-Borwein Adaptive Step Size into Sugradient Methods for Deep Network Training [3.8762085568003406]
  準ニュートン法に基づくセカント方程式に2点近似を用いて学習率を適用する。 本手法は,広く利用可能なデータセットの標準例ネットワークアーキテクチャを用いて評価し,文献の他の代替案と比較する。
  論文  参考訳（メタデータ） (2022-05-27T02:12:59Z)
• Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
  本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。 学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。 本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
  論文  参考訳（メタデータ） (2022-03-02T22:35:58Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)
• Disentangling Adaptive Gradient Methods from Learning Rates [65.0397050979662]
  適応的勾配法が学習率のスケジュールとどのように相互作用するかを、より深く検討する。 我々は、更新の規模をその方向から切り離す"グラフティング"実験を導入する。 適応勾配法の一般化に関する経験的および理論的考察を示す。
  論文  参考訳（メタデータ） (2020-02-26T21:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。