Fugu-MT 論文翻訳(概要): We Don't Need No Adam, All We Need Is EVE: On The Variance of Dual Learning Rate And Beyond

論文の概要: We Don't Need No Adam, All We Need Is EVE: On The Variance of Dual Learning Rate And Beyond

arxiv url: http://arxiv.org/abs/2308.10740v1
Date: Mon, 21 Aug 2023 14:08:42 GMT
ステータス: 処理完了
システム内更新日: 2023-08-22 13:08:21.095140
Title: We Don't Need No Adam, All We Need Is EVE: On The Variance of Dual Learning Rate And Beyond
Title（参考訳）: 我々はAdamを必要とせず、EVEが必要なのは、デュアルラーニング率とそれ以上のばらつきについて
Authors: Afshin Khadangi
Abstract要約: 本稿では、勾配の異なる成分に異なる学習率を革新的に適用する新しい手法である強化速度推定法(EVE)を提案する。学習率を2倍にすることで、EVEはよりニュアンスな制御とより高速な収束を可能にし、従来の単一学習率アプローチに関連する課題に対処する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In the rapidly advancing field of deep learning, optimising deep neural networks is paramount. This paper introduces a novel method, Enhanced Velocity Estimation (EVE), which innovatively applies different learning rates to distinct components of the gradients. By bifurcating the learning rate, EVE enables more nuanced control and faster convergence, addressing the challenges associated with traditional single learning rate approaches. Utilising a momentum term that adapts to the learning landscape, the method achieves a more efficient navigation of the complex loss surface, resulting in enhanced performance and stability. Extensive experiments demonstrate that EVE significantly outperforms existing optimisation techniques across various benchmark datasets and architectures.
Abstract（参考訳）: ディープラーニングの急速に進歩する分野では、ディープニューラルネットワークの最適化が最重要である。本稿では、勾配の異なる成分に異なる学習率を革新的に適用する新しい手法である強化速度推定(EVE)を提案する。学習率を2倍にすることで、EVEはよりニュアンスな制御とより高速な収束を可能にし、従来の単一学習率アプローチに関連する課題に対処する。学習環境に適応する運動量項を用いることで、複雑な損失面のより効率的なナビゲーションを実現し、性能と安定性を向上させる。大規模な実験により、EVEはさまざまなベンチマークデータセットやアーキテクチャで既存の最適化テクニックを大幅に上回っている。

関連論文リスト

AdamZ: An Enhanced Optimisation Method for Neural Network Training [1.54994260281059]
AdamZは、オーバーシューティングと停滞に対処するメカニズムを組み込むことで、学習率を動的に調整する。損失関数の最小化に一貫して優れており、精度が重要なアプリケーションに特に有利である。
論文参考訳（メタデータ） (2024-11-22T23:33:41Z)
Hierarchical and Decoupled BEV Perception Learning Framework for Autonomous Driving [52.808273563372126]
本稿では,基本認識モジュールとユーザフレンドリなグラフィカルインタフェースのライブラリの提供を目的とした,新しい階層的BEV知覚パラダイムを提案する。我々は,大規模公開データセットと合理化開発プロセスを効果的に活用するために,Pretrain-Finetune戦略を実行している。また、マルチモジュールラーニング(MML)アプローチを提案し、複数のモデルの相乗的かつ反復的な訓練により性能を向上させる。
論文参考訳（メタデータ） (2024-07-17T11:17:20Z)
Normalization and effective learning rates in reinforcement learning [52.59508428613934]
正規化層は近年,深層強化学習と連続学習文学においてルネッサンスを経験している。正規化は、ネットワークパラメータのノルムにおける成長と効果的な学習速度における崩壊の間の等価性という、微妙だが重要な副作用をもたらすことを示す。そこで本研究では,正規化・プロジェクトと呼ぶ単純な再パラメータ化により,学習率を明示的にする手法を提案する。
論文参考訳（メタデータ） (2024-07-01T20:58:01Z)
On discretisation drift and smoothness regularisation in neural network training [0.0]
私たちは、最適化とモデル正規化に焦点をあてて、ディープラーニングの理解を改善するためのステップを作ることを目標としています。まず、最も一般的なディープラーニング最適化アルゴリズムに基づいて、離散時間アルゴリズムである勾配降下(GD)を調査することから始める。 NGFと異なり、これらの新たな流れは、教師付き学習や2人のプレイヤゲームで観察されるトレーニング不安定性など、GDの学習速度固有の振る舞いを記述するのに使用できる。そして、新しい学習率スケジュールと正則性を構築することにより、連続時間からの洞察を不安定なGDダイナミクスの緩和戦略に変換する。
論文参考訳（メタデータ） (2023-10-21T15:21:36Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
Distilling Knowledge from Resource Management Algorithms to Neural Networks: A Unified Training Assistance Approach [18.841969905928337]
本稿では,知識蒸留(KD)に基づくアルゴリズム蒸留(AD)法を提案する。本研究は,無線通信システム最適化における従来の最適化洞察と新しいNN技術の統合の道を開くものである。
論文参考訳（メタデータ） (2023-08-15T00:30:58Z)
Improving Performance in Continual Learning Tasks using Bio-Inspired Architectures [4.2903672492917755]
我々は,シナプスの可塑性機構とニューロ変調を組み込んだ,生物学的にインスパイアされた軽量ニューラルネットワークアーキテクチャを開発した。提案手法により,Split-MNIST,Split-CIFAR-10,Split-CIFAR-100データセット上でのオンライン連続学習性能が向上する。さらに,鍵設計概念を他のバックプロパゲーションに基づく連続学習アルゴリズムに統合することにより,提案手法の有効性を実証する。
論文参考訳（メタデータ） (2023-08-08T19:12:52Z)
Multiplicative update rules for accelerating deep learning training and increasing robustness [69.90473612073767]
我々は、幅広い機械学習アルゴリズムに適合し、代替の更新ルールを適用することができる最適化フレームワークを提案する。提案するフレームワークはトレーニングを加速する一方、従来の追加更新ルールとは対照的に、より堅牢なモデルにつながります。
論文参考訳（メタデータ） (2023-07-14T06:44:43Z)
On Fast Simulation of Dynamical System with Neural Vector Enhanced Numerical Solver [59.13397937903832]
ニューラルベクトル(NeurVec)と呼ばれる深層学習に基づく補正手法を提案する。 NeurVecは、統合エラーを補償し、シミュレーションでより大きなタイムステップサイズを可能にする。様々な複雑な力学系ベンチマークの実験により、NeurVecは顕著な一般化能力を示すことが示された。
論文参考訳（メタデータ） (2022-08-07T09:02:18Z)
Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
論文参考訳（メタデータ） (2020-10-21T14:49:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。