論文の概要: Leveraging the Triple Exponential Moving Average for Fast-Adaptive Moment Estimation

• arxiv url: http://arxiv.org/abs/2306.01423v1
• Date: Fri, 2 Jun 2023 10:29:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 15:45:57.053035
• Title: Leveraging the Triple Exponential Moving Average for Fast-Adaptive Moment Estimation
• Title（参考訳）: 高速適応モーメント推定のための三成分移動平均の活用
• Authors: Roi Peleg, Roi Weiss, Assaf Hoogi
• Abstract要約: 我々はFAME(Fast-Adaptive Moment Estimation)と呼ばれる新しいディープを提案する。 トリプル指数移動平均(TEMA)を用いたFAMEによる勾配モーメントの推定 提案するFAMEは,CIFAR-10,CIFAR-100,PA-VOC,MS-COCO,Cityscapesなど,様々なベンチマークを通じて広範囲に検証されている。
• 参考スコア（独自算出の注目度）: 2.4665182280122577
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Network optimization is a crucial step in the field of deep learning, as it directly affects the performance of models in various domains such as computer vision. Despite the numerous optimizers that have been developed over the years, the current methods are still limited in their ability to accurately and quickly identify gradient trends, which can lead to sub-optimal network performance. In this paper, we propose a novel deep optimizer called Fast-Adaptive Moment Estimation (FAME), which for the first time estimates gradient moments using a Triple Exponential Moving Average (TEMA). Incorporating TEMA into the optimization process provides richer and more accurate information on data changes and trends, as compared to the standard Exponential Moving Average used in essentially all current leading adaptive optimization methods. Our proposed FAME optimizer has been extensively validated through a wide range of benchmarks, including CIFAR-10, CIFAR-100, PASCAL-VOC, MS-COCO, and Cityscapes, using 14 different learning architectures, six optimizers, and various vision tasks, including detection, classification and semantic understanding. The results demonstrate that our FAME optimizer outperforms other leading optimizers in terms of both robustness and accuracy.
• Abstract（参考訳）: ネットワーク最適化は深層学習において重要なステップであり、コンピュータビジョンなどの様々な領域におけるモデルの性能に直接影響を与える。 長年にわたって開発されてきた多くのオプティマイザにもかかわらず、現在の手法は勾配の傾向を正確かつ迅速に識別する能力に制限されているため、ネットワークの準最適性能につながる可能性がある。 本稿では,三重指数移動平均 (tema) を用いて勾配モーメントを初めて推定する,fast-adaptive moment estimation (fame) と呼ばれる新しいディープオプティマイザを提案する。 TEMAを最適化プロセスに組み込むことで、現在のすべての適応最適化手法で使用される標準の指数移動平均よりも、データの変化やトレンドに関するよりリッチで正確な情報が得られる。 CIFAR-10, CIFAR-100, PASCAL-VOC, MS-COCO, Cityscapes など,14の異なる学習アーキテクチャ, 6つのオプティマイザ, 検出, 分類, 意味理解を含む様々な視覚タスクを用いて, 提案したFAMEオプティマイザを広範囲に検証した。 その結果,我々の名声オプティマイザは他の主要なオプティマイザよりもロバスト性と正確性の両方において優れていることがわかった。

関連論文リスト

• Understanding Optimization in Deep Learning with Central Flows [53.66160508990508]
  RMSの暗黙的な振る舞いは、微分方程式の「中央流:」によって明示的に捉えられることを示す。 これらのフローは、汎用ニューラルネットワークの長期最適化軌道を経験的に予測できることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:58:13Z)
• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• Adaptive Friction in Deep Learning: Enhancing Optimizers with Sigmoid and Tanh Function [0.0]
  我々は適応摩擦係数を統合する2つの新しい勾配であるsigSignGradとtanhSignGradを紹介する。 我々の理論解析は,摩擦係数Sの広帯域調整能力を示す。 ResNet50 と ViT アーキテクチャを用いた CIFAR-10, Mini-Image-Net 実験により,提案手法の優れた性能が確認された。
  論文  参考訳（メタデータ） (2024-08-07T03:20:46Z)
• FADAS: Towards Federated Adaptive Asynchronous Optimization [56.09666452175333]
  フェデレートラーニング(FL)は、プライバシ保護機械学習のトレーニングパラダイムとして広く採用されている。 本稿では、非同期更新を適応的フェデレーション最適化と証明可能な保証に組み込む新しい手法であるFADASについて紹介する。 提案アルゴリズムの収束率を厳格に確立し,FADASが他の非同期FLベースラインよりも優れていることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2024-07-25T20:02:57Z)
• Variational Stochastic Gradient Descent for Deep Neural Networks [16.96187187108041]
  現在の最先端は、Adamのような適応的勾配に基づく最適化手法である。 ここでは,2つのアプローチを組み合わせることを提案し,その結果,VSGD(Variational Gradient Descent)を導出する。 我々は、VSGD法がAdamのような他の適応勾配ベースとどのように関係しているかを示す。
  論文  参考訳（メタデータ） (2024-04-09T18:02:01Z)
• Online Adaptive Disparity Estimation for Dynamic Scenes in Structured Light Systems [17.53719804060679]
  このパフォーマンスギャップを埋める解決策として、自己監督型オンライン適応が提案されている。 本稿では,長い逐次入力に基づく教師なし損失関数を提案する。 提案手法は,オンライン適応速度を大幅に向上し,目に見えないデータに対して優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-10-13T08:00:33Z)
• Improving Multi-fidelity Optimization with a Recurring Learning Rate for Hyperparameter Tuning [7.591442522626255]
  再帰学習率(MORL)を考慮した多相最適化を提案する。 MORLはCNNの最適化プロセスを多要素最適化に組み込んでいる。 スロースタートの問題を緩和し、より正確な低忠実度近似を実現する。
  論文  参考訳（メタデータ） (2022-09-26T08:16:31Z)
• Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
  レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。 本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-10-21T14:49:00Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Large Batch Training Does Not Need Warmup [111.07680619360528]
  大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。 本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。 分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
  論文  参考訳（メタデータ） (2020-02-04T23:03:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。