論文の概要: Dynamic Estimation of Learning Rates Using a Non-Linear Autoregressive Model
- arxiv url: http://arxiv.org/abs/2410.09943v1
- Date: Sun, 13 Oct 2024 17:55:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-30 04:03:30.885700
- Title: Dynamic Estimation of Learning Rates Using a Non-Linear Autoregressive Model
- Title（参考訳）: 非線形自己回帰モデルを用いた学習速度の動的推定
- Authors: Ramin Okhrati,
- Abstract要約: 本稿では,モーメントの概念を取り入れた適応非線形自己回帰モデルを提案する。
本枠組みでは,学習率の異なる3つの推定器を提案し,その収束の理論的証明を提供する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a new class of adaptive non-linear autoregressive (Nlar) models incorporating the concept of momentum, which dynamically estimate both the learning rates and momentum as the number of iterations increases. In our method, the growth of the gradients is controlled using a scaling (clipping) function, leading to stable convergence. Within this framework, we propose three distinct estimators for learning rates and provide theoretical proof of their convergence. We further demonstrate how these estimators underpin the development of effective Nlar optimizers. The performance of the proposed estimators and optimizers is rigorously evaluated through extensive experiments across several datasets and a reinforcement learning environment. The results highlight two key features of the Nlar optimizers: robust convergence despite variations in underlying parameters, including large initial learning rates, and strong adaptability with rapid convergence during the initial epochs.
- Abstract（参考訳）: モーメントの概念を取り入れた適応型非線形自己回帰モデルを導入し,反復数の増加に伴って学習速度と運動量の両方を動的に推定する。
本手法では, 勾配の成長はスケーリング(クリッピング)関数を用いて制御され, 安定した収束をもたらす。
本フレームワークでは,学習率の3つの異なる推定器を提案し,それらの収束の理論的証明を提供する。
さらに、これらの推定器が効果的なNlarオプティマイザの開発をいかに支えているかを示す。
提案した推定器とオプティマイザの性能は、複数のデータセットと強化学習環境にわたる広範な実験を通じて厳密に評価される。
この結果からNlarオプティマイザの2つの重要な特徴を浮き彫りにした: 大きな初期学習率を含む基礎パラメータの変動にもかかわらず、頑健な収束と、初期時代における急激な収束を伴う強い適応性である。
関連論文リスト
- Modeling Latent Neural Dynamics with Gaussian Process Switching Linear Dynamical Systems [2.170477444239546]
ガウス過程スイッチング線形力学系(gpSLDS)の2つの目的をバランスさせるアプローチを開発する。
我々の手法は、非線形力学をガウス過程(GP-SDE)で記述した微分方程式による潜在状態の進化をモデル化した以前の研究に基づいている。
本手法は, 離散状態境界近傍の力学における人工振動など, rSLDS の重要な限界を解消するとともに, 力学の後方不確かさを推定する。
論文 参考訳（メタデータ） (2024-07-19T15:32:15Z) - Robust Learning with Progressive Data Expansion Against Spurious
Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。
分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。
本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-06-08T05:44:06Z) - Bayesian optimization for sparse neural networks with trainable
activation functions [0.0]
パラメータを推定する必要があるトレーニング可能なアクティベーション関数を提案する。
モデル重みとアクティベーション関数パラメータの両方から学習データから自動的に推定する完全ベイズモデルを開発した。
論文 参考訳（メタデータ） (2023-04-10T08:44:44Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - Latent Variable Representation for Reinforcement Learning [131.03944557979725]
モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。
状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。
特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-12-17T00:26:31Z) - Taylor-Lagrange Neural Ordinary Differential Equations: Toward Fast
Training and Evaluation of Neural ODEs [22.976119802895017]
ニューラル常微分方程式(NODE)の学習のためのデータ駆動型アプローチを提案する。
提案手法は,低階テイラー展開のみを用いながら,適応的なステップサイズスキームと同じ精度を実現する。
一連の数値実験により、TL-NODEは最先端のアプローチよりも桁違いに高速に訓練できることが示されている。
論文 参考訳（メタデータ） (2022-01-14T23:56:19Z) - Dynamic Iterative Refinement for Efficient 3D Hand Pose Estimation [87.54604263202941]
本稿では,従来の推定値の修正に部分的レイヤを反復的に活用する,小さなディープニューラルネットワークを提案する。
学習したゲーティング基準を用いて、ウェイトシェアリングループから抜け出すかどうかを判断し、モデルにサンプルごとの適応を可能にする。
提案手法は,広く使用されているベンチマークの精度と効率の両面から,最先端の2D/3Dハンドポーズ推定手法より一貫して優れている。
論文 参考訳（メタデータ） (2021-11-11T23:31:34Z) - Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。
AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。
本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
論文 参考訳（メタデータ） (2020-10-21T14:49:00Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳（メタデータ） (2020-06-11T09:58:01Z) - Variational Auto-Regressive Gaussian Processes for Continual Learning [17.43751039943161]
連続学習におけるシーケンシャルなタスクを解くための原則的後続更新機構を開発する。
スケーラブルな後続に対するスパース誘導点近似を頼りに、新しい自己回帰変動分布を提案する。
平均的な予測エントロピー推定は、VAR-GPが破滅的な忘れを防いでいることを示している。
論文 参考訳（メタデータ） (2020-06-09T19:23:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。