論文の概要: Exploring the Optimized Value of Each Hyperparameter in Various Gradient
Descent Algorithms
- arxiv url: http://arxiv.org/abs/2212.12279v1
- Date: Fri, 23 Dec 2022 12:04:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-26 17:01:55.701170
- Title: Exploring the Optimized Value of Each Hyperparameter in Various Gradient
Descent Algorithms
- Title(参考訳): 勾配降下アルゴリズムにおける各ハイパーパラメータの最適化値の探索
- Authors: Abel C. H. Chen
- Abstract要約: 勾配降下アルゴリズムは、高い精度または低い誤差の深層学習モデルのパラメータ最適化に応用されている。
本研究では,各対象関数の平均誤差を,様々な勾配降下アルゴリズムに基づいて解析するフレームワークを提案する。
実験の結果,提案手法により高効率収束と低誤差が得られることがわかった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the recent years, various gradient descent algorithms including the
methods of gradient descent, gradient descent with momentum, adaptive gradient
(AdaGrad), root-mean-square propagation (RMSProp) and adaptive moment
estimation (Adam) have been applied to the parameter optimization of several
deep learning models with higher accuracies or lower errors. These optimization
algorithms may need to set the values of several hyperparameters which include
a learning rate, momentum coefficients, etc. Furthermore, the convergence speed
and solution accuracy may be influenced by the values of hyperparameters.
Therefore, this study proposes an analytical framework to use mathematical
models for analyzing the mean error of each objective function based on various
gradient descent algorithms. Moreover, the suitable value of each
hyperparameter could be determined by minimizing the mean error. The principles
of hyperparameter value setting have been generalized based on analysis results
for model optimization. The experimental results show that higher efficiency
convergences and lower errors can be obtained by the proposed method.
- Abstract(参考訳): 近年,高精度または低誤差の深層学習モデルのパラメータ最適化に,勾配降下法,モーメント付き勾配降下法,適応勾配法(AdaGrad),ルート平均二乗伝搬法(RMSProp),適応モーメント推定法(Adam)など,様々な勾配降下法が適用されている。
これらの最適化アルゴリズムは、学習率や運動量係数などを含む複数のハイパーパラメータの値を設定する必要があるかもしれない。
さらに、収束速度と解の精度はハイパーパラメータの値に影響される可能性がある。
そこで本研究では,各対象関数の平均誤差を,様々な勾配降下アルゴリズムに基づいて解析する数学的モデルを提案する。
さらに、各ハイパーパラメータの適切な値は平均誤差を最小化することで決定できる。
ハイパーパラメータ値設定の原理はモデル最適化の分析結果に基づいて一般化された。
実験の結果,提案手法により高効率収束と低誤差が得られることがわかった。
関連論文リスト
- Diffusion Tempering Improves Parameter Estimation with Probabilistic
Integrators for Ordinary Differential Equations [36.23053640357854]
通常微分方程式(ODE)は科学の力学系を記述するために広く用いられているが、実験的な測定を説明するパラメータを特定することは困難である。
本稿では,ODEにおける勾配に基づくパラメータ最適化の収束性を改善する確率的数値法の新しい正規化手法である拡散テンパリングを提案する。
本手法は複雑性の異なる力学系に対して有効であることを示すとともに,実際に関連するパラメータ数を持つHodgkin-Huxleyモデルに対して,信頼性の高いパラメータ推定値が得られることを示す。
論文 参考訳(メタデータ) (2024-02-19T15:36:36Z) - A Multi-objective Newton Optimization Algorithm for Hyper-Parameter
Search [0.0]
このアルゴリズムを用いて畳み込みニューラルネットワークの多クラス物体検出問題に対する最適確率しきい値(8パラメータのベクトル)を探索する。
このアルゴリズムは、デフォルト値0.5に比べて総合的に高い真正(TP)と低い偽正(FP)率を生成する。
論文 参考訳(メタデータ) (2024-01-07T21:12:34Z) - Model-Based Reparameterization Policy Gradient Methods: Theory and
Practical Algorithms [88.74308282658133]
Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。
近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。
本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
論文 参考訳(メタデータ) (2023-10-30T18:43:21Z) - Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
線形化されたラプラス近似に下界を導入する。
これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
論文 参考訳(メタデータ) (2023-06-06T19:02:57Z) - How to Prove the Optimized Values of Hyperparameters for Particle Swarm
Optimization? [0.0]
本研究では,様々な適合関数の数学的モデルに基づいて,最適化された平均適合関数値(AFFV)を解析するフレームワークを提案する。
実験結果から,提案手法のパラメータ値は高効率収束と低いAFFVが得られることがわかった。
論文 参考訳(メタデータ) (2023-02-01T00:33:35Z) - Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。
木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。
3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
論文 参考訳(メタデータ) (2022-09-09T14:58:43Z) - A Globally Convergent Gradient-based Bilevel Hyperparameter Optimization
Method [0.0]
ハイパーパラメータ最適化問題の解法として,勾配に基づく双レベル法を提案する。
提案手法は, より低い計算量に収束し, テストセットをより良く一般化するモデルに導かれることを示す。
論文 参考訳(メタデータ) (2022-08-25T14:25:16Z) - Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。
厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。
このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
論文 参考訳(メタデータ) (2021-11-29T15:10:09Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳(メタデータ) (2020-12-21T17:29:58Z) - Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。
AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。
本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
論文 参考訳(メタデータ) (2020-10-21T14:49:00Z) - Bayesian Sparse learning with preconditioned stochastic gradient MCMC
and its applications [5.660384137948734]
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束する。
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束可能であることを示す。
論文 参考訳(メタデータ) (2020-06-29T20:57:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。