論文の概要: Exploring the Optimized Value of Each Hyperparameter in Various Gradient Descent Algorithms

• arxiv url: http://arxiv.org/abs/2212.12279v1
• Date: Fri, 23 Dec 2022 12:04:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 17:01:55.701170
• Title: Exploring the Optimized Value of Each Hyperparameter in Various Gradient Descent Algorithms
• Title（参考訳）: 勾配降下アルゴリズムにおける各ハイパーパラメータの最適化値の探索
• Authors: Abel C. H. Chen
• Abstract要約: 勾配降下アルゴリズムは、高い精度または低い誤差の深層学習モデルのパラメータ最適化に応用されている。 本研究では,各対象関数の平均誤差を,様々な勾配降下アルゴリズムに基づいて解析するフレームワークを提案する。 実験の結果,提案手法により高効率収束と低誤差が得られることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the recent years, various gradient descent algorithms including the methods of gradient descent, gradient descent with momentum, adaptive gradient (AdaGrad), root-mean-square propagation (RMSProp) and adaptive moment estimation (Adam) have been applied to the parameter optimization of several deep learning models with higher accuracies or lower errors. These optimization algorithms may need to set the values of several hyperparameters which include a learning rate, momentum coefficients, etc. Furthermore, the convergence speed and solution accuracy may be influenced by the values of hyperparameters. Therefore, this study proposes an analytical framework to use mathematical models for analyzing the mean error of each objective function based on various gradient descent algorithms. Moreover, the suitable value of each hyperparameter could be determined by minimizing the mean error. The principles of hyperparameter value setting have been generalized based on analysis results for model optimization. The experimental results show that higher efficiency convergences and lower errors can be obtained by the proposed method.
• Abstract（参考訳）: 近年,高精度または低誤差の深層学習モデルのパラメータ最適化に,勾配降下法,モーメント付き勾配降下法,適応勾配法(AdaGrad),ルート平均二乗伝搬法(RMSProp),適応モーメント推定法(Adam)など,様々な勾配降下法が適用されている。 これらの最適化アルゴリズムは、学習率や運動量係数などを含む複数のハイパーパラメータの値を設定する必要があるかもしれない。 さらに、収束速度と解の精度はハイパーパラメータの値に影響される可能性がある。 そこで本研究では,各対象関数の平均誤差を,様々な勾配降下アルゴリズムに基づいて解析する数学的モデルを提案する。 さらに、各ハイパーパラメータの適切な値は平均誤差を最小化することで決定できる。 ハイパーパラメータ値設定の原理はモデル最適化の分析結果に基づいて一般化された。 実験の結果,提案手法により高効率収束と低誤差が得られることがわかった。

関連論文リスト

• Eliminating Ratio Bias for Gradient-based Simulated Parameter Estimation [0.7673339435080445]
  本稿では、可能性関数が解析的に利用できないモデルにおけるパラメータキャリブレーションの課題に対処する。 本稿では,最大推定と後続密度推定の両問題において,比バイアスの問題に対処するマルチタイムスケールを応用した勾配に基づくシミュレーションパラメータ推定フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-20T02:46:15Z)
• Cross-Entropy Optimization for Hyperparameter Optimization in Stochastic Gradient-based Approaches to Train Deep Neural Networks [2.1046873879077794]
  学習アルゴリズムのハイパーパラメータ最適化のためのクロスエントロピー最適化法を提案する。 提案手法は,ディープラーニングにおける他の最適化問題にも適用可能である。
  論文  参考訳（メタデータ） (2024-09-14T00:39:37Z)
• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• A Multi-objective Newton Optimization Algorithm for Hyper-Parameter Search [0.0]
  このアルゴリズムを用いて畳み込みニューラルネットワークの多クラス物体検出問題に対する最適確率しきい値(8パラメータのベクトル)を探索する。 このアルゴリズムは、デフォルト値0.5に比べて総合的に高い真正(TP)と低い偽正(FP)率を生成する。
  論文  参考訳（メタデータ） (2024-01-07T21:12:34Z)
• Model-Based Reparameterization Policy Gradient Methods: Theory and Practical Algorithms [88.74308282658133]
  Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。 近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。 本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T18:43:21Z)
• Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
  線形化されたラプラス近似に下界を導入する。 これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
  論文  参考訳（メタデータ） (2023-06-06T19:02:57Z)
• How to Prove the Optimized Values of Hyperparameters for Particle Swarm Optimization? [0.0]
  本研究では,様々な適合関数の数学的モデルに基づいて,最適化された平均適合関数値(AFFV)を解析するフレームワークを提案する。 実験結果から,提案手法のパラメータ値は高効率収束と低いAFFVが得られることがわかった。
  論文  参考訳（メタデータ） (2023-02-01T00:33:35Z)
• Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
  本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。 木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。 3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
  論文  参考訳（メタデータ） (2022-09-09T14:58:43Z)
• A Globally Convergent Gradient-based Bilevel Hyperparameter Optimization Method [0.0]
  ハイパーパラメータ最適化問題の解法として,勾配に基づく双レベル法を提案する。 提案手法は, より低い計算量に収束し, テストセットをより良く一般化するモデルに導かれることを示す。
  論文  参考訳（メタデータ） (2022-08-25T14:25:16Z)
• Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
  決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。 厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。 このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
  論文  参考訳（メタデータ） (2021-11-29T15:10:09Z)
• Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
  レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。 本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-10-21T14:49:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。