論文の概要: Optimal Hyperparameter $\epsilon$ for Adaptive Stochastic Optimizers
through Gradient Histograms
- arxiv url: http://arxiv.org/abs/2311.11532v1
- Date: Mon, 20 Nov 2023 04:34:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-21 19:51:57.020393
- Title: Optimal Hyperparameter $\epsilon$ for Adaptive Stochastic Optimizers
through Gradient Histograms
- Title(参考訳): 勾配ヒストグラムによる適応確率最適化器の最適ハイパーパラメータ$\epsilon$
- Authors: Gustavo Silva, Paul Rodriguez
- Abstract要約: 属性適応を解析・正当化するための勾配ヒストグラムに基づく新しいフレームワークを提案する。
そこで本稿では,セーフガード係数$epsilon$に対する縮小された正確な探索空間を自動的に推定する,勾配ヒストグラムに基づく新しいアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 0.8702432681310399
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Optimizers are essential components for successfully training deep neural
network models. In order to achieve the best performance from such models,
designers need to carefully choose the optimizer hyperparameters. However, this
can be a computationally expensive and time-consuming process. Although it is
known that all optimizer hyperparameters must be tuned for maximum performance,
there is still a lack of clarity regarding the individual influence of minor
priority hyperparameters, including the safeguard factor $\epsilon$ and
momentum factor $\beta$, in leading adaptive optimizers (specifically, those
based on the Adam optimizers). In this manuscript, we introduce a new framework
based on gradient histograms to analyze and justify important attributes of
adaptive optimizers, such as their optimal performance and the relationships
and dependencies among hyperparameters. Furthermore, we propose a novel
gradient histogram-based algorithm that automatically estimates a reduced and
accurate search space for the safeguard hyperparameter $\epsilon$, where the
optimal value can be easily found.
- Abstract(参考訳): 最適化は、ディープニューラルネットワークモデルのトレーニングに成功するための必須のコンポーネントである。
このようなモデルから最高の性能を得るには、設計者はオプティマイザハイパーパラメータを慎重に選択する必要がある。
しかし、これは計算コストが高く、時間がかかるプロセスである。
すべてのオプティマイザハイパーパラメータは最大パフォーマンスのためにチューニングされる必要があることは知られているが、適応オプティマイザ(特にアダムオプティマイザに基づくもの)において、保護係数$\epsilon$と運動量係数$\beta$を含む、マイナー優先度ハイパーパラメータの個々の影響については、まだ明確でない。
本稿では,勾配ヒストグラムに基づく新しいフレームワークを導入し,最適性能やハイパーパラメータ間の関係,依存関係など,適応最適化の重要な属性を分析し,正当化する。
さらに,セーフガードハイパーパラメータ$\epsilon$に対して,最適化された精度の高い探索空間を自動的に推定する,勾配ヒストグラムに基づく新しいアルゴリズムを提案する。
関連論文リスト
- A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳(メタデータ) (2024-10-14T12:10:06Z) - Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。
本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。
提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
論文 参考訳(メタデータ) (2024-06-04T20:33:22Z) - End-to-End Learning for Fair Multiobjective Optimization Under
Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。
本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。
この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文 参考訳(メタデータ) (2024-02-12T16:33:35Z) - Comparative Evaluation of Metaheuristic Algorithms for Hyperparameter
Selection in Short-Term Weather Forecasting [0.0]
本稿では,遺伝的アルゴリズム (GA), 微分進化 (DE), 粒子群最適化 (PSO) のメタヒューリスティックアルゴリズムの適用について検討する。
平均二乗誤差(MSE)や平均絶対パーセンテージ誤差(MAPE)といった指標に基づいて天気予報の性能を評価する。
論文 参考訳(メタデータ) (2023-09-05T22:13:35Z) - Hyper-parameter optimization based on soft actor critic and hierarchical
mixture regularization [5.063728016437489]
我々はマルコフ決定プロセスとしてハイパーパラメータ最適化プロセスをモデル化し、強化学習でそれに取り組む。
ソフトアクター評論家と階層混合正規化に基づく新しいハイパーパラメータ最適化法が提案されている。
論文 参考訳(メタデータ) (2021-12-08T02:34:43Z) - Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。
我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。
また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文 参考訳(メタデータ) (2021-07-02T16:21:52Z) - Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。
具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。
次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
論文 参考訳(メタデータ) (2021-02-17T21:03:05Z) - Self-Tuning Stochastic Optimization with Curvature-Aware Gradient
Filtering [53.523517926927894]
サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。
モデルに基づく手続きが雑音勾配設定に収束することを証明する。
これは自己チューニング二次体を構築するための興味深いステップである。
論文 参考訳(メタデータ) (2020-11-09T22:07:30Z) - Efficient hyperparameter optimization by way of PAC-Bayes bound
minimization [4.191847852775072]
本稿では,期待外誤差に縛られた確率的近似ベイズ(PAC-Bayes)と等価な別の目的について述べる。
そして、この目的を最小化するために、効率的な勾配に基づくアルゴリズムを考案する。
論文 参考訳(メタデータ) (2020-08-14T15:54:51Z) - Bayesian Sparse learning with preconditioned stochastic gradient MCMC
and its applications [5.660384137948734]
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束する。
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束可能であることを示す。
論文 参考訳(メタデータ) (2020-06-29T20:57:20Z) - Towards Automatic Bayesian Optimization: A first step involving
acquisition functions [0.0]
ベイズ最適化 (Bayesian optimization) は、ブラックボックスの最適化、すなわち解析的表現にアクセスできない関数の最先端技術である。
獲得関数を自動調整するいくつかの手法を探索し,自動ベイズ最適化に対する最初の試みを提案する。
論文 参考訳(メタデータ) (2020-03-21T12:22:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。