論文の概要: Optimal Hyperparameter $\epsilon$ for Adaptive Stochastic Optimizers
through Gradient Histograms
- arxiv url: http://arxiv.org/abs/2311.11532v1
- Date: Mon, 20 Nov 2023 04:34:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-21 19:51:57.020393
- Title: Optimal Hyperparameter $\epsilon$ for Adaptive Stochastic Optimizers
through Gradient Histograms
- Title(参考訳): 勾配ヒストグラムによる適応確率最適化器の最適ハイパーパラメータ$\epsilon$
- Authors: Gustavo Silva, Paul Rodriguez
- Abstract要約: 属性適応を解析・正当化するための勾配ヒストグラムに基づく新しいフレームワークを提案する。
そこで本稿では,セーフガード係数$epsilon$に対する縮小された正確な探索空間を自動的に推定する,勾配ヒストグラムに基づく新しいアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 0.8702432681310399
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Optimizers are essential components for successfully training deep neural
network models. In order to achieve the best performance from such models,
designers need to carefully choose the optimizer hyperparameters. However, this
can be a computationally expensive and time-consuming process. Although it is
known that all optimizer hyperparameters must be tuned for maximum performance,
there is still a lack of clarity regarding the individual influence of minor
priority hyperparameters, including the safeguard factor $\epsilon$ and
momentum factor $\beta$, in leading adaptive optimizers (specifically, those
based on the Adam optimizers). In this manuscript, we introduce a new framework
based on gradient histograms to analyze and justify important attributes of
adaptive optimizers, such as their optimal performance and the relationships
and dependencies among hyperparameters. Furthermore, we propose a novel
gradient histogram-based algorithm that automatically estimates a reduced and
accurate search space for the safeguard hyperparameter $\epsilon$, where the
optimal value can be easily found.
- Abstract(参考訳): 最適化は、ディープニューラルネットワークモデルのトレーニングに成功するための必須のコンポーネントである。
このようなモデルから最高の性能を得るには、設計者はオプティマイザハイパーパラメータを慎重に選択する必要がある。
しかし、これは計算コストが高く、時間がかかるプロセスである。
すべてのオプティマイザハイパーパラメータは最大パフォーマンスのためにチューニングされる必要があることは知られているが、適応オプティマイザ(特にアダムオプティマイザに基づくもの)において、保護係数$\epsilon$と運動量係数$\beta$を含む、マイナー優先度ハイパーパラメータの個々の影響については、まだ明確でない。
本稿では,勾配ヒストグラムに基づく新しいフレームワークを導入し,最適性能やハイパーパラメータ間の関係,依存関係など,適応最適化の重要な属性を分析し,正当化する。
さらに,セーフガードハイパーパラメータ$\epsilon$に対して,最適化された精度の高い探索空間を自動的に推定する,勾配ヒストグラムに基づく新しいアルゴリズムを提案する。
関連論文リスト
- Parameter Optimization with Conscious Allocation (POCA) [4.478575931884855]
ハイパーバンドベースの機械学習アプローチが最も効果的である。
私たちは出席します。
新人
Conscious Allocation (POCA) は、入力を適応的に割り当てるハイパーバンドベースのアルゴリズムである。
ハイパーパラメータの構成に予算を割り当てます
POCAは、両方の設定で強い設定を高速に見つける。
論文 参考訳(メタデータ) (2023-12-29T00:13:55Z) - AdaLomo: Low-memory Optimization with Adaptive Learning Rate [63.99489591661645]
大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。
AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
論文 参考訳(メタデータ) (2023-10-16T09:04:28Z) - AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient
Hyper-parameter Tuning [72.54359545547904]
ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。
ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
論文 参考訳(メタデータ) (2022-03-15T19:25:01Z) - Adaptive Optimizer for Automated Hyperparameter Optimization Problem [0.0]
本稿では,最適化プロセスにおいて適切なパラメータを自動的に調整する適応型フレームワークを構築可能な汎用フレームワークを提案する。
論文 参考訳(メタデータ) (2022-01-28T13:58:10Z) - Automatic prior selection for meta Bayesian optimization with a case
study on tuning deep neural network optimizers [47.013395100497775]
このような高価なハイパーパラメータチューニング問題を効率的に解くための原理的アプローチを提案する。
BOの性能の鍵となるのは関数上の分布を指定および精製することであり、これは基礎となる関数の最適化を推論するために使われる。
我々は、一般的な画像やテキストデータセット上で、最先端に近いモデルの何万もの設定をトレーニングすることで、現実的なモデルトレーニング設定におけるアプローチを検証する。
論文 参考訳(メタデータ) (2021-09-16T20:46:26Z) - Reducing the Variance of Gaussian Process Hyperparameter Optimization
with Preconditioning [54.01682318834995]
プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。
プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。
基本的に無視可能なコストで、同時に分散を低減することができる。
論文 参考訳(メタデータ) (2021-07-01T06:43:11Z) - Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。
具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。
次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
論文 参考訳(メタデータ) (2021-02-17T21:03:05Z) - Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。
RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。
この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
論文 参考訳(メタデータ) (2021-02-15T19:36:18Z) - Towards Automatic Bayesian Optimization: A first step involving
acquisition functions [0.0]
ベイズ最適化 (Bayesian optimization) は、ブラックボックスの最適化、すなわち解析的表現にアクセスできない関数の最先端技術である。
獲得関数を自動調整するいくつかの手法を探索し,自動ベイズ最適化に対する最初の試みを提案する。
論文 参考訳(メタデータ) (2020-03-21T12:22:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。