論文の概要: On Hyper-parameter Tuning for Stochastic Optimization Algorithms

• arxiv url: http://arxiv.org/abs/2003.02038v2
• Date: Tue, 10 Mar 2020 16:32:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 12:07:11.773775
• Title: On Hyper-parameter Tuning for Stochastic Optimization Algorithms
• Title（参考訳）: 確率最適化アルゴリズムのハイパーパラメータチューニングについて
• Authors: Haotian Zhang, Jianyong Sun and Zongben Xu
• Abstract要約: 本稿では,強化学習に基づく最適化アルゴリズムのハイパーパラメータをチューニングするための,最初のアルゴリズムフレームワークを提案する。 提案フレームワークはアルゴリズムにおけるハイパーパラメータチューニングの標準ツールとして利用できる。
• 参考スコア（独自算出の注目度）: 28.88646928299302
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes the first-ever algorithmic framework for tuning hyper-parameters of stochastic optimization algorithm based on reinforcement learning. Hyper-parameters impose significant influences on the performance of stochastic optimization algorithms, such as evolutionary algorithms (EAs) and meta-heuristics. Yet, it is very time-consuming to determine optimal hyper-parameters due to the stochastic nature of these algorithms. We propose to model the tuning procedure as a Markov decision process, and resort the policy gradient algorithm to tune the hyper-parameters. Experiments on tuning stochastic algorithms with different kinds of hyper-parameters (continuous and discrete) for different optimization problems (continuous and discrete) show that the proposed hyper-parameter tuning algorithms do not require much less running times of the stochastic algorithms than bayesian optimization method. The proposed framework can be used as a standard tool for hyper-parameter tuning in stochastic algorithms.
• Abstract（参考訳）: 本稿では,強化学習に基づく確率最適化アルゴリズムのハイパーパラメータをチューニングするためのアルゴリズムフレームワークを提案する。 ハイパーパラメータは進化的アルゴリズム(EA)やメタヒューリスティックスなどの確率最適化アルゴリズムの性能に大きな影響を及ぼす。 しかし、これらのアルゴリズムの確率的性質から最適なハイパーパラメータを決定するのは非常に時間がかかる。 我々は,マルコフ決定過程としてチューニング手順をモデル化し,ハイパーパラメータをチューニングするためのポリシー勾配アルゴリズムを適用することを提案する。 異なる最適化問題(連続的および離散的)に対して、異なる種類のハイパーパラメータ(連続的および離散的)を持つ確率的アルゴリズムをチューニングする実験は、提案するハイパーパラメータチューニングアルゴリズムがベイズ最適化法よりも確率的アルゴリズムの実行時間が少なくないことを示している。 提案フレームワークは確率アルゴリズムにおけるハイパーパラメータチューニングの標準ツールとして利用できる。

関連論文リスト

• Cross-Entropy Optimization for Hyperparameter Optimization in Stochastic Gradient-based Approaches to Train Deep Neural Networks [2.1046873879077794]
  学習アルゴリズムのハイパーパラメータ最適化のためのクロスエントロピー最適化法を提案する。 提案手法は,ディープラーニングにおける他の最適化問題にも適用可能である。
  論文  参考訳（メタデータ） (2024-09-14T00:39:37Z)
• Hyperparameter Adaptive Search for Surrogate Optimization: A Self-Adjusting Approach [1.6317061277457001]
  サーロゲート最適化(SO)アルゴリズムは高価なブラックボックス関数の最適化を約束している。 提案手法は,各問題とSOアプローチに特有の最も影響力のあるハイパーパラメータを同定し,修正する。 実験により,様々なSOアルゴリズムの性能向上におけるHASSOの有効性が示された。
  論文  参考訳（メタデータ） (2023-10-12T01:26:05Z)
• Review of Parameter Tuning Methods for Nature-Inspired Algorithms [1.4042211166197214]
  この章では、パラメータチューニングの主要な方法をいくつかレビューし、パラメータチューニングの最新開発に関する重要な問題を強調します。 いくつかのオープンな問題も今後の研究の推奨事項として議論されている。
  論文  参考訳（メタデータ） (2023-08-30T11:41:39Z)
• Hyper-parameter optimization based on soft actor critic and hierarchical mixture regularization [5.063728016437489]
  我々はマルコフ決定プロセスとしてハイパーパラメータ最適化プロセスをモデル化し、強化学習でそれに取り組む。 ソフトアクター評論家と階層混合正規化に基づく新しいハイパーパラメータ最適化法が提案されている。
  論文  参考訳（メタデータ） (2021-12-08T02:34:43Z)
• HyP-ABC: A Novel Automated Hyper-Parameter Tuning Algorithm Using Evolutionary Optimization [1.6114012813668934]
  改良されたミツバチコロニーを用いたハイブリッドハイパーパラメータ最適化アルゴリズムHyP-ABCを提案する。 最先端技術と比較して、HyP-ABCは効率が良く、調整すべきパラメータが限られている。
  論文  参考訳（メタデータ） (2021-09-11T16:45:39Z)
• Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
  ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。 具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。 次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
  論文  参考訳（メタデータ） (2021-02-17T21:03:05Z)
• Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
  ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。 この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
  論文  参考訳（メタデータ） (2021-02-15T19:36:18Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Cross Entropy Hyperparameter Optimization for Constrained Problem Hamiltonians Applied to QAOA [68.11912614360878]
  QAOA(Quantum Approximate Optimization Algorithm)のようなハイブリッド量子古典アルゴリズムは、短期量子コンピュータを実用的に活用するための最も奨励的なアプローチの1つである。 このようなアルゴリズムは通常変分形式で実装され、古典的な最適化法と量子機械を組み合わせて最適化問題の優れた解を求める。 本研究では,クロスエントロピー法を用いてランドスケープを形作り,古典的パラメータがより容易により良いパラメータを発見でき,その結果,性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-03-11T13:52:41Z)
• Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
  適応性は現代最適化理論において重要であるが、研究されていない性質である。 提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
  論文  参考訳（メタデータ） (2020-02-13T05:42:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。