Fugu-MT 論文翻訳(概要): Hyper-parameter optimization based on soft actor critic and hierarchical mixture regularization

論文の概要: Hyper-parameter optimization based on soft actor critic and hierarchical mixture regularization

arxiv url: http://arxiv.org/abs/2112.04084v1
Date: Wed, 8 Dec 2021 02:34:43 GMT
ステータス: 処理完了
システム内更新日: 2021-12-09 13:46:16.248493
Title: Hyper-parameter optimization based on soft actor critic and hierarchical mixture regularization
Title（参考訳）: ソフトアクタ批判と階層混合正規化に基づくハイパーパラメータ最適化
Authors: Chaoyue Liu, Yulai Zhang
Abstract要約: 我々はマルコフ決定プロセスとしてハイパーパラメータ最適化プロセスをモデル化し、強化学習でそれに取り組む。ソフトアクター評論家と階層混合正規化に基づく新しいハイパーパラメータ最適化法が提案されている。
参考スコア（独自算出の注目度）: 5.063728016437489
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Hyper-parameter optimization is a crucial problem in machine learning as it aims to achieve the state-of-the-art performance in any model. Great efforts have been made in this field, such as random search, grid search, Bayesian optimization. In this paper, we model hyper-parameter optimization process as a Markov decision process, and tackle it with reinforcement learning. A novel hyper-parameter optimization method based on soft actor critic and hierarchical mixture regularization has been proposed. Experiments show that the proposed method can obtain better hyper-parameters in a shorter time.
Abstract（参考訳）: ハイパーパラメータ最適化は機械学習において重要な問題であり、あらゆるモデルで最先端のパフォーマンスを達成することを目指している。この分野ではランダム探索、グリッド探索、ベイズ最適化などの大きな努力がなされている。本稿では,ハイパーパラメータ最適化プロセスをマルコフ決定プロセスとしてモデル化し,強化学習を用いて対処する。ソフトアクタ批判と階層的混合正規化に基づく新しいハイパーパラメータ最適化法が提案されている。実験により,提案手法はより短時間でより優れたハイパーパラメータを得ることができることを示した。

関連論文リスト

Deep Ranking Ensembles for Hyperparameter Optimization [9.453554184019108]
本稿では,メタ学習型ニューラルネットワークが構成性能のランク付けに最適化され,アンサンブルによる不確実性をモデル化する手法を提案する。 12のベースライン、16のHPO検索スペース、86のデータセット/タスクからなる大規模実験プロトコルにおいて、本手法がHPOの新たな最先端結果を実現することを示す。
論文参考訳（メタデータ） (2023-03-27T13:52:40Z)
A Globally Convergent Gradient-based Bilevel Hyperparameter Optimization Method [0.0]
ハイパーパラメータ最適化問題の解法として,勾配に基づく双レベル法を提案する。提案手法は, より低い計算量に収束し, テストセットをより良く一般化するモデルに導かれることを示す。
論文参考訳（メタデータ） (2022-08-25T14:25:16Z)
Implicit differentiation for fast hyperparameter selection in non-smooth convex learning [87.60600646105696]
内部最適化問題が凸であるが非滑らかである場合の一階法を研究する。本研究では, ヤコビアンの近位勾配降下と近位座標降下収率列の前方モード微分が, 正確なヤコビアンに向かって収束していることを示す。
論文参考訳（メタデータ） (2021-05-04T17:31:28Z)
Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
論文参考訳（メタデータ） (2021-02-17T21:03:05Z)
Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
論文参考訳（メタデータ） (2021-02-15T19:36:18Z)
Efficient hyperparameter optimization by way of PAC-Bayes bound minimization [4.191847852775072]
本稿では,期待外誤差に縛られた確率的近似ベイズ(PAC-Bayes)と等価な別の目的について述べる。そして、この目的を最小化するために、効率的な勾配に基づくアルゴリズムを考案する。
論文参考訳（メタデータ） (2020-08-14T15:54:51Z)
Bayesian Optimization for Selecting Efficient Machine Learning Models [53.202224677485525]
本稿では,予測効率とトレーニング効率の両面において,モデルを協調最適化するための統一ベイズ最適化フレームワークを提案する。レコメンデーションタスクのためのモデル選択の実験は、この方法で選択されたモデルがモデルのトレーニング効率を大幅に改善することを示している。
論文参考訳（メタデータ） (2020-08-02T02:56:30Z)
A Gradient-based Bilevel Optimization Approach for Tuning Hyperparameters in Machine Learning [0.0]
本稿では,ハイパーパラメータ最適化問題の解法として,二段階解法を提案する。提案手法は汎用的で,任意の種類の機械学習アルゴリズムに容易に適用可能である。提案アルゴリズムの背景にある理論を議論し、2つのデータセットについて広範な計算研究を行う。
論文参考訳（メタデータ） (2020-07-21T18:15:08Z)
Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
論文参考訳（メタデータ） (2020-06-18T19:11:54Z)
Cross Entropy Hyperparameter Optimization for Constrained Problem Hamiltonians Applied to QAOA [68.11912614360878]
QAOA(Quantum Approximate Optimization Algorithm)のようなハイブリッド量子古典アルゴリズムは、短期量子コンピュータを実用的に活用するための最も奨励的なアプローチの1つである。このようなアルゴリズムは通常変分形式で実装され、古典的な最適化法と量子機械を組み合わせて最適化問題の優れた解を求める。本研究では,クロスエントロピー法を用いてランドスケープを形作り,古典的パラメータがより容易により良いパラメータを発見でき,その結果,性能が向上することを示す。
論文参考訳（メタデータ） (2020-03-11T13:52:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。