Fugu-MT 論文翻訳(概要): Better call Surrogates: A hybrid Evolutionary Algorithm for Hyperparameter optimization

論文の概要: Better call Surrogates: A hybrid Evolutionary Algorithm for Hyperparameter optimization

arxiv url: http://arxiv.org/abs/2012.06453v1
Date: Fri, 11 Dec 2020 16:19:59 GMT
ステータス: 処理完了
システム内更新日: 2021-05-11 06:21:54.183879
Title: Better call Surrogates: A hybrid Evolutionary Algorithm for Hyperparameter optimization
Title（参考訳）: Better Call Surrogates: ハイパーパラメータ最適化のためのハイブリッド進化アルゴリズム
Authors: Subhodip Biswas, Adam D Cobb, Andreea Sistrunk, Naren Ramakrishnan, Brian Jalaian
Abstract要約: 機械学習(ML)モデルのハイパーパラメータ最適化のための代理支援進化アルゴリズム(EA)を提案する。提案したSTEADEモデルは,まずRadialBasis関数を用いて目的関数のランドスケープを推定し,その知識を微分進化(differial Evolution)と呼ばれるEA技術に伝達する。 NeurIPS 2020のブラックボックス最適化課題の一環として、ハイパーパラメータ最適化問題に関するモデルを実証的に評価し、STEADEがバニラEAにもたらした改善を実証しました。
参考スコア（独自算出の注目度）: 18.359749929678635
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we propose a surrogate-assisted evolutionary algorithm (EA) for hyperparameter optimization of machine learning (ML) models. The proposed STEADE model initially estimates the objective function landscape using RadialBasis Function interpolation, and then transfers the knowledge to an EA technique called Differential Evolution that is used to evolve new solutions guided by a Bayesian optimization framework. We empirically evaluate our model on the hyperparameter optimization problems as a part of the black box optimization challenge at NeurIPS 2020 and demonstrate the improvement brought about by STEADE over the vanilla EA.
Abstract（参考訳）: 本稿では,機械学習(ML)モデルのハイパーパラメータ最適化のための代理支援進化アルゴリズム(EA)を提案する。提案したSTEADEモデルは、まずRadarBasis関数補間を用いて目的関数のランドスケープを推定し、ベイズ最適化フレームワークによって導かれる新しいソリューションの進化に使用される差分進化と呼ばれるEA技術に知識を伝達する。我々は、NeurIPS 2020におけるブラックボックス最適化チャレンジの一環として、ハイパーパラメータ最適化問題に関するモデルを実証的に評価し、バニラEAに対してSTEADEがもたらした改善を実証した。

関連論文リスト

An investigation on the use of Large Language Models for hyperparameter tuning in Evolutionary Algorithms [4.0998481751764]
最適化ログをオンラインで分析するために,オープンソースのLarge Language Models (LLM) を2つ採用している。本研究では, (1+1)-ESのステップサイズ適応の文脈におけるアプローチについて検討する。
論文参考訳（メタデータ） (2024-08-05T13:20:41Z)
Spectrum-Aware Parameter Efficient Fine-Tuning for Diffusion Models [73.88009808326387]
生成モデルのための新しいスペクトル対応適応フレームワークを提案する。本手法は,事前学習した重みの特異値とその基底ベクトルを調節する。本稿では,計算効率と表現能力のバランスをとるスペクトルオーソ分解適応(SODA)を提案する。
論文参考訳（メタデータ） (2024-05-31T17:43:35Z)
End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文参考訳（メタデータ） (2024-02-12T16:33:35Z)
An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
論文参考訳（メタデータ） (2022-10-27T01:58:10Z)
Accelerating the Evolutionary Algorithms by Gaussian Process Regression with $\epsilon$-greedy acquisition function [2.7716102039510564]
本稿では,最適化の収束を早めるために,エリート個人を推定する新しい手法を提案する。我々の提案には、エリート個人を推定し、最適化の収束を加速する幅広い見通しがある。
論文参考訳（メタデータ） (2022-10-13T07:56:47Z)
Hyper-parameter optimization based on soft actor critic and hierarchical mixture regularization [5.063728016437489]
我々はマルコフ決定プロセスとしてハイパーパラメータ最適化プロセスをモデル化し、強化学習でそれに取り組む。ソフトアクター評論家と階層混合正規化に基づく新しいハイパーパラメータ最適化法が提案されている。
論文参考訳（メタデータ） (2021-12-08T02:34:43Z)
A self-adapting super-resolution structures framework for automatic design of GAN [15.351639834230383]
本稿では,超高解像度画像再構成生成ネットワークフレームワークを提案する。生成器と識別器のハイパーパラメータを最適化するためにベイズ最適化を用いる。本手法は,GANの最適化ポリシとしてベイズ最適化を採用する。
論文参考訳（メタデータ） (2021-06-10T19:11:29Z)
Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
論文参考訳（メタデータ） (2021-02-17T21:03:05Z)
Enhanced Innovized Repair Operator for Evolutionary Multi- and Many-objective Optimization [5.885238773559015]
革新」とは、最適化問題においてパレート最適化(PO)ソリューションの一部または全部の共通関係を学習するタスクである。近年の研究では、非支配的なソリューションの時系列配列もまた、問題の特徴を学習するのに使える有能なパターンを持っていることが示されている。本稿では,Pareto-Optimal 集合に向けて,集団構成員を前進させるために必要な設計変数の修正を学習する機械学習(ML-)支援モデル手法を提案する。
論文参考訳（メタデータ） (2020-11-21T10:29:15Z)
EOS: a Parallel, Self-Adaptive, Multi-Population Evolutionary Algorithm for Constrained Global Optimization [68.8204255655161]
EOSは実数値変数の制約付きおよび制約なし問題に対する大域的最適化アルゴリズムである。これはよく知られた微分進化(DE)アルゴリズムに多くの改良を加えている。その結果、EOSisは、最先端の単一人口自己適応Dアルゴリズムと比較して高い性能を達成可能であることが証明された。
論文参考訳（メタデータ） (2020-07-09T10:19:22Z)
Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
論文参考訳（メタデータ） (2020-06-18T19:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。