論文の概要: Meta Learning Black-Box Population-Based Optimizers
- arxiv url: http://arxiv.org/abs/2103.03526v1
- Date: Fri, 5 Mar 2021 08:13:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-09 03:33:19.009773
- Title: Meta Learning Black-Box Population-Based Optimizers
- Title（参考訳）: メタラーニングブラックボックス人口ベースオプティマイザ
- Authors: Hugo Siqueira Gomes, Benjamin L\'eger and Christian Gagn\'e
- Abstract要約: 人口ベースのブラックボックス一般化を推論するメタラーニングの利用を提案する。
メタロス関数は,学習アルゴリズムが検索動作を変更することを促進し,新たなコンテキストに容易に適合できることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The no free lunch theorem states that no model is better suited to every
problem. A question that arises from this is how to design methods that propose
optimizers tailored to specific problems achieving state-of-the-art
performance. This paper addresses this issue by proposing the use of
meta-learning to infer population-based black-box optimizers that can
automatically adapt to specific classes of problems. We suggest a general
modeling of population-based algorithms that result in Learning-to-Optimize
POMDP (LTO-POMDP), a meta-learning framework based on a specific partially
observable Markov decision process (POMDP). From that framework's formulation,
we propose to parameterize the algorithm using deep recurrent neural networks
and use a meta-loss function based on stochastic algorithms' performance to
train efficient data-driven optimizers over several related optimization tasks.
The learned optimizers' performance based on this implementation is assessed on
various black-box optimization tasks and hyperparameter tuning of machine
learning models. Our results revealed that the meta-loss function encourages a
learned algorithm to alter its search behavior so that it can easily fit into a
new context. Thus, it allows better generalization and higher sample efficiency
than state-of-the-art generic optimization algorithms, such as the Covariance
matrix adaptation evolution strategy (CMA-ES).
- Abstract（参考訳）: no free lunch定理は、どの問題にもより適したモデルはない、と述べる。
これから生じる疑問は、最先端のパフォーマンスを達成する特定の問題に合わせて最適化するメソッドを設計する方法だ。
本稿では,特定の問題のクラスに自動的に適応できる集団型ブラックボックスオプティマイザを推定するために,メタラーニングの利用を提案する。
特定の部分可観測マルコフ決定プロセス(POMDP)に基づくメタラーニングフレームワークであるLTO-POMDP(Learning-to-Optimize POMDP)を導出する集団ベースのアルゴリズムの一般モデルを提案する。
このフレームワークの定式化から,ディープリカレントニューラルネットワークを用いたアルゴリズムのパラメータ化と,確率アルゴリズムの性能に基づくメタロス関数を用いて,関連する最適化タスクに対する効率的なデータ駆動オプティマイザのトレーニングを提案する。
この実装に基づく学習オプティマイザの性能は、様々なブラックボックス最適化タスクと機械学習モデルのハイパーパラメータチューニングに基づいて評価される。
その結果,メタロス関数は学習アルゴリズムの探索動作を変化させ,新たなコンテキストに容易に適合できることを示した。
これにより、CMA-ES(Covariance matrix adapt evolution strategy)のような最先端の汎用最適化アルゴリズムよりも、より優れた一般化とサンプル効率を実現することができる。
関連論文リスト
- Learning Joint Models of Prediction and Optimization [56.04498536842065]
Predict-Then-Thenフレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。
本稿では,共同予測モデルを用いて観測可能特徴から最適解を直接学習する手法を提案する。
論文 参考訳（メタデータ） (2024-09-07T19:52:14Z) - Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。
我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。
実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
論文 参考訳（メタデータ） (2024-06-12T16:58:41Z) - Model Uncertainty in Evolutionary Optimization and Bayesian Optimization: A Comparative Analysis [5.6787965501364335]
ブラックボックス最適化問題は、多くの現実世界のアプリケーションで一般的な問題である。
これらの問題はインプット・アウトプット・インタラクションを通じて内部動作へのアクセスなしに最適化する必要がある。
このような問題に対処するために2つの広く使われている勾配のない最適化手法が用いられている。
本稿では,2つの手法間のモデル不確実性の類似点と相違点を明らかにすることを目的とする。
論文 参考訳（メタデータ） (2024-03-21T13:59:19Z) - Large Language Models As Evolution Strategies [6.873777465945062]
本研究では,大規模言語モデル (LLM) が進化的最適化アルゴリズムを実装可能であるかどうかを考察する。
我々は,最小から最多の集団集団を選別する新規なプロンプト戦略を導入する。
我々の設定により、ユーザがLLMベースの進化戦略を得ることができ、それはEvoLLM'と呼ばれ、ベースラインアルゴリズムを頑健に上回る。
論文 参考訳（メタデータ） (2024-02-28T15:02:17Z) - Predict-Then-Optimize by Proxy: Learning Joint Models of Prediction and
Optimization [59.386153202037086]
Predict-Then-フレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。
このアプローチは非効率であり、最適化ステップを通じてバックプロパゲーションのための手作りの、問題固有のルールを必要とする。
本稿では,予測モデルを用いて観測可能な特徴から最適解を直接学習する手法を提案する。
論文 参考訳（メタデータ） (2023-11-22T01:32:06Z) - Polynomial-Model-Based Optimization for Blackbox Objectives [0.0]
ブラックボックス最適化は、事前定義された目的関数が最小化されるようなシステムに対して最適なパラメータを求める。
PMBOは目的関数にサロゲートを合わせることで最小値を求める新しいブラックボックスである。
PMBOは、与えられた人工的解析関数のセットに対して、他の最先端のアルゴリズムとベンチマークされる。
論文 参考訳（メタデータ） (2023-09-01T14:11:03Z) - DynamoRep: Trajectory-Based Population Dynamics for Classification of
Black-box Optimization Problems [0.755972004983746]
簡単な統計量を用いて最適化アルゴリズムの軌道を記述する特徴抽出法を提案する。
提案するDynamoRep機能は,最適化アルゴリズムが動作している問題クラスを特定するのに十分な情報を取得する。
論文 参考訳（メタデータ） (2023-06-08T06:57:07Z) - Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。
本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文 参考訳（メタデータ） (2023-01-28T01:50:42Z) - An Empirical Evaluation of Zeroth-Order Optimization Methods on
AI-driven Molecule Optimization [78.36413169647408]
分子目的を最適化するための様々なZO最適化手法の有効性について検討する。
ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。
本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
論文 参考訳（メタデータ） (2022-10-27T01:58:10Z) - Meta-Learning with Neural Tangent Kernels [58.06951624702086]
メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。
このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。
本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
論文 参考訳（メタデータ） (2021-02-07T20:53:23Z) - Landscape-Aware Fixed-Budget Performance Regression and Algorithm
Selection for Modular CMA-ES Variants [1.0965065178451106]
市販の教師あり学習手法を用いて,高品質な性能予測が可能であることを示す。
このアプローチを,モジュール型CMA-ESアルゴリズム群から選択した,非常に類似したアルゴリズムのポートフォリオ上でテストする。
論文 参考訳（メタデータ） (2020-06-17T13:34:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。