論文の概要: Optimizing with Low Budgets: a Comparison on the Black-box Optimization
Benchmarking Suite and OpenAI Gym
- arxiv url: http://arxiv.org/abs/2310.00077v2
- Date: Mon, 9 Oct 2023 14:10:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-13 02:36:35.865528
- Title: Optimizing with Low Budgets: a Comparison on the Black-box Optimization
Benchmarking Suite and OpenAI Gym
- Title（参考訳）: 低予算で最適化する:black-box optimization benchmarking suiteとopenai gymの比較
- Authors: Elena Raponi, Nathanael Rakotonirina Carraz, J\'er\'emy Rapin, Carola
Doerr, Olivier Teytaud
- Abstract要約: Black-box Optimization (BO)アルゴリズムは機械学習(ML)で人気がある
MLのためのBBOツールと、より古典的なCOCOの比較を行う。
BBOコミュニティのアルゴリズムの中には、MLタスクで驚くほどうまく機能するものもある。
- 参考スコア（独自算出の注目度）: 2.511157007295545
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The growing ubiquity of machine learning (ML) has led it to enter various
areas of computer science, including black-box optimization (BBO). Recent
research is particularly concerned with Bayesian optimization (BO). BO-based
algorithms are popular in the ML community, as they are used for hyperparameter
optimization and more generally for algorithm configuration. However, their
efficiency decreases as the dimensionality of the problem and the budget of
evaluations increase. Meanwhile, derivative-free optimization methods have
evolved independently in the optimization community. Therefore, we urge to
understand whether cross-fertilization is possible between the two communities,
ML and BBO, i.e., whether algorithms that are heavily used in ML also work well
in BBO and vice versa. Comparative experiments often involve rather small
benchmarks and show visible problems in the experimental setup, such as poor
initialization of baselines, overfitting due to problem-specific setting of
hyperparameters, and low statistical significance.
With this paper, we update and extend a comparative study presented by Hutter
et al. in 2013. We compare BBO tools for ML with more classical heuristics,
first on the well-known BBOB benchmark suite from the COCO environment and then
on Direct Policy Search for OpenAI Gym, a reinforcement learning benchmark. Our
results confirm that BO-based optimizers perform well on both benchmarks when
budgets are limited, albeit with a higher computational cost, while they are
often outperformed by algorithms from other families when the evaluation budget
becomes larger. We also show that some algorithms from the BBO community
perform surprisingly well on ML tasks.
- Abstract（参考訳）: 機械学習(ML)の普及により、ブラックボックス最適化(BBO)など、コンピュータ科学の様々な分野に参入するようになった。
近年の研究は特にベイズ最適化(BO)に関係している。
BOベースのアルゴリズムは、ハイパーパラメータ最適化やより一般的にアルゴリズム構成に使用されるため、MLコミュニティで人気がある。
しかし,問題の次元性や評価予算が増加するにつれて,効率は低下する。
一方、デリバティブフリー最適化手法は、最適化コミュニティにおいて独立して進化してきた。
そこで我々は,ML と BBO の2つのコミュニティ間の交配可能かどうか,すなわちML で多用されているアルゴリズムが BBO でも有効か,その逆かを理解することを望む。
比較実験は、しばしば比較的小さなベンチマークを伴い、ベースラインの初期化の低さ、問題固有のハイパーパラメータの設定による過度な適合、統計的重要性の低さなど、実験的な設定において目に見える問題を示す。
本稿では,2013年にhutterらによって発表された比較研究の更新と拡張を行う。
まず、coco環境から有名なbbobベンチマークスイート、次に強化学習ベンチマークであるopenai gymの直接ポリシー検索について、bbo tools for mlとより古典的なヒューリスティックスを比較した。
提案手法は,予算が限られている場合と,計算コストが高い場合と,評価予算が大きくなる場合と,他の家庭のアルゴリズムに比較して,両ベンチマークで良好に動作することが確認された。
また、BBOコミュニティのアルゴリズムがMLタスクで驚くほどうまく機能していることも示している。
関連論文リスト
- Provably Faster Algorithms for Bilevel Optimization via Without-Replacement Sampling [96.47086913559289]
勾配に基づくアルゴリズムはバイレベル最適化に広く用いられている。
本研究では,より高速な収束率を実現する非置換サンプリングに基づくアルゴリズムを提案する。
合成および実世界の両方のアプリケーションに対してアルゴリズムを検証する。
論文 参考訳（メタデータ） (2024-11-07T17:05:31Z) - $f$-PO: Generalizing Preference Optimization with $f$-divergence Minimization [91.43730624072226]
$f$-POは、既存のアプローチを一般化し拡張する新しいフレームワークである。
ベンチマークデータセットを用いて最先端言語モデルの実験を行う。
論文 参考訳（メタデータ） (2024-10-29T02:11:45Z) - Poisson Process for Bayesian Optimization [126.51200593377739]
本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。
従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
論文 参考訳（メタデータ） (2024-02-05T02:54:50Z) - Comparison of High-Dimensional Bayesian Optimization Algorithms on BBOB [0.40498500266986387]
我々は,5つの最先端高次元BOアルゴリズムと,バニラとCMA-ESを10変数から60変数の範囲で比較した。
本結果は, CMA-ESに対するBOの優位性を確認し, 限られた評価予算について検証した。
論文 参考訳（メタデータ） (2023-03-02T01:14:15Z) - Model-based Causal Bayesian Optimization [78.120734120667]
モデルに基づく因果ベイズ最適化(MCBO)を提案する。
MCBOは介入と逆のペアをモデリングするのではなく、完全なシステムモデルを学ぶ。
標準的なベイズ最適化とは異なり、我々の取得関数は閉形式では評価できない。
論文 参考訳（メタデータ） (2022-11-18T14:28:21Z) - $\pi$BO: Augmenting Acquisition Functions with User Beliefs for Bayesian
Optimization [40.30019289383378]
最適位置に関する事前の信念を取り入れた,取得関数の一般化である$pi$BOを提案する。
従来のアプローチとは対照的に、$pi$BOは概念的にはシンプルで、既存のライブラリや多くの取得関数と簡単に統合できる。
また、一般的なディープラーニングタスクの最先端性能を$pi$BOで改善し、12.5$times$タイム・トゥ・クオリティ・スピードアップを実現した。
論文 参考訳（メタデータ） (2022-04-23T11:07:13Z) - MBORE: Multi-objective Bayesian Optimisation by Density-Ratio Estimation [0.01652719262940403]
最適化問題は、しばしば計算的に、あるいは金銭的にコストがかかる複数の矛盾する目標を持つ。
単代理ベイズ最適化(BO)は、そのようなブラックボックス関数を最適化するための一般的なモデルベースのアプローチである。
BOREによるBOの先行研究を多目的設定に拡張する。
論文 参考訳（メタデータ） (2022-03-31T09:27:59Z) - ES-Based Jacobian Enables Faster Bilevel Optimization [53.675623215542515]
バイレベル最適化(BO)は多くの現代の機械学習問題を解決する強力なツールとして生まれてきた。
既存の勾配法では、ヤコビアンあるいはヘッセンベクトル計算による二階微分近似が必要となる。
本稿では,進化戦略(ES)に基づく新しいBOアルゴリズムを提案し,BOの過勾配における応答ヤコビ行列を近似する。
論文 参考訳（メタデータ） (2021-10-13T19:36:50Z) - Revisiting Bayesian Optimization in the light of the COCO benchmark [1.4467794332678539]
本稿では,共通かつあまり一般的ではない設計選択のbo(gaussian process based)の性能への影響について,大規模な調査を行う。
この研究のために開発されたコードは、RパッケージDiceOptimの新バージョン(v2.1.1)をCRANで利用可能にしている。
論文 参考訳（メタデータ） (2021-03-30T19:45:18Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳（メタデータ） (2020-10-15T18:09:48Z) - Black-Box Optimization Revisited: Improving Algorithm Selection Wizards
through Massive Benchmarking [8.874754363200614]
機械学習のためのブラックボックス最適化の既存の研究は、低い一般化性に悩まされている。
そこで我々は,ブラックボックス最適化の幅広い問題を網羅するベンチマークスイートOptimSuiteを提案する。
ABBOは全てのベンチマークスイートで競合性能を達成する。
論文 参考訳（メタデータ） (2020-10-08T14:17:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。