論文の概要: Black-Box Optimization Revisited: Improving Algorithm Selection Wizards
through Massive Benchmarking
- arxiv url: http://arxiv.org/abs/2010.04542v3
- Date: Tue, 23 Feb 2021 10:36:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-09 12:42:27.342553
- Title: Black-Box Optimization Revisited: Improving Algorithm Selection Wizards
through Massive Benchmarking
- Title（参考訳）: black-box optimization revisited - 大規模ベンチマークによるアルゴリズム選択ウィザードの改善
- Authors: Laurent Meunier, Herilalaina Rakotoarison, Pak Kan Wong, Baptiste
Roziere, Jeremy Rapin, Olivier Teytaud, Antoine Moreau, Carola Doerr
- Abstract要約: 機械学習のためのブラックボックス最適化の既存の研究は、低い一般化性に悩まされている。
そこで我々は,ブラックボックス最適化の幅広い問題を網羅するベンチマークスイートOptimSuiteを提案する。
ABBOは全てのベンチマークスイートで競合性能を達成する。
- 参考スコア（独自算出の注目度）: 8.874754363200614
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing studies in black-box optimization for machine learning suffer from
low generalizability, caused by a typically selective choice of problem
instances used for training and testing different optimization algorithms.
Among other issues, this practice promotes overfitting and poor-performing user
guidelines. To address this shortcoming, we propose in this work a benchmark
suite, OptimSuite, which covers a broad range of black-box optimization
problems, ranging from academic benchmarks to real-world applications, from
discrete over numerical to mixed-integer problems, from small to very
large-scale problems, from noisy over dynamic to static problems, etc. We
demonstrate the advantages of such a broad collection by deriving from it
Automated Black Box Optimizer (ABBO), a general-purpose algorithm selection
wizard. Using three different types of algorithm selection techniques, ABBO
achieves competitive performance on all benchmark suites. It significantly
outperforms previous state of the art on some of them, including YABBOB and
LSGO. ABBO relies on many high-quality base components. Its excellent
performance is obtained without any task-specific parametrization.
The OptimSuite benchmark collection, the ABBO wizard and its base solvers
have all been merged into the open-source Nevergrad platform, where they are
available for reproducible research.
- Abstract（参考訳）: 機械学習のブラックボックス最適化に関する既存の研究は、さまざまな最適化アルゴリズムのトレーニングとテストに一般的に使用される問題インスタンスの選択によって引き起こされる、低い一般化性に苦しむ。
このプラクティスは、オーバーフィットとパフォーマンスの悪いユーザガイドラインを促進する。
この欠点に対処するために、我々はベンチマークスイートOptimSuiteを提案する。これは、学術ベンチマークから実世界のアプリケーションまで、離散的なオーバー数値から混合整数問題まで、そして、小さなから非常に大規模な問題まで、動的から静的な問題まで、幅広いブラックボックス最適化問題をカバーしている。
汎用アルゴリズム選択ウィザードであるautomated black box optimizer (abbo) から派生した,このような広範なコレクションの利点を実証する。
ABBOは3種類のアルゴリズム選択技術を用いて、全てのベンチマークスイートで競合性能を達成する。
YABBOBやLSGOなど、過去の作品よりもはるかに優れています。
ABBOは多くの高品質のベースコンポーネントに依存している。
その優れた性能はタスク固有のパラメトリゼーションなしで得られる。
OptimSuiteベンチマークコレクション、ABBOウィザードとそのベースソルバは、すべてオープンソースのNevergradプラットフォームに統合され、再現可能な研究が可能である。
関連論文リスト
- Provably Faster Algorithms for Bilevel Optimization via Without-Replacement Sampling [96.47086913559289]
勾配に基づくアルゴリズムはバイレベル最適化に広く用いられている。
本研究では,より高速な収束率を実現する非置換サンプリングに基づくアルゴリズムを提案する。
合成および実世界の両方のアプリケーションに対してアルゴリズムを検証する。
論文 参考訳（メタデータ） (2024-11-07T17:05:31Z) - Training Greedy Policy for Proposal Batch Selection in Expensive Multi-Objective Combinatorial Optimization [52.80408805368928]
本稿では,バッチ取得のための新しいグリーディ型サブセット選択アルゴリズムを提案する。
赤蛍光タンパク質に関する実験により,提案手法は1.69倍少ないクエリでベースライン性能を達成できることが判明した。
論文 参考訳（メタデータ） (2024-06-21T05:57:08Z) - Reinforced In-Context Black-Box Optimization [64.25546325063272]
RIBBOは、オフラインデータからエンドツーエンドでBBOアルゴリズムを強化学習する手法である。
RIBBOは、複数の動作アルゴリズムとタスクによって生成される最適化履歴を学習するために、表現的なシーケンスモデルを使用している。
提案手法の中心となるのは,テキストレグレット・ツー・ゴートークンによる最適化履歴の増大である。
論文 参考訳（メタデータ） (2024-02-27T11:32:14Z) - Optimizing with Low Budgets: a Comparison on the Black-box Optimization
Benchmarking Suite and OpenAI Gym [2.511157007295545]
Black-box Optimization (BO)アルゴリズムは機械学習(ML)で人気がある
MLのためのBBOツールと、より古典的なCOCOの比較を行う。
BBOコミュニティのアルゴリズムの中には、MLタスクで驚くほどうまく機能するものもある。
論文 参考訳（メタデータ） (2023-09-29T18:33:10Z) - Comparing Algorithm Selection Approaches on Black-Box Optimization
Problems [2.3823600586675724]
自動ASは、最良のアルゴリズムを推奨するために機械学習(ML)技術に依存している。
さまざまなMLテクニックから最も適切なものを選択するための明確なガイドラインはありません。
2次元の異なる7つのランタイム予算に対するブラックボックス最適化問題に対する最良の解法を予測する作業において、4つのMLモデルを比較した。
論文 参考訳（メタデータ） (2023-06-30T12:06:38Z) - Evidence that PUBO outperforms QUBO when solving continuous optimization
problems with the QAOA [4.670374869377859]
量子アルゴリズムによる最適化問題の解決における中核的なステップは、問題の定式化である。
近年の研究では、多くの問題を自然の多項式非制約最適化形式でより効率的に解けることが示されている。
適切なベンチマーク関数の評価では、PUBOの定式化は一般により良い結果をもたらすが、キュービットは少ない。
論文 参考訳（メタデータ） (2023-05-05T09:37:48Z) - Optimizer Amalgamation [124.33523126363728]
私たちは、Amalgamationという新しい問題の研究を動機付けています。"Teacher"アマルガメーションのプールを、より強力な問題固有のパフォーマンスを持つ単一の"学生"にどのように組み合わせるべきなのでしょうか?
まず、勾配降下による解析のプールをアマルガメートする3つの異なるメカニズムを定義する。
また, プロセスの分散を低減するため, 目標を摂動させることでプロセスの安定化を図る。
論文 参考訳（メタデータ） (2022-03-12T16:07:57Z) - On the Assessment of Benchmark Suites for Algorithm Comparison [7.501426386641256]
BBOBスイートのほとんどのベンチマーク関数は、高い難易度(最適化アルゴリズムと比較)と低い差別性を有することを示す。
我々は、ベンチマークスイートの設計を改善することを含む、ベンチマークにおけるIRTの潜在的な使用について論じる。
論文 参考訳（メタデータ） (2021-04-15T11:20:11Z) - Versatile Black-Box Optimization [6.92253842648213]
本稿では,離散的,連続的,ノイズのない,逐次的,並列的なブラックボックス最適化に適したアルゴリズムであるShiwaを提案する。
提案アルゴリズムは,BBOBに匹敵するテストベッドであるYABBOBの競合と実験的に比較し,実世界のテストベッドで検証する。
論文 参考訳（メタデータ） (2020-04-29T08:20:36Z) - Extreme Algorithm Selection With Dyadic Feature Representation [78.13985819417974]
我々は,数千の候補アルゴリズムの固定セットを考慮に入れた,極端なアルゴリズム選択(XAS)の設定を提案する。
我々は、XAS設定に対する最先端のAS技術の適用性を評価し、Dyadic特徴表現を利用したアプローチを提案する。
論文 参考訳（メタデータ） (2020-01-29T09:40:58Z) - Stepwise Model Selection for Sequence Prediction via Deep Kernel
Learning [100.83444258562263]
本稿では,モデル選択の課題を解決するために,新しいベイズ最適化(BO)アルゴリズムを提案する。
結果として得られる複数のブラックボックス関数の最適化問題を協調的かつ効率的に解くために,ブラックボックス関数間の潜在的な相関を利用する。
我々は、シーケンス予測のための段階的モデル選択(SMS)の問題を初めて定式化し、この目的のために効率的な共同学習アルゴリズムを設計し、実証する。
論文 参考訳（メタデータ） (2020-01-12T09:42:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。