論文の概要: Switching between Numerical Black-box Optimization Algorithms with Warm-starting Policies

• arxiv url: http://arxiv.org/abs/2204.06539v2
• Date: Thu, 12 Jan 2023 09:34:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-17 02:35:18.722586
• Title: Switching between Numerical Black-box Optimization Algorithms with Warm-starting Policies
• Title（参考訳）: ウォームスタートポリシを用いた数値ブラックボックス最適化アルゴリズムの切り替え
• Authors: Dominik Schr\"oder, Diederick Vermetten, Hao Wang, Carola Doerr, Thomas B\"ack
• Abstract要約: We build on Vermetten et al. [GECCO 2020] to investigate promising switchs between pairs of algorithm for numerical black-box optimization。 2つのアルゴリズムを1つのスイッチで切り替えることで、5つのアルゴリズムの中で最高の静的選択を達成できることが示される。 また,BFGSとCMA-ESの切り替えには,パラメータの適切なウォームスタートが不可欠であることを示す。
• 参考スコア（独自算出の注目度）: 3.967483941966979
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When solving optimization problems with black-box approaches, the algorithms gather valuable information about the problem instance during the optimization process. This information is used to adjust the distributions from which new solution candidates are sampled. In fact, a key objective in evolutionary computation is to identify the most effective ways to collect and exploit instance knowledge. However, while considerable work is devoted to adjusting hyper-parameters of black-box optimization algorithms on the fly or exchanging some of its modular components, we barely know how to effectively switch between different black-box optimization algorithms. In this work, we build on the recent study of Vermetten et al. [GECCO 2020], who presented a data-driven approach to investigate promising switches between pairs of algorithms for numerical black-box optimization. We replicate their approach with a portfolio of five algorithms and investigate whether the predicted performance gains are realized when executing the most promising switches. Our results suggest that with a single switch between two algorithms, we outperform the best static choice among the five algorithms on 48 out of the 120 considered problem instances, the 24 BBOB functions in five different dimensions. We also show that for switching between BFGS and CMA-ES, a proper warm-starting of the parameters is crucial to realize high-performance gains. Lastly, with a sensitivity analysis, we find the actual performance gain per run is largely affected by the switching point, and in some cases, the switching point yielding the best actual performance differs from the one computed from the theoretical gain.
• Abstract（参考訳）: ブラックボックスアプローチで最適化問題を解く際、アルゴリズムは最適化プロセス中に問題インスタンスに関する貴重な情報を収集する。 この情報は、新しいソリューション候補がサンプリングされる分布を調整するために使用される。 実際、進化的計算の重要な目的は、インスタンス知識を収集し活用する最も効果的な方法を特定することである。 しかしながら、ブラックボックス最適化アルゴリズムのハイパーパラメータの調整や、そのモジュラーコンポーネントの交換に多くの作業が費やされているが、ブラックボックス最適化アルゴリズムを効果的に切り替える方法はほとんど分かっていない。 本研究は,最近のVermetten et alの研究を基にしている。 数値ブラックボックス最適化のためのアルゴリズムのペア間を有望に切り替えるデータ駆動手法を提示した[GECCO 2020]。 提案手法を5つのアルゴリズムのポートフォリオで再現し,最も有望なスイッチの実行時に予測性能が向上するかどうかを検証した。 その結果,2つのアルゴリズムを1つのスイッチで切り替えることにより,120個の問題インスタンスのうち48個のアルゴリズムのうち,24個のbbob関数が5つの異なる次元の静的選択よりも優れることが示唆された。 また,bfgsとcma-esの切り替えでは,パラメータの適切なウォームスタートが高性能化に不可欠であることを示す。 最後に, 感度解析により, 1ラン当たりの実際の性能向上は切替点に大きく影響され, 理論的利得から計算したものとは, 最高の実性能を得る切替点が異なる場合がある。

関連論文リスト

• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• Efficient computation of the Knowledge Gradient for Bayesian Optimization [1.0497128347190048]
  One-shot Hybrid KGは、これまで提案されていたアイデアをいくつか組み合わせた新しいアプローチであり、計算が安価で、強力で効率的である。 すべての実験はBOTorchで実施され、同等または改善された性能で計算オーバーヘッドを劇的に削減した。
  論文  参考訳（メタデータ） (2022-09-30T10:39:38Z)
• Per-run Algorithm Selection with Warm-starting using Trajectory-based Features [5.073358743426584]
  インスタンスごとのアルゴリズム選択は、与えられた問題の場合、1つまたは複数の適切なアルゴリズムを推奨する。 提案手法は,実行毎のアルゴリズム選択を行うオンラインアルゴリズム選択方式を提案する。 提案手法は静的なインスタンスごとのアルゴリズム選択よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-20T14:30:42Z)
• Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
  通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。 我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。 我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
  論文  参考訳（メタデータ） (2021-06-08T15:54:44Z)
• Dynamic Cat Swarm Optimization Algorithm for Backboard Wiring Problem [0.9990687944474739]
  本稿では,動的キャット群最適化(Dynamic Cat Swarm Optimization)と呼ばれる,強力な群知能メタヒューリスティック最適化アルゴリズムを提案する。 提案アルゴリズムは,アルゴリズムの選択スキームと探索モードを変更することにより,これらの位相間の適切なバランスを与える新しい手法を提案する。 最適化の結果,提案アルゴリズムの有効性が示された。
  論文  参考訳（メタデータ） (2021-04-27T19:41:27Z)
• Bayesian Algorithm Execution: Estimating Computable Properties of Black-box Functions Using Mutual Information [78.78486761923855]
  多くの現実世界では、T関数の評価の予算を考えると、高価なブラックボックス関数 f の性質を推測したい。 本稿では,アルゴリズムの出力に対して相互情報を最大化するクエリを逐次選択する手法InfoBAXを提案する。 これらの問題に対してInfoBAXは、元のアルゴリズムで要求されるより500倍少ないクエリをfに使用する。
  論文  参考訳（メタデータ） (2021-04-19T17:22:11Z)
• Particle Swarm Optimization: Fundamental Study and its Application to Optimization and to Jetty Scheduling Problems [0.0]
  従来の手法に関する進化的アルゴリズムの利点は、文献で大いに議論されている。 粒子群はそのような利点を共有しているが、計算コストの低減と実装の容易さが要求されるため、進化的アルゴリズムよりも優れている。 本論文は, それらのチューニングについて検討するものではなく, 従来の研究から汎用的な設定を抽出し, 様々な問題を最適化するために, 事実上同じアルゴリズムを用いている。
  論文  参考訳（メタデータ） (2021-01-25T02:06:30Z)
• Divide and Learn: A Divide and Conquer Approach for Predict+Optimize [50.03608569227359]
  予測+最適化問題は、予測係数を使用する最適化プロブレムと、確率係数の機械学習を組み合わせる。 本稿では, 予測係数を1次線形関数として, 最適化問題の損失を直接表現する方法を示す。 本稿では,この制約を伴わずに最適化問題に対処し,最適化損失を用いてその係数を予測する新しい分割アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-04T00:26:56Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)
• Towards Dynamic Algorithm Selection for Numerical Black-Box Optimization: Investigating BBOB as a Use Case [4.33419118449588]
  シングルスウィッチな動的アルゴリズムの選択(dynAS)でさえ、大きな性能向上をもたらす可能性があることを示す。 また、dynASにおける重要な課題についても論じ、BBOBフレームワークがこれらを克服する上で有用なツールになり得ると論じる。
  論文  参考訳（メタデータ） (2020-06-11T16:36:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。