論文の概要: Comparing Algorithm Selection Approaches on Black-Box Optimization Problems

• arxiv url: http://arxiv.org/abs/2306.17585v1
• Date: Fri, 30 Jun 2023 12:06:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-03 12:33:44.778810
• Title: Comparing Algorithm Selection Approaches on Black-Box Optimization Problems
• Title（参考訳）: ブラックボックス最適化問題に対するアルゴリズム選択手法の比較
• Authors: Ana Kostovska, Anja Jankovic, Diederick Vermetten, Sa\v{s}o D\v{z}eroski, Tome Eftimov, Carola Doerr
• Abstract要約: 自動ASは、最良のアルゴリズムを推奨するために機械学習(ML)技術に依存している。 さまざまなMLテクニックから最も適切なものを選択するための明確なガイドラインはありません。 2次元の異なる7つのランタイム予算に対するブラックボックス最適化問題に対する最良の解法を予測する作業において、4つのMLモデルを比較した。
• 参考スコア（独自算出の注目度）: 2.3823600586675724
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Performance complementarity of solvers available to tackle black-box optimization problems gives rise to the important task of algorithm selection (AS). Automated AS approaches can help replace tedious and labor-intensive manual selection, and have already shown promising performance in various optimization domains. Automated AS relies on machine learning (ML) techniques to recommend the best algorithm given the information about the problem instance. Unfortunately, there are no clear guidelines for choosing the most appropriate one from a variety of ML techniques. Tree-based models such as Random Forest or XGBoost have consistently demonstrated outstanding performance for automated AS. Transformers and other tabular deep learning models have also been increasingly applied in this context. We investigate in this work the impact of the choice of the ML technique on AS performance. We compare four ML models on the task of predicting the best solver for the BBOB problems for 7 different runtime budgets in 2 dimensions. While our results confirm that a per-instance AS has indeed impressive potential, we also show that the particular choice of the ML technique is of much minor importance.
• Abstract（参考訳）: ブラックボックス最適化問題に対処するために利用可能な解法の性能相補性は、アルゴリズム選択(AS)の重要なタスクを引き起こす。 自動化asアプローチは、退屈で労働集約的な手動選択を置き換えるのに役立ち、さまざまな最適化領域ですでに有望なパフォーマンスを示している。 自動ASは、問題インスタンスに関する情報から最高のアルゴリズムを推奨するために機械学習(ML)技術に依存している。 残念ながら、さまざまなMLテクニックから最も適切なものを選択するための明確なガイドラインはありません。 Random Forest や XGBoost のような木ベースのモデルは、自動ASの性能を一貫して証明している。 トランスフォーマーや他の表型ディープラーニングモデルもこの文脈でますます適用されてきている。 本稿では,ML手法の選択がAS性能に与える影響について検討する。 2次元の異なる7つのランタイム予算に対するBBOB問題の最適解法を予測するタスクにおいて、MLモデルを4つ比較する。 結果から,各インスタンスごとのASが極めて有意な可能性を確認できたが,ML手法の特定の選択が極めて重要であることも示唆された。

関連論文リスト

• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• Reinforced In-Context Black-Box Optimization [64.25546325063272]
  RIBBOは、オフラインデータからエンドツーエンドでBBOアルゴリズムを強化学習する手法である。 RIBBOは、複数の動作アルゴリズムとタスクによって生成される最適化履歴を学習するために、表現的なシーケンスモデルを使用している。 提案手法の中心となるのは,テキストレグレット・ツー・ゴートークンによる最適化履歴の増大である。
  論文  参考訳（メタデータ） (2024-02-27T11:32:14Z)
• Large Language Models as Optimizers [106.52386531624532]
  本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。 各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。 OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
  論文  参考訳（メタデータ） (2023-09-07T00:07:15Z)
• DynamoRep: Trajectory-Based Population Dynamics for Classification of Black-box Optimization Problems [0.755972004983746]
  簡単な統計量を用いて最適化アルゴリズムの軌道を記述する特徴抽出法を提案する。 提案するDynamoRep機能は,最適化アルゴリズムが動作している問題クラスを特定するのに十分な情報を取得する。
  論文  参考訳（メタデータ） (2023-06-08T06:57:07Z)
• An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
  分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。 本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-10-27T01:58:10Z)
• Explainable Landscape Analysis in Automated Algorithm Performance Prediction [0.0]
  自動アルゴリズムの性能予測において,異なる教師付き機械学習モデルによって活用される問題景観の特徴の表現性について検討する。 教師付きML回帰モデルでは,問題ランドスケープの特徴が異なるため,教師付きML手法の選択が重要であることを実験的に指摘した。
  論文  参考訳（メタデータ） (2022-03-22T15:54:17Z)
• Parallel Surrogate-assisted Optimization Using Mesh Adaptive Direct Search [0.0]
  本稿では,メッシュ適応直接探索(MADS)アルゴリズムの探索段階における代理モデルと並列計算を利用する手法を提案する。 我々は、利用可能なCPUリソースに対して、修正MADSアルゴリズムの性能を評価するために数値実験を行う。
  論文  参考訳（メタデータ） (2021-07-26T18:28:56Z)
• Meta Learning Black-Box Population-Based Optimizers [0.0]
  人口ベースのブラックボックス一般化を推論するメタラーニングの利用を提案する。 メタロス関数は,学習アルゴリズムが検索動作を変更することを促進し,新たなコンテキストに容易に適合できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T08:13:25Z)
• Black-Box Optimization Revisited: Improving Algorithm Selection Wizards through Massive Benchmarking [8.874754363200614]
  機械学習のためのブラックボックス最適化の既存の研究は、低い一般化性に悩まされている。 そこで我々は,ブラックボックス最適化の幅広い問題を網羅するベンチマークスイートOptimSuiteを提案する。 ABBOは全てのベンチマークスイートで競合性能を達成する。
  論文  参考訳（メタデータ） (2020-10-08T14:17:30Z)
• Discovering Representations for Black-box Optimization [73.59962178534361]
  ブラックボックス最適化符号化は手作業で行うのではなく,自動的に学習可能であることを示す。 学習された表現は、標準的なMAP-Elitesよりも桁違いに少ない評価で高次元の問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-03-09T20:06:20Z)
• Stepwise Model Selection for Sequence Prediction via Deep Kernel Learning [100.83444258562263]
  本稿では,モデル選択の課題を解決するために,新しいベイズ最適化(BO)アルゴリズムを提案する。 結果として得られる複数のブラックボックス関数の最適化問題を協調的かつ効率的に解くために,ブラックボックス関数間の潜在的な相関を利用する。 我々は、シーケンス予測のための段階的モデル選択(SMS)の問題を初めて定式化し、この目的のために効率的な共同学習アルゴリズムを設計し、実証する。
  論文  参考訳（メタデータ） (2020-01-12T09:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。