論文の概要: Monte Carlo Tree Search based Space Transfer for Black-box Optimization

• arxiv url: http://arxiv.org/abs/2412.07186v1
• Date: Tue, 10 Dec 2024 04:52:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:38:42.918086
• Title: Monte Carlo Tree Search based Space Transfer for Black-box Optimization
• Title（参考訳）: モンテカルロ木探索によるブラックボックス最適化のための空間移動
• Authors: Shukuan Wang, Ke Xue, Lei Song, Xiaobin Huang, Chao Qian,
• Abstract要約: モンテカルロ木探索(MCTS)に基づく探索空間移動学習法を提案する。 MCTS-transferは,異なる条件下での検索空間転送手法と比較して,優れた性能を示すことを示す。
• 参考スコア（独自算出の注目度）: 24.24309952459957
• License:
• Abstract: Bayesian optimization (BO) is a popular method for computationally expensive black-box optimization. However, traditional BO methods need to solve new problems from scratch, leading to slow convergence. Recent studies try to extend BO to a transfer learning setup to speed up the optimization, where search space transfer is one of the most promising approaches and has shown impressive performance on many tasks. However, existing search space transfer methods either lack an adaptive mechanism or are not flexible enough, making it difficult to efficiently identify promising search space during the optimization process. In this paper, we propose a search space transfer learning method based on Monte Carlo tree search (MCTS), called MCTS-transfer, to iteratively divide, select, and optimize in a learned subspace. MCTS-transfer can not only provide a well-performing search space for warm-start but also adaptively identify and leverage the information of similar source tasks to reconstruct the search space during the optimization process. Experiments on synthetic functions, real-world problems, Design-Bench and hyper-parameter optimization show that MCTS-transfer can demonstrate superior performance compared to other search space transfer methods under different settings. Our code is available at \url{https://github.com/lamda-bbo/mcts-transfer}.
• Abstract（参考訳）: ベイズ最適化(BO)は計算コストの高いブラックボックス最適化の一般的な方法である。 しかし、従来のBO法はゼロから新しい問題を解く必要があり、収束が遅くなる。 近年の研究では、BOを移動学習装置に拡張して最適化を高速化し、検索空間の移動を最も有望なアプローチの1つとし、多くのタスクにおいて顕著な性能を示した。 しかし,既存の探索空間転送手法には適応的な機構が欠如しているか,あるいは十分な柔軟性がないため,最適化プロセス中に有望な探索空間を効率的に特定することは困難である。 本稿では,MCTS-transferと呼ばれるモンテカルロ木探索(MCTS)に基づく探索空間移動学習手法を提案する。 MCTSトランスファーは、ウォームスタートのための優れた検索空間を提供するだけでなく、類似したソースタスクの情報を特定し、活用することで、最適化プロセス中に検索空間を再構築することができる。 合成関数,実世界の問題,デザインベンチ,ハイパーパラメータ最適化の実験により,MCTS-トランスファーは,異なる条件下での検索空間転送法に比べて優れた性能を示すことが示された。 私たちのコードは \url{https://github.com/lamda-bbo/mcts-transfer} で利用可能です。

関連論文リスト

• Sample-Efficient Bayesian Optimization with Transfer Learning for Heterogeneous Search Spaces [12.513822304719602]
  機能評価が極めて少ない環境では、BOを成功させるためには、過去の実験から情報を転送する必要がある。 これらの関連する実験は、全く同じチューナブルパラメータ(探索空間)を持っていないかもしれない。 これらの2つの手法は,いくつかのベンチマーク問題において良好に動作することを示す。
  論文  参考訳（メタデータ） (2024-09-09T04:36:06Z)
• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• Transfer Learning for Bayesian Optimization: A Survey [29.229660973338145]
  ブラックボックス最適化は、このような高価なブラックボックス機能をモデル化し、最適化する強力なツールである。 BOコミュニティの研究者たちは、最適化プロセスの高速化にトランスファーラーニングの精神を取り入れることを提案する。
  論文  参考訳（メタデータ） (2023-02-12T14:37:25Z)
• Massively Parallel Genetic Optimization through Asynchronous Propagation of Populations [50.591267188664666]
  Propulateは、グローバル最適化のための進化的最適化アルゴリズムとソフトウェアパッケージである。 提案アルゴリズムは, 選択, 突然変異, 交叉, 移動の変種を特徴とする。 Propulateは解の精度を犠牲にすることなく、最大で3桁高速であることがわかった。
  論文  参考訳（メタデータ） (2023-01-20T18:17:34Z)
• Monte Carlo Tree Descent for Black-Box Optimization [10.698553177585973]
  我々は、より高速な最適化のためにサンプルベース降下をさらに統合する方法を研究する。 我々は,モンテカルロ探索木の拡張手法を,頂点における新しい降下法を用いて設計する。 提案アルゴリズムは,多くの挑戦的ベンチマーク問題において,最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-01T22:45:10Z)
• Monte Carlo Tree Search based Variable Selection for High Dimensional Bayesian Optimization [20.56296965542983]
  モンテカルロ木探索(MCTS)に基づく変数選択手法を提案し,変数のサブセットを反復的に選択・最適化する。 高次元合成関数と実世界の問題の実験は、MCTS-VSが最先端の性能を達成できることを示している。
  論文  参考訳（メタデータ） (2022-10-04T14:16:41Z)
• Efficient Non-Parametric Optimizer Search for Diverse Tasks [93.64739408827604]
  興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。 基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。 我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
  論文  参考訳（メタデータ） (2022-09-27T17:51:31Z)
• Learning Space Partitions for Path Planning [54.475949279050596]
  PlaLaMは2次元ナビゲーションタスクにおける既存の経路計画手法よりも優れており、特に難解な局所最適化の存在下では優れている。 これらは高マルチモーダルな実世界のタスクに移行し、コンパイラフェーズでは最大245%、分子設計では最大0.4の強いベースラインを0-1スケールで上回ります。
  論文  参考訳（メタデータ） (2021-06-19T18:06:11Z)
• Sub-linear Regret Bounds for Bayesian Optimisation in Unknown Search Spaces [63.22864716473051]
  本稿では,反復により探索空間を拡大(およびシフト)する新しいBOアルゴリズムを提案する。 理論的には、どちらのアルゴリズムにおいても、累積的後悔は線形以下の速度で増大する。
  論文  参考訳（メタデータ） (2020-09-05T14:24:40Z)
• Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
  大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。 このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。 本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。 先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
  論文  参考訳（メタデータ） (2020-03-27T06:18:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。