論文の概要: Learning Search Space Partition for Black-box Optimization using Monte Carlo Tree Search

• arxiv url: http://arxiv.org/abs/2007.00708v2
• Date: Mon, 14 Mar 2022 03:13:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 21:52:05.986697
• Title: Learning Search Space Partition for Black-box Optimization using Monte Carlo Tree Search
• Title（参考訳）: モンテカルロ木探索を用いたブラックボックス最適化のための探索空間分割学習
• Authors: Linnan Wang, Rodrigo Fonseca, Yuandong Tian
• Abstract要約: 高次元ブラックボックス最適化には幅広い応用があるが、解決するのは難しい問題である。 LaNASのような最近の研究は、Neural Architecture Search(NAS)で優れたパフォーマンスを示している。 LA-MCTSはLaNASを他のドメインに拡張します。
• 参考スコア（独自算出の注目度）: 36.276082603305674
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High dimensional black-box optimization has broad applications but remains a challenging problem to solve. Given a set of samples $\{\vx_i, y_i\}$, building a global model (like Bayesian Optimization (BO)) suffers from the curse of dimensionality in the high-dimensional search space, while a greedy search may lead to sub-optimality. By recursively splitting the search space into regions with high/low function values, recent works like LaNAS shows good performance in Neural Architecture Search (NAS), reducing the sample complexity empirically. In this paper, we coin LA-MCTS that extends LaNAS to other domains. Unlike previous approaches, LA-MCTS learns the partition of the search space using a few samples and their function values in an online fashion. While LaNAS uses linear partition and performs uniform sampling in each region, our LA-MCTS adopts a nonlinear decision boundary and learns a local model to pick good candidates. If the nonlinear partition function and the local model fits well with ground-truth black-box function, then good partitions and candidates can be reached with much fewer samples. LA-MCTS serves as a \emph{meta-algorithm} by using existing black-box optimizers (e.g., BO, TuRBO) as its local models, achieving strong performance in general black-box optimization and reinforcement learning benchmarks, in particular for high-dimensional problems.
• Abstract（参考訳）: 高次元ブラックボックス最適化は幅広い応用があるが、まだ解決が難しい課題である。 サンプルの集合が$\{\vx_i, y_i\}$を与えられた場合、大域的モデル(ベイズ最適化(BO)のような)の構築は高次元の探索空間における次元の呪いに苦しむ。 探索空間を高/低関数値の領域に再帰的に分割することで、LaNASのような最近の研究は、ニューラルネットワークサーチ(NAS)において優れた性能を示し、サンプルの複雑さを経験的に低減している。 本稿では,LaNASを他のドメインに拡張するLA-MCTSを作成した。 従来のアプローチとは異なり、LA-MCTSはいくつかのサンプルと関数値を用いて検索空間の分割をオンライン形式で学習する。 LaNASは線形分割を用いて各領域で一様サンプリングを行うが、LA-MCTSは非線形決定境界を採用し、よい候補を選ぶための局所モデルを学ぶ。 非線形分割関数と局所モデルが基底トラスブラックボックス関数とうまく適合するなら、よい分割と候補はより少ないサンプルで到達することができる。 LA-MCTSは、既存のブラックボックスオプティマイザ(例えばBO、TuRBO)をそのローカルモデルとして使用することで、特に高次元問題に対する一般的なブラックボックス最適化と強化学習ベンチマークにおいて強力な性能を達成することで、emph{meta-algorithm} として機能する。

関連論文リスト

• Multi-Objective Neural Architecture Search by Learning Search Space Partitions [8.4553113915588]
  ニューラルアーキテクチャ探索(NAS)タスクにLaMOOと呼ばれる新しいメタアルゴリズムを実装した。 LaMOOは、観測されたサンプルからモデルを学び、検索空間を分割し、将来性のある領域に集中することによって、検索プロセスを高速化する。 現実世界のタスクでは、LaMOOの精度は97.36%、CIFAR10の#Paramsはわずか600のサンプルで1.62万である。
  論文  参考訳（メタデータ） (2024-06-01T03:51:34Z)
• A Bayesian approach for prompt optimization in pre-trained language models [1.980639720136382]
  本稿では,大規模言語モデル (LLM) へのアクセスを伴ってテキスト入力に追加される離散トークンを直接検索するハードプロンプトチューニング (HPT) に焦点を当てる。 本稿では,pyTorch上に構築されたベイズ最適化研究のためのライブラリであるBoTorchを使用する。
  論文  参考訳（メタデータ） (2023-12-01T10:10:18Z)
• Monte Carlo Tree Search based Variable Selection for High Dimensional Bayesian Optimization [20.56296965542983]
  モンテカルロ木探索(MCTS)に基づく変数選択手法を提案し,変数のサブセットを反復的に選択・最適化する。 高次元合成関数と実世界の問題の実験は、MCTS-VSが最先端の性能を達成できることを示している。
  論文  参考訳（メタデータ） (2022-10-04T14:16:41Z)
• Multi-objective Optimization by Learning Space Partitions [34.84370438997276]
  本稿では,観測サンプルからモデルを学習し,探索空間を分割し,将来性のある領域にフォーカスする,新しい多目的型LaMOOを提案する。 LaMOOは、複数の現実世界のMOOタスクにおいて、強いベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2021-10-07T03:56:19Z)
• Learning Space Partitions for Path Planning [54.475949279050596]
  PlaLaMは2次元ナビゲーションタスクにおける既存の経路計画手法よりも優れており、特に難解な局所最適化の存在下では優れている。 これらは高マルチモーダルな実世界のタスクに移行し、コンパイラフェーズでは最大245%、分子設計では最大0.4の強いベースラインを0-1スケールで上回ります。
  論文  参考訳（メタデータ） (2021-06-19T18:06:11Z)
• Bayesian Optimistic Optimisation with Exponentially Decaying Regret [58.02542541410322]
  現在の実用的なBOアルゴリズムは、$mathcalO(fraclogNsqrtN)$から$mathcalO(e-sqrtN)$まで、$N$は評価の数である。 本稿では,boと木に基づく楽観的楽観化の概念を絡み合うことにより,無音環境における後悔を改善できる可能性について検討する。 次数$mathcal O(N-sqrt)で指数的再帰を達成できる最初の実践的手法であるBOOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-10T13:07:44Z)
• Searching Efficient Model-guided Deep Network for Image Denoising [61.65776576769698]
  モデルガイド設計とNAS(MoD-NAS)をつなぐ新しいアプローチを提案する。 MoD-NASは、再利用可能な幅探索戦略と密結合された探索ブロックを用いて、各層の操作を自動的に選択する。 いくつかの一般的なデータセットに対する実験結果から、我々のMoD-NASは現在の最先端手法よりもPSNR性能が向上していることが示された。
  論文  参考訳（メタデータ） (2021-04-06T14:03:01Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• Hierarchical Dynamic Filtering Network for RGB-D Salient Object Detection [91.43066633305662]
  RGB-D Salient Object Detection (SOD) の主な目的は、相互融合情報をよりよく統合し活用する方法である。 本稿では,これらの問題を新たな視点から考察する。 我々は、より柔軟で効率的なマルチスケールのクロスモーダルな特徴処理を実装している。
  論文  参考訳（メタデータ） (2020-07-13T07:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。