論文の概要: Semi-supervised Embedding Learning for High-dimensional Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2005.14601v3
• Date: Mon, 19 Oct 2020 05:36:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-26 22:37:56.504267
• Title: Semi-supervised Embedding Learning for High-dimensional Bayesian Optimization
• Title（参考訳）: 高次元ベイズ最適化のための半教師付き埋め込み学習
• Authors: Jingfan Chen, Guanghui Zhu, Chunfeng Yuan, Yihua Huang
• Abstract要約: 本稿では,半教師付き次元の縮小によりベイズ最適化を反復的に行うための低次元空間を求める新しい枠組みを提案する。 SILBOは、取得関数から取得したラベル付き点とラベルなし点の両方を組み込んで、埋め込み空間学習をガイドする。 SILBOは既存の最先端高次元ベイズ最適化法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 12.238019485880583
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian optimization is a broadly applied methodology to optimize the expensive black-box function. Despite its success, it still faces the challenge from the high-dimensional search space. To alleviate this problem, we propose a novel Bayesian optimization framework (termed SILBO), which finds a low-dimensional space to perform Bayesian optimization iteratively through semi-supervised dimension reduction. SILBO incorporates both labeled points and unlabeled points acquired from the acquisition function to guide the embedding space learning. To accelerate the learning procedure, we present a randomized method for generating the projection matrix. Furthermore, to map from the low-dimensional space to the high-dimensional original space, we propose two mapping strategies: $\text{SILBO}_{FZ}$ and $\text{SILBO}_{FX}$ according to the evaluation overhead of the objective function. Experimental results on both synthetic function and hyperparameter optimization tasks demonstrate that SILBO outperforms the existing state-of-the-art high-dimensional Bayesian optimization methods.
• Abstract（参考訳）: ベイズ最適化は高価なブラックボックス関数を最適化するための広く応用された手法である。 その成功にもかかわらず、それでも高次元検索分野からの挑戦に直面している。 この問題を軽減するために,半教師付き次元還元によりベイズ最適化を反復的に行うための低次元空間を求める新しいベイズ最適化フレームワーク(SILBO)を提案する。 silboは、ラベル付きポイントとラベル付きポイントの両方を取得関数から取得し、埋め込み空間学習をガイドする。 学習手順を高速化するため,プロジェクション行列を生成するランダム化手法を提案する。 さらに、低次元空間から高次元原空間へ写像するために、目的関数の評価オーバーヘッドに応じて、 $\text{SILBO}_{FZ}$ と $\text{SILBO}_{FX}$ の2つの写像戦略を提案する。 合成関数とハイパーパラメータ最適化の双方の実験結果は、SILBOが既存の最先端高次元ベイズ最適化法より優れていることを示す。

関連論文リスト

• High dimensional Bayesian Optimization via Condensing-Expansion Projection [1.6355174910200032]
  高次元設定では、ベイズ最適化(BO)は高価で実現不可能である。 実効的な部分空間仮定に応答しない高次元BOに対して、新しいランダムなプロジェクションに基づくアプローチを導入する。 実験の結果、どちらのアルゴリズムも既存のランダムな埋め込みに基づくアルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-08-09T04:47:38Z)
• Memory-Efficient Gradient Unrolling for Large-Scale Bi-level Optimization [71.35604981129838]
  従来の勾配に基づく二段階最適化アルゴリズムは、大規模アプリケーションの要求を満たすには不適である。 両レベル最適化のためのメタ勾配の偏りのない近似を実現するための$(textFG)2textU$を導入する。 $(textFG)2textU$は本質的に並列コンピューティングをサポートするように設計されており、大規模分散コンピューティングシステムを効果的に活用することができる。
  論文  参考訳（メタデータ） (2024-06-20T08:21:52Z)
• An Adaptive Dimension Reduction Estimation Method for High-dimensional Bayesian Optimization [6.79843988450982]
  BOを高次元設定に拡張するための2段階最適化フレームワークを提案する。 私たちのアルゴリズムは、これらのステップを並列またはシーケンスで操作する柔軟性を提供します。 数値実験により,困難シナリオにおける本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-03-08T16:21:08Z)
• Computationally Efficient High-Dimensional Bayesian Optimization via Variable Selection [0.5439020425818999]
  本稿では,変数選択を利用した計算効率の高い高次元BO法を提案する。 提案手法では,選択変数を含む空間を軸整列した部分空間を自動的に学習することができる。 我々は,いくつかの合成および実問題に対する本手法の有効性を実証的に示す。
  論文  参考訳（メタデータ） (2021-09-20T01:55:43Z)
• Bayesian Optimistic Optimisation with Exponentially Decaying Regret [58.02542541410322]
  現在の実用的なBOアルゴリズムは、$mathcalO(fraclogNsqrtN)$から$mathcalO(e-sqrtN)$まで、$N$は評価の数である。 本稿では,boと木に基づく楽観的楽観化の概念を絡み合うことにより,無音環境における後悔を改善できる可能性について検討する。 次数$mathcal O(N-sqrt)で指数的再帰を達成できる最初の実践的手法であるBOOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-10T13:07:44Z)
• High-Dimensional Bayesian Optimization with Sparse Axis-Aligned Subspaces [14.03847432040056]
  スパース軸整列部分空間上で定義される代理モデルは、柔軟性とパーシモニーの間に魅力的な妥協をもたらすと我々は主張する。 提案手法は,ハミルトニアンモンテカルロを推論に用い,未知の目的関数のモデル化に関連するスパース部分空間を迅速に同定できることを実証する。
  論文  参考訳（メタデータ） (2021-02-27T23:06:24Z)
• Sequential Subspace Search for Functional Bayesian Optimization Incorporating Experimenter Intuition [63.011641517977644]
  本アルゴリズムは,実験者のガウス過程から引き出された一組の引き数で区切られた関数空間の有限次元ランダム部分空間列を生成する。 標準ベイズ最適化は各部分空間に適用され、次の部分空間の出発点(オリジン)として用いられる最良の解である。 シミュレーションおよび実世界の実験,すなわちブラインド関数マッチング,アルミニウム合金の最適析出強化関数の探索,深層ネットワークの学習速度スケジュール最適化において,本アルゴリズムを検証した。
  論文  参考訳（メタデータ） (2020-09-08T06:54:11Z)
• Sub-linear Regret Bounds for Bayesian Optimisation in Unknown Search Spaces [63.22864716473051]
  本稿では,反復により探索空間を拡大(およびシフト)する新しいBOアルゴリズムを提案する。 理論的には、どちらのアルゴリズムにおいても、累積的後悔は線形以下の速度で増大する。
  論文  参考訳（メタデータ） (2020-09-05T14:24:40Z)
• Learning to Guide Random Search [111.71167792453473]
  我々は、潜在低次元多様体上の高次元関数の微分自由最適化を考える。 最適化を行いながらこの多様体を学習するオンライン学習手法を開発した。 本研究では,連続最適化ベンチマークと高次元連続制御問題について実験的に評価する。
  論文  参考訳（メタデータ） (2020-04-25T19:21:14Z)
• Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
  大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。 このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。 本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。 先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
  論文  参考訳（メタデータ） (2020-03-27T06:18:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。