論文の概要: Semi-supervised Embedding Learning for High-dimensional Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2005.14601v3
• Date: Mon, 19 Oct 2020 05:36:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-26 22:37:56.504267
• Title: Semi-supervised Embedding Learning for High-dimensional Bayesian Optimization
• Title（参考訳）: 高次元ベイズ最適化のための半教師付き埋め込み学習
• Authors: Jingfan Chen, Guanghui Zhu, Chunfeng Yuan, Yihua Huang
• Abstract要約: 本稿では,半教師付き次元の縮小によりベイズ最適化を反復的に行うための低次元空間を求める新しい枠組みを提案する。 SILBOは、取得関数から取得したラベル付き点とラベルなし点の両方を組み込んで、埋め込み空間学習をガイドする。 SILBOは既存の最先端高次元ベイズ最適化法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 12.238019485880583
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian optimization is a broadly applied methodology to optimize the expensive black-box function. Despite its success, it still faces the challenge from the high-dimensional search space. To alleviate this problem, we propose a novel Bayesian optimization framework (termed SILBO), which finds a low-dimensional space to perform Bayesian optimization iteratively through semi-supervised dimension reduction. SILBO incorporates both labeled points and unlabeled points acquired from the acquisition function to guide the embedding space learning. To accelerate the learning procedure, we present a randomized method for generating the projection matrix. Furthermore, to map from the low-dimensional space to the high-dimensional original space, we propose two mapping strategies: $\text{SILBO}_{FZ}$ and $\text{SILBO}_{FX}$ according to the evaluation overhead of the objective function. Experimental results on both synthetic function and hyperparameter optimization tasks demonstrate that SILBO outperforms the existing state-of-the-art high-dimensional Bayesian optimization methods.
• Abstract（参考訳）: ベイズ最適化は高価なブラックボックス関数を最適化するための広く応用された手法である。 その成功にもかかわらず、それでも高次元検索分野からの挑戦に直面している。 この問題を軽減するために,半教師付き次元還元によりベイズ最適化を反復的に行うための低次元空間を求める新しいベイズ最適化フレームワーク(SILBO)を提案する。 silboは、ラベル付きポイントとラベル付きポイントの両方を取得関数から取得し、埋め込み空間学習をガイドする。 学習手順を高速化するため,プロジェクション行列を生成するランダム化手法を提案する。 さらに、低次元空間から高次元原空間へ写像するために、目的関数の評価オーバーヘッドに応じて、 $\text{SILBO}_{FZ}$ と $\text{SILBO}_{FX}$ の2つの写像戦略を提案する。 合成関数とハイパーパラメータ最適化の双方の実験結果は、SILBOが既存の最先端高次元ベイズ最適化法より優れていることを示す。

関連論文リスト

• High-Dimensional Bayesian Optimization Using Both Random and Supervised Embeddings [0.6291443816903801]
  本稿では,小さな次元の線形埋め込み部分空間を組み込んだ高次元最適化手法を提案する。 結果のBO法は、ランダムおよび教師付き線形埋め込みの両方を適応的に組み合わせる。 その結果,高次元ブラックボックス最適化問題に対するEGORSEの有効性が示された。
  論文  参考訳（メタデータ） (2025-02-02T16:57:05Z)
• High-Dimensional Bayesian Optimization via Random Projection of Manifold Subspaces [0.0]
  この問題に取り組むための共通の枠組みは、目的関数が高次元の周囲空間に埋め込まれた低次元多様体上の限られた特徴集合に依存すると仮定することである。 本稿では,目的関数の新たな表現を活用することによって,BOの高次元への新たなアプローチを提案する。 提案手法は, BOの低次元空間における取得関数の効率的な最適化を可能にする。
  論文  参考訳（メタデータ） (2024-12-21T09:41:24Z)
• BOIDS: High-dimensional Bayesian Optimization via Incumbent-guided Direction Lines and Subspace Embeddings [14.558601519561721]
  BOIDSは,一次元方向線列による最適化を導く新しい高次元BOアルゴリズムである。 また,各ラウンドのラインベース最適化に対して最適な行を特定するための適応的選択手法を提案する。 実験の結果,BOIDSは様々な総合的および実世界のベンチマーク問題において,最先端のベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2024-12-17T13:51:24Z)
• High dimensional Bayesian Optimization via Condensing-Expansion Projection [1.6355174910200032]
  高次元設定では、ベイズ最適化(BO)は高価で実現不可能である。 実効的な部分空間仮定に応答しない高次元BOに対して、新しいランダムなプロジェクションに基づくアプローチを導入する。 実験の結果、どちらのアルゴリズムも既存のランダムな埋め込みに基づくアルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-08-09T04:47:38Z)
• Memory-Efficient Gradient Unrolling for Large-Scale Bi-level Optimization [71.35604981129838]
  双レベル最適化は階層型機械学習問題に対処するための基本的な数学的枠組みとなっている。 従来の勾配に基づく二段階最適化アルゴリズムは、大規模アプリケーションの要求を満たすには不適である。 両レベル最適化のためのメタ勾配の偏りのない近似を実現するための$(textFG)2textU$を導入する。
  論文  参考訳（メタデータ） (2024-06-20T08:21:52Z)
• Bayesian Optimistic Optimisation with Exponentially Decaying Regret [58.02542541410322]
  現在の実用的なBOアルゴリズムは、$mathcalO(fraclogNsqrtN)$から$mathcalO(e-sqrtN)$まで、$N$は評価の数である。 本稿では,boと木に基づく楽観的楽観化の概念を絡み合うことにより,無音環境における後悔を改善できる可能性について検討する。 次数$mathcal O(N-sqrt)で指数的再帰を達成できる最初の実践的手法であるBOOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-10T13:07:44Z)
• High-Dimensional Bayesian Optimization with Sparse Axis-Aligned Subspaces [14.03847432040056]
  スパース軸整列部分空間上で定義される代理モデルは、柔軟性とパーシモニーの間に魅力的な妥協をもたらすと我々は主張する。 提案手法は,ハミルトニアンモンテカルロを推論に用い,未知の目的関数のモデル化に関連するスパース部分空間を迅速に同定できることを実証する。
  論文  参考訳（メタデータ） (2021-02-27T23:06:24Z)
• Sequential Subspace Search for Functional Bayesian Optimization Incorporating Experimenter Intuition [63.011641517977644]
  本アルゴリズムは,実験者のガウス過程から引き出された一組の引き数で区切られた関数空間の有限次元ランダム部分空間列を生成する。 標準ベイズ最適化は各部分空間に適用され、次の部分空間の出発点(オリジン)として用いられる最良の解である。 シミュレーションおよび実世界の実験,すなわちブラインド関数マッチング,アルミニウム合金の最適析出強化関数の探索,深層ネットワークの学習速度スケジュール最適化において,本アルゴリズムを検証した。
  論文  参考訳（メタデータ） (2020-09-08T06:54:11Z)
• Sub-linear Regret Bounds for Bayesian Optimisation in Unknown Search Spaces [63.22864716473051]
  本稿では,反復により探索空間を拡大(およびシフト)する新しいBOアルゴリズムを提案する。 理論的には、どちらのアルゴリズムにおいても、累積的後悔は線形以下の速度で増大する。
  論文  参考訳（メタデータ） (2020-09-05T14:24:40Z)
• Learning to Guide Random Search [111.71167792453473]
  我々は、潜在低次元多様体上の高次元関数の微分自由最適化を考える。 最適化を行いながらこの多様体を学習するオンライン学習手法を開発した。 本研究では,連続最適化ベンチマークと高次元連続制御問題について実験的に評価する。
  論文  参考訳（メタデータ） (2020-04-25T19:21:14Z)
• Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
  大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。 このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。 本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。 先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
  論文  参考訳（メタデータ） (2020-03-27T06:18:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。