論文の概要: High-Dimensional Bayesian Optimization via Random Projection of Manifold Subspaces
- arxiv url: http://arxiv.org/abs/2412.16554v1
- Date: Sat, 21 Dec 2024 09:41:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-24 16:00:46.009718
- Title: High-Dimensional Bayesian Optimization via Random Projection of Manifold Subspaces
- Title（参考訳）: 多様体部分空間のランダム射影による高次元ベイズ最適化
- Authors: Quoc-Anh Hoang Nguyen, The Hung Tran,
- Abstract要約: この問題に取り組むための共通の枠組みは、目的関数が高次元の周囲空間に埋め込まれた低次元多様体上の限られた特徴集合に依存すると仮定することである。
本稿では,目的関数の新たな表現を活用することによって,BOの高次元への新たなアプローチを提案する。
提案手法は, BOの低次元空間における取得関数の効率的な最適化を可能にする。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Bayesian Optimization (BO) is a popular approach to optimizing expensive-to-evaluate black-box functions. Despite the success of BO, its performance may decrease exponentially as the dimensionality increases. A common framework to tackle this problem is to assume that the objective function depends on a limited set of features that lie on a low-dimensional manifold embedded in the high-dimensional ambient space. The latent space can be linear or more generally nonlinear. To learn feature mapping, existing works usually use an encode-decoder framework which is either computationally expensive or susceptible to overfittting when the labeled data is limited. This paper proposes a new approach for BO in high dimensions by exploiting a new representation of the objective function. Our approach combines a random linear projection to reduce the dimensionality, with a representation learning of the nonlinear manifold. When the geometry of the latent manifold is available, a solution to exploit this geometry is proposed for representation learning. In contrast, we use a neural network. To mitigate overfitting by using the neural network, we train the feature mapping in a geometry-aware semi-supervised manner. Our approach enables efficient optimizing of BO's acquisition function in the low-dimensional space, with the advantage of projecting back to the original high-dimensional space compared to existing works in the same setting. Finally, we show empirically that our algorithm outperforms other high-dimensional BO baselines in various synthetic functions and real applications.
- Abstract（参考訳）: ベイズ最適化(BO)は、高価なブラックボックス関数を最適化する一般的な手法である。
BOの成功にもかかわらず、その性能は次元が増加するにつれて指数関数的に低下する。
この問題に取り組むための共通の枠組みは、目的関数が高次元の周囲空間に埋め込まれた低次元多様体上の限られた特徴集合に依存すると仮定することである。
潜在空間は線型あるいはより一般に非線形である。
機能マッピングを学習するために、既存の作業は通常、計算コストがかかるかラベル付きデータが制限されたときに過度に適合する可能性があるエンコードデコーダフレームワークを使用する。
本稿では,目的関数の新たな表現を活用することによって,BOの高次元への新たなアプローチを提案する。
この手法は、非線形多様体の表現学習と、ランダムな線形射影を用いて次元を減少させる。
潜在多様体の幾何学が利用可能であれば、この幾何学を利用するための解が表現学習のために提案される。
対照的に、ニューラルネットワークを使用します。
ニューラルネットワークを用いてオーバーフィッティングを緩和するため,幾何を考慮した半教師付き手法で特徴マッピングを訓練する。
提案手法は, BOの低次元空間における取得関数の効率的な最適化を可能にする。
最後に,本アルゴリズムは,様々な合成関数や実応用において,他の高次元BOベースラインよりも優れていることを示す。
関連論文リスト
- High dimensional Bayesian Optimization via Condensing-Expansion Projection [1.6355174910200032]
高次元設定では、ベイズ最適化(BO)は高価で実現不可能である。
実効的な部分空間仮定に応答しない高次元BOに対して、新しいランダムなプロジェクションに基づくアプローチを導入する。
実験の結果、どちらのアルゴリズムも既存のランダムな埋め込みに基づくアルゴリズムよりも優れていることがわかった。
論文 参考訳（メタデータ） (2024-08-09T04:47:38Z) - ParaPoint: Learning Global Free-Boundary Surface Parameterization of 3D Point Clouds [52.03819676074455]
ParaPointは、グローバルな自由境界面パラメータ化を実現するための教師なしのニューラルネットワークパイプラインである。
この研究は、グローバルマッピングと自由境界の両方を追求するニューラルポイントクラウドパラメータ化を調査する最初の試みである。
論文 参考訳（メタデータ） (2024-03-15T14:35:05Z) - The Convex Landscape of Neural Networks: Characterizing Global Optima
and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。
本稿では,凸型神経回復モデルについて検討する。
定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文 参考訳（メタデータ） (2023-12-19T23:04:56Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - Computationally Efficient High-Dimensional Bayesian Optimization via
Variable Selection [0.5439020425818999]
本稿では,変数選択を利用した計算効率の高い高次元BO法を提案する。
提案手法では,選択変数を含む空間を軸整列した部分空間を自動的に学習することができる。
我々は,いくつかの合成および実問題に対する本手法の有効性を実証的に示す。
論文 参考訳（メタデータ） (2021-09-20T01:55:43Z) - A Local Similarity-Preserving Framework for Nonlinear Dimensionality
Reduction with Neural Networks [56.068488417457935]
本稿では,Vec2vecという新しい局所非線形手法を提案する。
ニューラルネットワークを訓練するために、マトリックスの近傍類似度グラフを構築し、データポイントのコンテキストを定義します。
8つの実データセットにおけるデータ分類とクラスタリングの実験により、Vec2vecは統計仮説テストにおける古典的な次元削減法よりも優れていることが示された。
論文 参考訳（メタデータ） (2021-03-10T23:10:47Z) - High-Dimensional Bayesian Optimization with Sparse Axis-Aligned
Subspaces [14.03847432040056]
スパース軸整列部分空間上で定義される代理モデルは、柔軟性とパーシモニーの間に魅力的な妥協をもたらすと我々は主張する。
提案手法は,ハミルトニアンモンテカルロを推論に用い,未知の目的関数のモデル化に関連するスパース部分空間を迅速に同定できることを実証する。
論文 参考訳（メタデータ） (2021-02-27T23:06:24Z) - High-Dimensional Bayesian Optimization via Nested Riemannian Manifolds [0.0]
本研究では,様々な領域によく現れる非ユークリッド探索空間の幾何学を利用して,構造保存写像を学習することを提案する。
我々のアプローチは、ネストした多様体の埋め込みを共同で学習する幾何学的ガウス過程と、潜在空間における目的関数の表現を特徴付ける。
論文 参考訳（メタデータ） (2020-10-21T11:24:11Z) - Sequential Subspace Search for Functional Bayesian Optimization
Incorporating Experimenter Intuition [63.011641517977644]
本アルゴリズムは,実験者のガウス過程から引き出された一組の引き数で区切られた関数空間の有限次元ランダム部分空間列を生成する。
標準ベイズ最適化は各部分空間に適用され、次の部分空間の出発点(オリジン)として用いられる最良の解である。
シミュレーションおよび実世界の実験,すなわちブラインド関数マッチング,アルミニウム合金の最適析出強化関数の探索,深層ネットワークの学習速度スケジュール最適化において,本アルゴリズムを検証した。
論文 参考訳（メタデータ） (2020-09-08T06:54:11Z) - Semi-supervised Embedding Learning for High-dimensional Bayesian
Optimization [12.238019485880583]
本稿では,半教師付き次元の縮小によりベイズ最適化を反復的に行うための低次元空間を求める新しい枠組みを提案する。
SILBOは、取得関数から取得したラベル付き点とラベルなし点の両方を組み込んで、埋め込み空間学習をガイドする。
SILBOは既存の最先端高次元ベイズ最適化法よりも優れていることを示す。
論文 参考訳（メタデータ） (2020-05-29T14:37:12Z) - Learning to Guide Random Search [111.71167792453473]
我々は、潜在低次元多様体上の高次元関数の微分自由最適化を考える。
最適化を行いながらこの多様体を学習するオンライン学習手法を開発した。
本研究では,連続最適化ベンチマークと高次元連続制御問題について実験的に評価する。
論文 参考訳（メタデータ） (2020-04-25T19:21:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。