論文の概要: High Dimensional Bayesian Optimization using Lasso Variable Selection

• arxiv url: http://arxiv.org/abs/2504.01743v1
• Date: Wed, 02 Apr 2025 13:54:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:20:04.393884
• Title: High Dimensional Bayesian Optimization using Lasso Variable Selection
• Title（参考訳）: Lasso変数選択を用いた高次元ベイズ最適化
• Authors: Vu Viet Hoang, Hung The Tran, Sunil Gupta, Vu Nguyen,
• Abstract要約: 本稿では,ガウスプロセスカーネルの長さスケールを推定することにより,重要な変数を識別する新しい手法を提案する。 提案手法は, 最悪の場合において, サブ線形成長率で累積的後悔を達成できることを実証する。 高次元合成関数と実世界の問題に対する実験により,本手法が最先端の性能を達成することを示す。
• 参考スコア（独自算出の注目度）: 9.051539805042651
• License:
• Abstract: Bayesian optimization (BO) is a leading method for optimizing expensive black-box optimization and has been successfully applied across various scenarios. However, BO suffers from the curse of dimensionality, making it challenging to scale to high-dimensional problems. Existing work has adopted a variable selection strategy to select and optimize only a subset of variables iteratively. Although this approach can mitigate the high-dimensional challenge in BO, it still leads to sample inefficiency. To address this issue, we introduce a novel method that identifies important variables by estimating the length scales of Gaussian process kernels. Next, we construct an effective search region consisting of multiple subspaces and optimize the acquisition function within this region, focusing on only the important variables. We demonstrate that our proposed method achieves cumulative regret with a sublinear growth rate in the worst case while maintaining computational efficiency. Experiments on high-dimensional synthetic functions and real-world problems show that our method achieves state-of-the-art performance.
• Abstract（参考訳）: ベイズ最適化(BO)は高価なブラックボックス最適化を最適化する主要な手法であり、様々なシナリオに適用されている。 しかし、BOは次元の呪いに悩まされ、高次元問題へのスケールが困難になる。 既存の作業では、変数のサブセットだけを反復的に選択し、最適化するための変数選択戦略を採用しています。 このアプローチはBOの高次元的課題を軽減することができるが、それでもサンプルの非効率性につながる。 この問題に対処するため,ガウスプロセスカーネルの長さスケールを推定して重要な変数を同定する手法を提案する。 次に、複数の部分空間からなる有効探索領域を構築し、重要な変数のみに着目して、この領域内での取得関数を最適化する。 提案手法は, 計算効率を保ちながら, 最悪の場合において, サブ線形成長率で累積的後悔を達成できることを実証する。 高次元合成関数と実世界の問題に対する実験により,本手法が最先端の性能を達成することを示す。

関連論文リスト

• High-Dimensional Bayesian Optimization Using Both Random and Supervised Embeddings [0.6291443816903801]
  本稿では,小さな次元の線形埋め込み部分空間を組み込んだ高次元最適化手法を提案する。 結果のBO法は、ランダムおよび教師付き線形埋め込みの両方を適応的に組み合わせる。 その結果,高次元ブラックボックス最適化問題に対するEGORSEの有効性が示された。
  論文  参考訳（メタデータ） (2025-02-02T16:57:05Z)
• BOIDS: High-dimensional Bayesian Optimization via Incumbent-guided Direction Lines and Subspace Embeddings [14.558601519561721]
  BOIDSは,一次元方向線列による最適化を導く新しい高次元BOアルゴリズムである。 また,各ラウンドのラインベース最適化に対して最適な行を特定するための適応的選択手法を提案する。 実験の結果,BOIDSは様々な総合的および実世界のベンチマーク問題において,最先端のベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2024-12-17T13:51:24Z)
• Sample-efficient Bayesian Optimisation Using Known Invariances [56.34916328814857]
  バニラと制約付きBOアルゴリズムは、不変目的を最適化する際の非効率性を示す。 我々はこれらの不変カーネルの最大情報ゲインを導出する。 核融合炉用電流駆動システムの設計に本手法を用い, 高性能溶液の探索を行った。
  論文  参考訳（メタデータ） (2024-10-22T12:51:46Z)
• An Adaptive Dimension Reduction Estimation Method for High-dimensional Bayesian Optimization [6.79843988450982]
  BOを高次元設定に拡張するための2段階最適化フレームワークを提案する。 私たちのアルゴリズムは、これらのステップを並列またはシーケンスで操作する柔軟性を提供します。 数値実験により,困難シナリオにおける本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-03-08T16:21:08Z)
• Scalable Bayesian optimization with high-dimensional outputs using randomized prior networks [3.0468934705223774]
  本稿では,確率化された先行するニューラルネットワークの自己ストラップ型アンサンブルに基づくBOとシーケンシャル意思決定のためのディープラーニングフレームワークを提案する。 提案手法は,高次元ベクトル空間や無限次元関数空間の値を取る場合においても,設計変数と関心量の関数的関係を近似することができることを示す。 提案手法をBOの最先端手法に対して検証し,高次元出力の課題に対して優れた性能を示す。
  論文  参考訳（メタデータ） (2023-02-14T18:55:21Z)
• An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
  分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。 本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-10-27T01:58:10Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• Computationally Efficient High-Dimensional Bayesian Optimization via Variable Selection [0.5439020425818999]
  本稿では,変数選択を利用した計算効率の高い高次元BO法を提案する。 提案手法では,選択変数を含む空間を軸整列した部分空間を自動的に学習することができる。 我々は,いくつかの合成および実問題に対する本手法の有効性を実証的に示す。
  論文  参考訳（メタデータ） (2021-09-20T01:55:43Z)
• Sub-linear Regret Bounds for Bayesian Optimisation in Unknown Search Spaces [63.22864716473051]
  本稿では,反復により探索空間を拡大(およびシフト)する新しいBOアルゴリズムを提案する。 理論的には、どちらのアルゴリズムにおいても、累積的後悔は線形以下の速度で増大する。
  論文  参考訳（メタデータ） (2020-09-05T14:24:40Z)
• Learning to Guide Random Search [111.71167792453473]
  我々は、潜在低次元多様体上の高次元関数の微分自由最適化を考える。 最適化を行いながらこの多様体を学習するオンライン学習手法を開発した。 本研究では,連続最適化ベンチマークと高次元連続制御問題について実験的に評価する。
  論文  参考訳（メタデータ） (2020-04-25T19:21:14Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。