論文の概要: An Adaptive Dimension Reduction Estimation Method for High-dimensional
Bayesian Optimization
- arxiv url: http://arxiv.org/abs/2403.05425v1
- Date: Fri, 8 Mar 2024 16:21:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-11 13:06:08.257838
- Title: An Adaptive Dimension Reduction Estimation Method for High-dimensional
Bayesian Optimization
- Title（参考訳）: 高次元ベイズ最適化のための適応次元削減推定法
- Authors: Shouri Hu, Jiawei Li, and Zhibo Cai
- Abstract要約: BOを高次元設定に拡張するための2段階最適化フレームワークを提案する。
私たちのアルゴリズムは、これらのステップを並列またはシーケンスで操作する柔軟性を提供します。
数値実験により,困難シナリオにおける本手法の有効性が検証された。
- 参考スコア（独自算出の注目度）: 6.79843988450982
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian optimization (BO) has shown impressive results in a variety of
applications within low-to-moderate dimensional Euclidean spaces. However,
extending BO to high-dimensional settings remains a significant challenge. We
address this challenge by proposing a two-step optimization framework.
Initially, we identify the effective dimension reduction (EDR) subspace for the
objective function using the minimum average variance estimation (MAVE) method.
Subsequently, we construct a Gaussian process model within this EDR subspace
and optimize it using the expected improvement criterion. Our algorithm offers
the flexibility to operate these steps either concurrently or in sequence. In
the sequential approach, we meticulously balance the exploration-exploitation
trade-off by distributing the sampling budget between subspace estimation and
function optimization, and the convergence rate of our algorithm in
high-dimensional contexts has been established. Numerical experiments validate
the efficacy of our method in challenging scenarios.
- Abstract（参考訳）: ベイズ最適化(BO)は、低次元ユークリッド空間における様々な応用において印象的な結果を示している。
しかし、BOを高次元に拡張することは大きな課題である。
2段階最適化フレームワークを提案することで、この問題に対処する。
まず、最小平均分散推定法(MAVE)を用いて、目的関数に対する有効次元縮小(EDR)部分空間を同定する。
次に、このEDR部分空間内にガウス過程モデルを構築し、期待される改善基準を用いて最適化する。
私たちのアルゴリズムは、これらのステップを並列またはシーケンスで操作する柔軟性を提供します。
逐次的アプローチでは,部分空間推定と関数最適化の間にサンプリング予算を分散することで探索・探索トレードオフを慎重にバランスさせ,高次元文脈におけるアルゴリズムの収束率を確立した。
数値実験により,本手法の有効性が検証された。
関連論文リスト
- Enhancing Gaussian Process Surrogates for Optimization and Posterior Approximation via Random Exploration [2.984929040246293]
ガウス過程シュロゲートモデルの精度を高めるために、ランダムな探索ステップに依存する新しいノイズフリーベイズ最適化戦略。
新しいアルゴリズムは、古典的なGP-UCBの実装の容易さを維持しているが、さらなる探索がそれらの収束を促進する。
論文 参考訳（メタデータ） (2024-01-30T14:16:06Z) - Improving sample efficiency of high dimensional Bayesian optimization
with MCMC [7.241485121318798]
本稿ではマルコフ・チェイン・モンテカルロに基づく新しい手法を提案する。
提案アルゴリズムのMetropolis-HastingsとLangevin Dynamicsの両バージョンは、高次元逐次最適化および強化学習ベンチマークにおいて最先端の手法より優れていることを示す。
論文 参考訳（メタデータ） (2024-01-05T05:56:42Z) - Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。
これらの問題に対する新規で簡単な最適化法を開発した。
結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
論文 参考訳（メタデータ） (2021-09-23T17:38:24Z) - High dimensional Bayesian Optimization Algorithm for Complex System in
Time Series [1.9371782627708491]
本稿では,新しい高次元ベイズ最適化アルゴリズムを提案する。
モデルの時間依存特性や次元依存特性に基づいて,提案アルゴリズムは次元を均等に低減することができる。
最適解の最終精度を高めるために,提案アルゴリズムは,最終段階におけるアダムに基づく一連のステップに基づく局所探索を追加する。
論文 参考訳（メタデータ） (2021-08-04T21:21:17Z) - Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。
我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。
また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文 参考訳（メタデータ） (2021-07-02T16:21:52Z) - High-Dimensional Bayesian Optimization via Nested Riemannian Manifolds [0.0]
本研究では,様々な領域によく現れる非ユークリッド探索空間の幾何学を利用して,構造保存写像を学習することを提案する。
我々のアプローチは、ネストした多様体の埋め込みを共同で学習する幾何学的ガウス過程と、潜在空間における目的関数の表現を特徴付ける。
論文 参考訳（メタデータ） (2020-10-21T11:24:11Z) - Sequential Subspace Search for Functional Bayesian Optimization
Incorporating Experimenter Intuition [63.011641517977644]
本アルゴリズムは,実験者のガウス過程から引き出された一組の引き数で区切られた関数空間の有限次元ランダム部分空間列を生成する。
標準ベイズ最適化は各部分空間に適用され、次の部分空間の出発点(オリジン)として用いられる最良の解である。
シミュレーションおよび実世界の実験,すなわちブラインド関数マッチング,アルミニウム合金の最適析出強化関数の探索,深層ネットワークの学習速度スケジュール最適化において,本アルゴリズムを検証した。
論文 参考訳（メタデータ） (2020-09-08T06:54:11Z) - Effective Dimension Adaptive Sketching Methods for Faster Regularized
Least-Squares Optimization [56.05635751529922]
スケッチに基づくL2正規化最小二乗問題の解法を提案する。
我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
論文 参考訳（メタデータ） (2020-06-10T15:00:09Z) - Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。
我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。
また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
論文 参考訳（メタデータ） (2020-02-16T09:01:18Z) - Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
適応性は現代最適化理論において重要であるが、研究されていない性質である。
提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
論文 参考訳（メタデータ） (2020-02-13T05:42:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。