論文の概要: Automated Random Embedding for Practical Bayesian Optimization with Unknown Effective Dimension

• arxiv url: http://arxiv.org/abs/2605.23473v1
• Date: Fri, 22 May 2026 10:32:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.313866
• Title: Automated Random Embedding for Practical Bayesian Optimization with Unknown Effective Dimension
• Title（参考訳）: 未知の有効次元を用いたベイズ最適化のための自動ランダム埋め込み
• Authors: Hong Qian, Xiang Shu, Xiang Xia, Xuhui Liu, Yangde Fu, Bei Liang, Huibin Wang, Liang Dou,
• Abstract要約: 本稿では,未知の有効次元を持つハイ次元ベイズ最適化のための自動ランダム埋め込みを提案する。 DSEBOは近似と最適化の誤差のバランスが良くなることを示す。
• 参考スコア（独自算出の注目度）: 16.970170082087083
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian optimization is widely employed for optimizing complex black-box functions but struggles with the curse of dimensionality. Random embedding, as a dimension reduction strategy, simplifies tasks that possess the effective dimension by optimizing within a low-dimensional subspace. However, determining the effective dimension of a task in advance remains a significant challenge, which influences the selection of the subspace dimensionality and the optimization performance. Traditional methods use fixed subspace dimensions provided by experts or rely on trial and error to estimate subspace dimensions with resources consumed. To this end, this paper proposes an automated random embedding for high-dimensional Bayesian optimization with unknown effective dimension, called Dynamic Shared Embedding Bayesian Optimization (DSEBO). DSEBO starts with a low dimension and switches to a higher subspace if the solutions in the current subspace show preliminary convergence. DSEBO dynamically determines the dimension of the next subspace based on the quality of the solutions in different subspaces and shares the queried solutions with the new subspace for a better initialization. Theoretically, we derive a regret bound for DSEBO and demonstrate that DSEBO can better balance approximation and optimization errors. Extensive experiments on functions with dimensionality of varying magnitudes and real-world tasks with unknown effective dimensions reveal that, compared with state-of-the-art methods, alternating optimization across different subspaces results in significant improvements in high-dimensional optimization, both in terms of optimization regret and time.
• Abstract（参考訳）: ベイズ最適化は複雑なブラックボックス関数の最適化に広く用いられているが、次元性の呪いに苦慮している。 ランダム埋め込みは次元還元戦略として、低次元部分空間内で最適化することで有効次元を持つタスクを単純化する。 しかし、前もってタスクの有効次元を決定することは大きな課題であり、これは部分空間の次元選択と最適化性能に影響を与える。 従来の手法では、専門家によって提供される固定された部分空間次元を使用するか、あるいは資源を消費する部分空間次元を推定するために試行錯誤に依存する。 そこで本研究では,動的共有埋め込みベイズ最適化 (DSEBO) と呼ばれる,未知の有効次元を持つ高次元ベイズ最適化のための自動ランダム埋め込みを提案する。 DSEBO は低次元から始まり、現在の部分空間の解が予備収束を示す場合、より高い部分空間に切り替える。 DSEBOは、異なる部分空間における解の質に基づいて、次の部分空間の次元を動的に決定し、より優れた初期化のために、クエリされた解を新しい部分空間と共有する。 理論的には、DSEBOに対する後悔の束縛を導出し、DSEBOが近似と最適化誤差のバランスを良くすることを示した。 様々な次元の次元を持つ関数と、未知の有効次元を持つ実世界のタスクに関する広範な実験は、最先端の手法と比較して、異なる部分空間間で最適化を交互に行えば、最適化の後悔と時間の両面で、高次元の最適化が大幅に改善されることを示した。

関連論文リスト

• OrthAlign: Orthogonal Subspace Decomposition for Non-Interfering Multi-Objective Alignment [61.02595549125661]
  大規模言語モデル(LLM)のアライメントは、複数の人間の好みに対処する際に重要なジレンマに直面します。 我々は、優先順位調整における勾配レベルの対立を解決する革新的なアプローチであるOrthAlignを提案する。 我々はOrthAlignが多重目的アライメント後の34.61%から50.89%の最大単一参照改善を実現していることを示す。
  論文  参考訳（メタデータ） (2025-09-29T11:16:30Z)
• Breaking the Frozen Subspace: Importance Sampling for Low-Rank Optimization in LLM Pretraining [43.39070237124361]
  低ランク最適化は、大きな言語モデルのメモリ効率のトレーニングを可能にするための有望なアプローチである。 これらの手法の鍵となる課題は、効果的な軌道を確保するために適切な部分空間を選択することである。 本稿では,LLMプリトレーニングにおける低ランク最適化のための重要サンプリングについて提案する。
  論文  参考訳（メタデータ） (2025-02-09T06:30:19Z)
• High-Dimensional Bayesian Optimization Using Both Random and Supervised Embeddings [0.6291443816903801]
  本稿では,小さな次元の線形埋め込み部分空間を組み込んだ高次元最適化手法を提案する。 結果のBO法は、ランダムおよび教師付き線形埋め込みの両方を適応的に組み合わせる。 その結果,高次元ブラックボックス最適化問題に対するEGORSEの有効性が示された。
  論文  参考訳（メタデータ） (2025-02-02T16:57:05Z)
• BOIDS: High-dimensional Bayesian Optimization via Incumbent-guided Direction Lines and Subspace Embeddings [14.558601519561721]
  BOIDSは,一次元方向線列による最適化を導く新しい高次元BOアルゴリズムである。 また,各ラウンドのラインベース最適化に対して最適な行を特定するための適応的選択手法を提案する。 実験の結果,BOIDSは様々な総合的および実世界のベンチマーク問題において,最先端のベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2024-12-17T13:51:24Z)
• An Adaptive Dimension Reduction Estimation Method for High-dimensional Bayesian Optimization [6.79843988450982]
  BOを高次元設定に拡張するための2段階最適化フレームワークを提案する。 私たちのアルゴリズムは、これらのステップを並列またはシーケンスで操作する柔軟性を提供します。 数値実験により,困難シナリオにおける本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-03-08T16:21:08Z)
• Meta Subspace Optimization [20.69982393658195]
  部分空間最適化法は、大規模最適化問題を低次元部分空間最適化問題の列に還元する魅力的な性質を持つ。 既存のサブスペース最適化フレームワークは、サブスペースの固定更新ポリシーを採用しており、したがって、サブ最適イテレーションであるように見える。 本稿では,各最適化における部分空間行列の決定を可能にする,大規模最適化問題のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-28T07:02:59Z)
• Parameter Optimization using high-dimensional Bayesian Optimization [0.0]
  我々は、電子加速器のパラメータをチューニングしたり、標準のラップトップとちょうど間に合うように実行し最適化できるより単純なタスクのために、実用的な問題に対する解決策に焦点を合わせます。 主なコントリビューションは1) 実射影行列の角度差に対数類似がどう影響するかを比較し, 得られた行列行列 (2。 4) 行列識別に失敗した場合の単純なフォールバック機構を実現する「BORING」と呼ばれる新しいアルゴリズム。
  論文  参考訳（メタデータ） (2020-10-05T13:13:28Z)
• Sequential Subspace Search for Functional Bayesian Optimization Incorporating Experimenter Intuition [63.011641517977644]
  本アルゴリズムは,実験者のガウス過程から引き出された一組の引き数で区切られた関数空間の有限次元ランダム部分空間列を生成する。 標準ベイズ最適化は各部分空間に適用され、次の部分空間の出発点(オリジン)として用いられる最良の解である。 シミュレーションおよび実世界の実験,すなわちブラインド関数マッチング,アルミニウム合金の最適析出強化関数の探索,深層ネットワークの学習速度スケジュール最適化において,本アルゴリズムを検証した。
  論文  参考訳（メタデータ） (2020-09-08T06:54:11Z)
• Sub-linear Regret Bounds for Bayesian Optimisation in Unknown Search Spaces [63.22864716473051]
  本稿では,反復により探索空間を拡大(およびシフト)する新しいBOアルゴリズムを提案する。 理論的には、どちらのアルゴリズムにおいても、累積的後悔は線形以下の速度で増大する。
  論文  参考訳（メタデータ） (2020-09-05T14:24:40Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。