論文の概要: Nonlinear Dimensionality Reduction Techniques for Bayesian Optimization
- arxiv url: http://arxiv.org/abs/2510.15435v1
- Date: Fri, 17 Oct 2025 08:45:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-20 20:17:34.541478
- Title: Nonlinear Dimensionality Reduction Techniques for Bayesian Optimization
- Title（参考訳）: ベイズ最適化のための非線形次元性低減手法
- Authors: Luo Long, Coralia Cartis, Paz Fink Shustin,
- Abstract要約: 低次元ラテント空間BO(LSBO)の列に問題を還元する非線形次元減少手法について検討する。
本稿では,元来分子生成などのタスク用に設計され,より広い最適化のためにアルゴリズムを再構成した実装について述べる。
次に、LSBOと逐次領域還元(SDR)を直接潜時空間(SDR-LSBO)に結合し、証拠が蓄積されるにつれて潜時探索領域を狭めるアルゴリズムを生成する。
- 参考スコア（独自算出の注目度）: 0.9303501974597549
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bayesian optimisation (BO) is a standard approach for sample-efficient global optimisation of expensive black-box functions, yet its scalability to high dimensions remains challenging. Here, we investigate nonlinear dimensionality reduction techniques that reduce the problem to a sequence of low-dimensional Latent-Space BO (LSBO). While early LSBO methods used (linear) random projections (Wang et al., 2013), building on Grosnit et al. (2021), we employ Variational Autoencoders (VAEs) for LSBO, focusing on deep metric loss for structured latent manifolds and VAE retraining to adapt the encoder-decoder to newly sampled regions. We propose some changes in their implementation, originally designed for tasks such as molecule generation, and reformulate the algorithm for broader optimisation purposes. We then couple LSBO with Sequential Domain Reduction (SDR) directly in the latent space (SDR-LSBO), yielding an algorithm that narrows the latent search domains as evidence accumulates. Implemented in a GPU-accelerated BoTorch stack with Matern-5/2 Gaussian process surrogates, our numerical results show improved optimisation quality across benchmark tasks and that structured latent manifolds improve BO performance. Additionally, we compare random embeddings and VAEs as two mechanisms for dimensionality reduction, showing that the latter outperforms the former. To the best of our knowledge, this is the first study to combine SDR with VAE-based LSBO, and our analysis clarifies design choices for metric shaping and retraining that are critical for scalable latent space BO. For reproducibility, our source code is available at https://github.com/L-Lok/Nonlinear-Dimensionality-Reduction-Techniques-for-Bayesian-Optimization.git .
- Abstract（参考訳）: ベイズ最適化(英: Bayesian optimization、BO)は、高価なブラックボックス関数のサンプル効率のよい大域的最適化の標準手法である。
本稿では,低次元ラテント空間BO(LSBO)の列に問題を還元する非線形次元減少手法について検討する。
2021年にGrosnit et al 上に構築された初期のLSBO法では、LSBOに変分オートエンコーダ(VAE)を用い、構造化された潜在多様体の深い距離損失とVAE再学習に着目し、エンコーダ・デコーダを新たにサンプリングされた領域に適応させる。
本稿では,元来分子生成などのタスク用に設計され,より広い最適化のためにアルゴリズムを再構成した実装について述べる。
次に、LSBOと逐次領域還元(SDR)を直接潜時空間(SDR-LSBO)に結合し、証拠が蓄積されるにつれて潜時探索領域を狭めるアルゴリズムを生成する。
Matern-5/2 GaussianプロセスをサロゲートしたGPUアクセラレーションBoTorchスタックに実装した結果,ベンチマークタスク間の最適化品質が向上し,構造付き潜在多様体のBO性能が向上した。
さらに、ランダム埋め込みとVAEを次元還元の2つのメカニズムとして比較し、後者が前者より優れていることを示す。
我々の知る限り、SDRとVAEベースのLSBOを組み合わせた最初の研究であり、我々の分析により、スケーラブルな潜在空間BOにとって重要な計量整形と再トレーニングの設計選択が明確になる。
再現性については、https://github.com/L-Lok/Nonlinear-dimensionality-Reduction-Techniques-for-Bayesian-Optimization.git .comで公開しています。
関連論文リスト
- HiBBO: HiPPO-based Space Consistency for High-dimensional Bayesian Optimisation [23.518990631999884]
HiBBO は、HiPPO を用いた VAE の潜在空間構築に空間整合性を導入する新しい BO フレームワークである。
高次元のベンチマークタスクの実験は、HiBBOが既存のVAEBO法よりも収束速度と解の質で優れていることを示した。
論文 参考訳（メタデータ） (2025-10-10T03:22:10Z) - High-Dimensional Bayesian Optimization via Random Projection of Manifold Subspaces [0.0]
この問題に取り組むための共通の枠組みは、目的関数が高次元の周囲空間に埋め込まれた低次元多様体上の限られた特徴集合に依存すると仮定することである。
本稿では,目的関数の新たな表現を活用することによって,BOの高次元への新たなアプローチを提案する。
提案手法は, BOの低次元空間における取得関数の効率的な最適化を可能にする。
論文 参考訳（メタデータ） (2024-12-21T09:41:24Z) - BOIDS: High-dimensional Bayesian Optimization via Incumbent-guided Direction Lines and Subspace Embeddings [14.558601519561721]
BOIDSは,一次元方向線列による最適化を導く新しい高次元BOアルゴリズムである。
また,各ラウンドのラインベース最適化に対して最適な行を特定するための適応的選択手法を提案する。
実験の結果,BOIDSは様々な総合的および実世界のベンチマーク問題において,最先端のベースラインよりも優れていた。
論文 参考訳（メタデータ） (2024-12-17T13:51:24Z) - Dimensionality Reduction Techniques for Global Bayesian Optimisation [1.433758865948252]
減次元部分空間におけるBOの実行に次元還元を適用した潜在空間ベイズ最適化について検討する。
我々は、より複雑なデータ構造や一般的なDRタスクを管理するために、変分オートエンコーダ(VAE)を使用している。
そこで本研究では,分子生成などのタスク用に設計され,より広い最適化目的のためにアルゴリズムを再構成する実装において,いくつかの重要な補正を提案する。
論文 参考訳（メタデータ） (2024-12-12T11:27:27Z) - Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
本研究では,プルーンドモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する最適化に基づく構造的プルーニングを提案する。
我々は、基底となるベルヌーイ分布をサンプルのバイナリ・プルーニングマスクに学習することでこれを実現する。
LLaMA, LLaMA-2, LLaMA-3, Vicuna, Mistral モデルによる実験により, 本手法の有効性と有効性を示すことができた。
論文 参考訳（メタデータ） (2024-06-15T09:31:03Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Model-based Causal Bayesian Optimization [78.120734120667]
モデルに基づく因果ベイズ最適化(MCBO)を提案する。
MCBOは介入と逆のペアをモデリングするのではなく、完全なシステムモデルを学ぶ。
標準的なベイズ最適化とは異なり、我々の取得関数は閉形式では評価できない。
論文 参考訳（メタデータ） (2022-11-18T14:28:21Z) - Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。
私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。
我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文 参考訳（メタデータ） (2022-09-04T06:45:33Z) - High Dimensional Bayesian Optimization with Kernel Principal Component
Analysis [4.33419118449588]
カーネルPCA支援BO(KPCA-BO)アルゴリズムは,探索空間に非線形部分多様体を埋め込み,この部分多様体上でBOを実行する。
我々は、COCO/BBOBベンチマークスイートのマルチモーダル問題に対して、KPCA-BOとバニラBOとPCA-BOの性能を比較した。
論文 参考訳（メタデータ） (2022-04-28T20:09:02Z) - ES-Based Jacobian Enables Faster Bilevel Optimization [53.675623215542515]
バイレベル最適化(BO)は多くの現代の機械学習問題を解決する強力なツールとして生まれてきた。
既存の勾配法では、ヤコビアンあるいはヘッセンベクトル計算による二階微分近似が必要となる。
本稿では,進化戦略(ES)に基づく新しいBOアルゴリズムを提案し,BOの過勾配における応答ヤコビ行列を近似する。
論文 参考訳（メタデータ） (2021-10-13T19:36:50Z) - Sub-linear Regret Bounds for Bayesian Optimisation in Unknown Search
Spaces [63.22864716473051]
本稿では,反復により探索空間を拡大(およびシフト)する新しいBOアルゴリズムを提案する。
理論的には、どちらのアルゴリズムにおいても、累積的後悔は線形以下の速度で増大する。
論文 参考訳（メタデータ） (2020-09-05T14:24:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。