論文の概要: Adaptive Linear Embedding for Nonstationary High-Dimensional Optimization
- arxiv url: http://arxiv.org/abs/2505.11281v1
- Date: Fri, 16 May 2025 14:18:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-19 14:36:15.197013
- Title: Adaptive Linear Embedding for Nonstationary High-Dimensional Optimization
- Title（参考訳）: 非定常高次元最適化のための適応線形埋め込み
- Authors: Yuejiang Wen, Paul D. Franzon,
- Abstract要約: Self-Adaptive embedding REMBO (SA-REMBO) はランダムEMBdding Bayesian Optimization (REMBO) を一般化して複数のランダムガウス埋め込みをサポートする新しいフレームワークである。
インデックス変数は埋め込み選択を制御し、サロゲート内の製品カーネルを介して潜伏潜伏子と共同でモデル化される。
従来のREMBO法や他の低ランクBO法が失敗する合成および実世界の高次元ベンチマークにおいて,本手法の利点を実証的に示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bayesian Optimization (BO) in high-dimensional spaces remains fundamentally limited by the curse of dimensionality and the rigidity of global low-dimensional assumptions. While Random EMbedding Bayesian Optimization (REMBO) mitigates this via linear projections into low-dimensional subspaces, it typically assumes a single global embedding and a stationary objective. In this work, we introduce Self-Adaptive embedding REMBO (SA-REMBO), a novel framework that generalizes REMBO to support multiple random Gaussian embeddings, each capturing a different local subspace structure of the high-dimensional objective. An index variable governs the embedding choice and is jointly modeled with the latent optimization variable via a product kernel in a Gaussian Process surrogate. This enables the optimizer to adaptively select embeddings conditioned on location, effectively capturing locally varying effective dimensionality, nonstationarity, and heteroscedasticity in the objective landscape. We theoretically analyze the expressiveness and stability of the index-conditioned product kernel and empirically demonstrate the advantage of our method across synthetic and real-world high-dimensional benchmarks, where traditional REMBO and other low-rank BO methods fail. Our results establish SA-REMBO as a powerful and flexible extension for scalable BO in complex, structured design spaces.
- Abstract（参考訳）: 高次元空間におけるベイズ最適化(BO)は、次元性の呪いと大域的な低次元仮定の剛性によって、基本的に制限されている。
Random EMbedding Bayesian Optimization (REMBO) は低次元部分空間への線型射影を通してこれを緩和するが、通常は単一の大域埋め込みと定常目的を仮定する。
本稿では,複数のランダムなガウス埋め込みをサポートするためにREMBOを一般化した新しいフレームワークであるSelf-Adaptive Embedding REMBO(SA-REMBO)を紹介する。
インデックス変数は埋め込み選択を制御し、ガウスプロセスサロゲート内の製品カーネルを介して潜在最適化変数と共同でモデル化される。
これにより、オプティマイザは、位置で条件付けられた埋め込みを適応的に選択し、目的の風景において局所的に変化する有効次元、非定常性、ヘテロセダスティック性を効果的にキャプチャすることができる。
我々は,インデックス条件付き製品カーネルの表現性と安定性を理論的に解析し,従来のREMBO法や他の低ランクBO法が失敗する合成および実世界の高次元ベンチマークにおいて,本手法の利点を実証的に示す。
以上の結果から,SA-REMBOは複雑で構造化された設計空間におけるスケーラブルBOの強力でフレキシブルな拡張として確立された。
関連論文リスト
- Generalized Tensor-based Parameter-Efficient Fine-Tuning via Lie Group Transformations [50.010924231754856]
さまざまな下流タスクに事前訓練された基礎モデルを適用することは、人工知能のコアプラクティスである。
これを解決するために、LoRAのようなパラメータ効率細調整(PEFT)手法が登場し、研究の焦点となっている。
本稿では,行列型PEFT法を高次元パラメータ空間に拡張する一般化法を提案する。
論文 参考訳（メタデータ） (2025-04-01T14:36:45Z) - Dimensionality Reduction Techniques for Global Bayesian Optimisation [1.433758865948252]
減次元部分空間におけるBOの実行に次元還元を適用した潜在空間ベイズ最適化について検討する。
我々は、より複雑なデータ構造や一般的なDRタスクを管理するために、変分オートエンコーダ(VAE)を使用している。
そこで本研究では,分子生成などのタスク用に設計され,より広い最適化目的のためにアルゴリズムを再構成する実装において,いくつかの重要な補正を提案する。
論文 参考訳（メタデータ） (2024-12-12T11:27:27Z) - An Adaptive Dimension Reduction Estimation Method for High-dimensional
Bayesian Optimization [6.79843988450982]
BOを高次元設定に拡張するための2段階最適化フレームワークを提案する。
私たちのアルゴリズムは、これらのステップを並列またはシーケンスで操作する柔軟性を提供します。
数値実験により,困難シナリオにおける本手法の有効性が検証された。
論文 参考訳（メタデータ） (2024-03-08T16:21:08Z) - Distributional Reduction: Unifying Dimensionality Reduction and Clustering with Gromov-Wasserstein [56.62376364594194]
教師なし学習は、潜在的に大きな高次元データセットの基盤構造を捉えることを目的としている。
本研究では、最適輸送のレンズの下でこれらのアプローチを再検討し、Gromov-Wasserstein問題と関係を示す。
これにより、分散還元と呼ばれる新しい一般的なフレームワークが公開され、DRとクラスタリングを特別なケースとして回復し、単一の最適化問題内でそれらに共同で対処することができる。
論文 参考訳（メタデータ） (2024-02-03T19:00:19Z) - Learning Regions of Interest for Bayesian Optimization with Adaptive
Level-Set Estimation [84.0621253654014]
本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。
理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
論文 参考訳（メタデータ） (2023-07-25T09:45:47Z) - Revisiting GANs by Best-Response Constraint: Perspective, Methodology,
and Application [49.66088514485446]
ベストレスポンス制約(Best-Response Constraint、BRC)は、ジェネレータのディスクリミネータへの依存性を明示的に定式化する一般的な学習フレームワークである。
モチベーションや定式化の相違があっても, フレキシブルBRC法により, 様々なGANが一様に改善できることが示される。
論文 参考訳（メタデータ） (2022-05-20T12:42:41Z) - Sparse Bayesian Optimization [16.867375370457438]
よりスパースで解釈可能な構成を発見できる正規化ベースのアプローチをいくつか提示する。
そこで本研究では,同相連続に基づく新たな微分緩和法を提案し,空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間
スパシティのために効率的に最適化できることが示されています。
論文 参考訳（メタデータ） (2022-03-03T18:25:33Z) - High-Dimensional Bayesian Optimization with Sparse Axis-Aligned
Subspaces [14.03847432040056]
スパース軸整列部分空間上で定義される代理モデルは、柔軟性とパーシモニーの間に魅力的な妥協をもたらすと我々は主張する。
提案手法は,ハミルトニアンモンテカルロを推論に用い,未知の目的関数のモデル化に関連するスパース部分空間を迅速に同定できることを実証する。
論文 参考訳（メタデータ） (2021-02-27T23:06:24Z) - Pushing the Envelope of Rotation Averaging for Visual SLAM [69.7375052440794]
視覚SLAMシステムのための新しい最適化バックボーンを提案する。
従来の単分子SLAMシステムの精度, 効率, 堅牢性を向上させるために, 平均化を活用している。
我々のアプローチは、公開ベンチマークの最先端技術に対して、同等の精度で最大10倍高速に表示することができる。
論文 参考訳（メタデータ） (2020-11-02T18:02:26Z) - High-Dimensional Bayesian Optimization via Nested Riemannian Manifolds [0.0]
本研究では,様々な領域によく現れる非ユークリッド探索空間の幾何学を利用して,構造保存写像を学習することを提案する。
我々のアプローチは、ネストした多様体の埋め込みを共同で学習する幾何学的ガウス過程と、潜在空間における目的関数の表現を特徴付ける。
論文 参考訳（メタデータ） (2020-10-21T11:24:11Z) - Stochastic batch size for adaptive regularization in deep network
optimization [63.68104397173262]
ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。
一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
論文 参考訳（メタデータ） (2020-04-14T07:54:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。