論文の概要: Extrinsic Bayesian Optimizations on Manifolds
- arxiv url: http://arxiv.org/abs/2212.13886v1
- Date: Wed, 21 Dec 2022 06:10:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-01 14:06:42.023709
- Title: Extrinsic Bayesian Optimizations on Manifolds
- Title(参考訳): 多様体上の極端ベイズ最適化
- Authors: Yihao Fang, Mu Niu, Pokman Cheung, Lizhen Lin
- Abstract要約: オイクリッド多様体上の一般最適化問題に対する外部ベイズ最適化(eBO)フレームワークを提案する。
我々のアプローチは、まず多様体を高次元空間に埋め込むことによって、外部ガウス過程を採用することである。
これにより、複素多様体上の最適化のための効率的でスケーラブルなアルゴリズムが導かれる。
- 参考スコア(独自算出の注目度): 1.3477333339913569
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose an extrinsic Bayesian optimization (eBO) framework for general
optimization problems on manifolds. Bayesian optimization algorithms build a
surrogate of the objective function by employing Gaussian processes and
quantify the uncertainty in that surrogate by deriving an acquisition function.
This acquisition function represents the probability of improvement based on
the kernel of the Gaussian process, which guides the search in the optimization
process. The critical challenge for designing Bayesian optimization algorithms
on manifolds lies in the difficulty of constructing valid covariance kernels
for Gaussian processes on general manifolds. Our approach is to employ
extrinsic Gaussian processes by first embedding the manifold onto some higher
dimensional Euclidean space via equivariant embeddings and then constructing a
valid covariance kernel on the image manifold after the embedding. This leads
to efficient and scalable algorithms for optimization over complex manifolds.
Simulation study and real data analysis are carried out to demonstrate the
utilities of our eBO framework by applying the eBO to various optimization
problems over manifolds such as the sphere, the Grassmannian, and the manifold
of positive definite matrices.
- Abstract(参考訳): 本稿では,多様体上の一般最適化問題に対する外部ベイズ最適化(eBO)フレームワークを提案する。
ベイズ最適化アルゴリズムはガウス過程を用いて目的関数のサロゲートを構築し、そのサロゲートにおける不確実性を取得関数から導出することによって定量化する。
この取得関数は、最適化プロセスにおける探索を導くガウス過程のカーネルに基づく改善の確率を表す。
多様体上のベイズ最適化アルゴリズムを設計する上で重要な課題は、一般多様体上のガウス過程に対して有効な共分散核を構築することの難しさにある。
我々のアプローチは、まず多様体を同変埋め込みを通じて高次元ユークリッド空間に埋め込み、次いで埋め込み後の像多様体上に有効な共分散核を構築することによって、外部ガウス過程を採用することである。
これにより、複素多様体上の最適化のための効率的でスケーラブルなアルゴリズムが導かれる。
球面, グラスマン多様体, 正定行列多様体などの多様体上の様々な最適化問題に eBO を適用して, eBO フレームワークの有用性を実証するために, シミュレーション研究と実データ解析を行った。
関連論文リスト
- Analyzing and Enhancing the Backward-Pass Convergence of Unrolled
Optimization [50.38518771642365]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。
本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。
Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
論文 参考訳(メタデータ) (2023-12-28T23:15:18Z) - An Empirical Evaluation of Zeroth-Order Optimization Methods on
AI-driven Molecule Optimization [78.36413169647408]
分子目的を最適化するための様々なZO最適化手法の有効性について検討する。
ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。
本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
論文 参考訳(メタデータ) (2022-10-27T01:58:10Z) - On a class of geodesically convex optimization problems solved via
Euclidean MM methods [50.428784381385164]
ユークリッド凸化関数の違いは、統計学と機械学習の異なるタイプの問題の違いとして記述できることを示す。
最終的に、より広い範囲、より広い範囲の作業を支援するのです。
論文 参考訳(メタデータ) (2022-06-22T23:57:40Z) - Geometry-aware Bayesian Optimization in Robotics using Riemannian
Mat\'ern Kernels [64.62221198500467]
ベイズ最適化のための幾何対応カーネルの実装方法を示す。
この技術は、ロボット工学における制御パラメータチューニング、パラメトリックポリシー適応、構造設計に利用できる。
論文 参考訳(メタデータ) (2021-11-02T09:47:22Z) - Bayesian Variational Optimization for Combinatorial Spaces [0.0]
幅広い応用としては、分子、タンパク質、DNA、デバイス構造、量子回路の設計などが挙げられる。
最適解や最適解を見つけるためには、圏空間上の最適化が不可欠である。
本稿では,変分最適化と連続緩和を組み合わせた変分ベイズ最適化手法を提案する。
論文 参考訳(メタデータ) (2020-11-03T20:56:13Z) - Accelerated Algorithms for Convex and Non-Convex Optimization on
Manifolds [9.632674803757475]
距離における凸問題と非最適化問題の解法を提案する。
提案アルゴリズムは,目的関数における複雑性のレベルに適応する。
論文 参考訳(メタデータ) (2020-10-18T02:48:22Z) - Sequential Subspace Search for Functional Bayesian Optimization
Incorporating Experimenter Intuition [63.011641517977644]
本アルゴリズムは,実験者のガウス過程から引き出された一組の引き数で区切られた関数空間の有限次元ランダム部分空間列を生成する。
標準ベイズ最適化は各部分空間に適用され、次の部分空間の出発点(オリジン)として用いられる最良の解である。
シミュレーションおよび実世界の実験,すなわちブラインド関数マッチング,アルミニウム合金の最適析出強化関数の探索,深層ネットワークの学習速度スケジュール最適化において,本アルゴリズムを検証した。
論文 参考訳(メタデータ) (2020-09-08T06:54:11Z) - Global Optimization of Gaussian processes [52.77024349608834]
少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。
このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。
提案手法の順序の順序による時間収束を,総じて低減する。
論文 参考訳(メタデータ) (2020-05-21T20:59:11Z) - A Riemannian Primal-dual Algorithm Based on Proximal Operator and its
Application in Metric Learning [3.511851311025242]
一次変数と双対変数を反復的に最適化する原始双対アルゴリズムを提案する。
提案アルゴリズムの収束を証明し,その非漸近収束率を示す。
ファンドマネージメントにおける最適ファンド選択問題に関する予備実験の結果,有効性が確認された。
論文 参考訳(メタデータ) (2020-05-19T03:31:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。