Fugu-MT 論文翻訳(概要): Re-Examining Linear Embeddings for High-Dimensional Bayesian Optimization

論文の概要: Re-Examining Linear Embeddings for High-Dimensional Bayesian Optimization

arxiv url: http://arxiv.org/abs/2001.11659v2
Date: Thu, 22 Oct 2020 18:30:08 GMT
ステータス: 処理完了
システム内更新日: 2023-01-05 05:54:14.616886
Title: Re-Examining Linear Embeddings for High-Dimensional Bayesian Optimization
Title（参考訳）: 高次元ベイズ最適化のための線形埋め込みの再検討
Authors: Benjamin Letham, Roberto Calandra, Akshara Rai, Eytan Bakshy
Abstract要約: BOに対する線形埋め込みの使用に関するいくつかの重要な問題と誤解を同定する。本研究では,これらの問題に適切に対処することで,BOの線形埋め込みの有効性が著しく向上することを示す。
参考スコア（独自算出の注目度）: 20.511115436145467
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Bayesian optimization (BO) is a popular approach to optimize expensive-to-evaluate black-box functions. A significant challenge in BO is to scale to high-dimensional parameter spaces while retaining sample efficiency. A solution considered in existing literature is to embed the high-dimensional space in a lower-dimensional manifold, often via a random linear embedding. In this paper, we identify several crucial issues and misconceptions about the use of linear embeddings for BO. We study the properties of linear embeddings from the literature and show that some of the design choices in current approaches adversely impact their performance. We show empirically that properly addressing these issues significantly improves the efficacy of linear embeddings for BO on a range of problems, including learning a gait policy for robot locomotion.
Abstract（参考訳）: ベイズ最適化(BO)は、高価なブラックボックス関数を最適化する一般的な手法である。 BOの重要な課題は、サンプル効率を維持しながら高次元パラメータ空間にスケールすることだ。既存の文献で考慮される解は、高次元空間を低次元多様体(しばしばランダム線型埋め込み)に埋め込むことである。本稿では,boに対する線形埋め込みの利用に関するいくつかの重要な問題と誤解を明らかにする。文献から線形埋め込みの特性について検討し、現在のアプローチにおける設計選択が性能に悪影響を及ぼすことを示す。本研究では,これらの問題に適切に対処することで,ロボットの歩行ポリシーの学習など,さまざまな問題に対するBOの線形埋め込みの有効性が著しく向上することを示す。

関連論文リスト

Large Language Models to Enhance Bayesian Optimization [57.474613739645605]
本稿では,大規模言語モデル(LLM)の能力をベイズ最適化に組み込む新しいアプローチであるLLAMBOを提案する。高いレベルでは、自然言語のBO問題を枠組み化し、LLMが歴史的評価に照らした有望な解を反復的に提案し、評価することを可能にする。以上の結果から,LLAMBOはゼロショットウォームスタートに有効であり,サロゲートモデリングや候補サンプリングの促進,特に観察が不十分な場合の探索の初期段階において有効であることが示唆された。
論文参考訳（メタデータ） (2024-02-06T11:44:06Z)
Scalable Bayesian optimization with high-dimensional outputs using randomized prior networks [3.0468934705223774]
本稿では,確率化された先行するニューラルネットワークの自己ストラップ型アンサンブルに基づくBOとシーケンシャル意思決定のためのディープラーニングフレームワークを提案する。提案手法は,高次元ベクトル空間や無限次元関数空間の値を取る場合においても,設計変数と関心量の関数的関係を近似することができることを示す。提案手法をBOの最先端手法に対して検証し,高次元出力の課題に対して優れた性能を示す。
論文参考訳（メタデータ） (2023-02-14T18:55:21Z)
Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。提案手法はRパッケージプローブに実装されている。
論文参考訳（メタデータ） (2022-09-16T19:15:50Z)
Design-Bench: Benchmarks for Data-Driven Offline Model-Based Optimization [82.02008764719896]
ブラックボックスモデルに基づく最適化問題は、タンパク質、DNA配列、航空機、ロボットの設計など、幅広い領域で広く使われている。本稿では,統合評価プロトコルと最近の手法の参照実装を備えたオフラインMBOのためのベンチマークであるDesign-Benchを提案する。私たちのベンチマークには、生物学、材料科学、ロボット工学における現実世界の最適化問題から派生した、多種多様な現実的なタスクが含まれています。
論文参考訳（メタデータ） (2022-02-17T05:33:27Z)
Computationally Efficient High-Dimensional Bayesian Optimization via Variable Selection [0.5439020425818999]
本稿では,変数選択を利用した計算効率の高い高次元BO法を提案する。提案手法では,選択変数を含む空間を軸整列した部分空間を自動的に学習することができる。我々は,いくつかの合成および実問題に対する本手法の有効性を実証的に示す。
論文参考訳（メタデータ） (2021-09-20T01:55:43Z)
High-Dimensional Bayesian Optimisation with Variational Autoencoders and Deep Metric Learning [119.91679702854499]
本研究では,高次元の入力空間上でベイズ最適化を行うためのディープ・メトリック・ラーニングに基づく手法を提案する。このような帰納バイアスを、利用可能なラベル付きデータの1%だけを用いて達成する。実証的な貢献として、実世界の高次元ブラックボックス最適化問題に対する最先端の結果を示す。
論文参考訳（メタデータ） (2021-06-07T13:35:47Z)
High-Dimensional Bayesian Optimization with Sparse Axis-Aligned Subspaces [14.03847432040056]
スパース軸整列部分空間上で定義される代理モデルは、柔軟性とパーシモニーの間に魅力的な妥協をもたらすと我々は主張する。提案手法は,ハミルトニアンモンテカルロを推論に用い,未知の目的関数のモデル化に関連するスパース部分空間を迅速に同定できることを実証する。
論文参考訳（メタデータ） (2021-02-27T23:06:24Z)
High-Dimensional Bayesian Optimization via Nested Riemannian Manifolds [0.0]
本研究では,様々な領域によく現れる非ユークリッド探索空間の幾何学を利用して,構造保存写像を学習することを提案する。我々のアプローチは、ネストした多様体の埋め込みを共同で学習する幾何学的ガウス過程と、潜在空間における目的関数の表現を特徴付ける。
論文参考訳（メタデータ） (2020-10-21T11:24:11Z)
Sub-linear Regret Bounds for Bayesian Optimisation in Unknown Search Spaces [63.22864716473051]
本稿では,反復により探索空間を拡大(およびシフト)する新しいBOアルゴリズムを提案する。理論的には、どちらのアルゴリズムにおいても、累積的後悔は線形以下の速度で増大する。
論文参考訳（メタデータ） (2020-09-05T14:24:40Z)
Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
論文参考訳（メタデータ） (2020-06-18T19:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。