論文の概要: Parameter Optimization using high-dimensional Bayesian Optimization
- arxiv url: http://arxiv.org/abs/2010.03955v1
- Date: Mon, 5 Oct 2020 13:13:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 20:56:57.852208
- Title: Parameter Optimization using high-dimensional Bayesian Optimization
- Title（参考訳）: 高次元ベイズ最適化を用いたパラメータ最適化
- Authors: David Yenicelik
- Abstract要約: 我々は、電子加速器のパラメータをチューニングしたり、標準のラップトップとちょうど間に合うように実行し最適化できるより単純なタスクのために、実用的な問題に対する解決策に焦点を合わせます。
主なコントリビューションは1) 実射影行列の角度差に対数類似がどう影響するかを比較し, 得られた行列行列 (2。
4) 行列識別に失敗した場合の単純なフォールバック機構を実現する「BORING」と呼ばれる新しいアルゴリズム。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this thesis, I explore the possibilities of conducting Bayesian
optimization techniques in high dimensional domains. Although high dimensional
domains can be defined to be between hundreds and thousands of dimensions, we
will primarily focus on problem settings that occur between two and 20
dimensions. As such, we focus on solutions to practical problems, such as
tuning the parameters for an electron accelerator, or for even simpler tasks
that can be run and optimized just in time with a standard laptop at hand. Our
main contributions are 1.) comparing how the log-likelihood affects the
angle-difference in the real projection matrix, and the found matrix matrix,
2.) an extensive analysis of current popular methods including strengths and
shortcomings, 3.) a short analysis on how dimensionality reduction techniques
can be used for feature selection, and 4.) a novel algorithm called "BORING",
which allows for a simple fallback mechanism if the matrix identification
fails, as well as taking into consideration "passive" subspaces which provide
small perturbations of the function at hand. The main features of BORING are
1.) the possibility to identify the subspace (unlike most other optimization
algorithms), and 2.) to provide a much lower penalty to identify the subspace
if identification fails, as optimization is still the primary goal.
- Abstract（参考訳）: 本稿では,高次元領域におけるベイズ最適化手法の可能性について考察する。
高次元領域は数百次元から数千次元の間と定義できるが、我々は主に2次元から20次元の間の問題の設定に焦点を当てる。
そのために私たちは、電子加速器のパラメータのチューニングや、手元にある標準的なラップトップにちょうど間に合うように実行および最適化できるよりシンプルなタスクなど、実用的な問題に対するソリューションにフォーカスしています。
私たちの主な貢献は
1) 実射影行列と発見行列行列の角度差が対数類似性がどのように影響するかを比較する。
2) 強み及び欠点を含む現在の一般的な方法の広範な分析。
三 特徴選択に寸法低減技術をどのように使用できるか、及び、その方法に関する短い分析
4.)"BORING"と呼ばれる新しいアルゴリズムは、行列の識別が失敗した場合の単純なフォールバック機構を可能にし、手元の関数の小さな摂動を与える「パッシブ」部分空間を考慮に入れている。
退屈の主な特徴は
1.(他の最適化アルゴリズムとは異なり)部分空間を識別する可能性、及び
2. 最適化が依然として主要な目標であるため、識別が失敗した場合、サブスペースを特定するためのより低いペナルティを提供する。
関連論文リスト
- High dimensional Bayesian Optimization via Condensing-Expansion Projection [1.6355174910200032]
高次元設定では、ベイズ最適化(BO)は高価で実現不可能である。
実効的な部分空間仮定に応答しない高次元BOに対して、新しいランダムなプロジェクションに基づくアプローチを導入する。
実験の結果、どちらのアルゴリズムも既存のランダムな埋め込みに基づくアルゴリズムよりも優れていることがわかった。
論文 参考訳（メタデータ） (2024-08-09T04:47:38Z) - l1-norm regularized l1-norm best-fit lines [3.0963566281269594]
簡単な比率とソート手法を用いた新しいフィッティング法を提案する。
提案アルゴリズムは、O$(n2 m log n)$の最悪の時間複雑性を示し、ある場合にはスパース部分空間に対する大域的最適性を達成する。
論文 参考訳（メタデータ） (2024-02-26T16:30:58Z) - Scalable Bayesian optimization with high-dimensional outputs using
randomized prior networks [3.0468934705223774]
本稿では,確率化された先行するニューラルネットワークの自己ストラップ型アンサンブルに基づくBOとシーケンシャル意思決定のためのディープラーニングフレームワークを提案する。
提案手法は,高次元ベクトル空間や無限次元関数空間の値を取る場合においても,設計変数と関心量の関数的関係を近似することができることを示す。
提案手法をBOの最先端手法に対して検証し,高次元出力の課題に対して優れた性能を示す。
論文 参考訳（メタデータ） (2023-02-14T18:55:21Z) - Linear Embedding-based High-dimensional Batch Bayesian Optimization
without Reconstruction Mappings [21.391136086094225]
本手法は,数千次元のバッチ最適化問題に適用可能であることを示す。
提案手法の有効性を,高次元のベンチマークと実世界の関数で実証する。
論文 参考訳（メタデータ） (2022-11-02T08:11:10Z) - A Dimensionality Reduction Method for Finding Least Favorable Priors
with a Focus on Bregman Divergence [108.28566246421742]
そこで本研究では,次元に明示的な有界な有限次元設定に最適化を移動させることができる次元削減法を開発した。
この問題を進展させるため、比較的大きな損失関数、すなわちブレグマンの発散によって引き起こされるベイズ的リスクに限定する。
論文 参考訳（メタデータ） (2022-02-23T16:22:28Z) - Sparse Quadratic Optimisation over the Stiefel Manifold with Application
to Permutation Synchronisation [71.27989298860481]
二次目的関数を最大化するスティーフェル多様体上の行列を求める非最適化問題に対処する。
そこで本研究では,支配的固有空間行列を求めるための,単純かつ効果的なスパーシティプロモーティングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-09-30T19:17:35Z) - Offline Model-Based Optimization via Normalized Maximum Likelihood
Estimation [101.22379613810881]
データ駆動最適化の問題を検討し、一定の点セットでクエリのみを与えられた関数を最大化する必要がある。
この問題は、関数評価が複雑で高価なプロセスである多くの領域に現れる。
我々は,提案手法を高容量ニューラルネットワークモデルに拡張可能なトラクタブル近似を提案する。
論文 参考訳（メタデータ） (2021-02-16T06:04:27Z) - Effective Dimension Adaptive Sketching Methods for Faster Regularized
Least-Squares Optimization [56.05635751529922]
スケッチに基づくL2正規化最小二乗問題の解法を提案する。
我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
論文 参考訳（メタデータ） (2020-06-10T15:00:09Z) - Projection & Probability-Driven Black-Box Attack [205.9923346080908]
既存のブラックボックス攻撃は、高次元空間における過剰なクエリを必要とする。
本稿では,この問題を解決するために,プロジェクション&確率駆動型ブラックボックス攻撃(PPBA)を提案する。
我々の手法は、最先端の手法に比べて攻撃成功率の高いクエリを少なくとも24%削減する必要がある。
論文 参考訳（メタデータ） (2020-05-08T03:37:50Z) - Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。
このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。
本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。
先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
論文 参考訳（メタデータ） (2020-03-27T06:18:49Z) - Bayesian Optimization for Policy Search in High-Dimensional Systems via
Automatic Domain Selection [1.1240669509034296]
我々は,BOを高次元制御タスクに拡張するために,最適制御による結果を活用することを提案する。
BO問題を単純化するために,学習したダイナミクスモデルをモデルベースコントローラと組み合わせて利用する方法を示す。
本報告では,クワッドコプターの48次元ポリシを含む実ハードウェアおよびシミュレーションタスクについて実験的に評価する。
論文 参考訳（メタデータ） (2020-01-21T09:04:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。