論文の概要: Vanilla Bayesian Optimization Performs Great in High Dimension

• arxiv url: http://arxiv.org/abs/2402.02229v1
• Date: Sat, 3 Feb 2024 18:19:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 21:15:42.415439
• Title: Vanilla Bayesian Optimization Performs Great in High Dimension
• Title（参考訳）: バニラ・ベイジアン、高次元の最適化を実現
• Authors: Carl Hvarfner and Erik Orm Hellsten and Luigi Nardi
• Abstract要約: 高次元問題はベイズ最適化アルゴリズムのアキレスのヒールと見なされてきた。 既存のアルゴリズムが、モデルの複雑さを下げるレンズを通して、これらの退化にどのように対処しているかを示す。
• 参考スコア（独自算出の注目度）: 6.470817526468553
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-dimensional problems have long been considered the Achilles' heel of Bayesian optimization algorithms. Spurred by the curse of dimensionality, a large collection of algorithms aim to make it more performant in this setting, commonly by imposing various simplifying assumptions on the objective. In this paper, we identify the degeneracies that make vanilla Bayesian optimization poorly suited to high-dimensional tasks, and further show how existing algorithms address these degeneracies through the lens of lowering the model complexity. Moreover, we propose an enhancement to the prior assumptions that are typical to vanilla Bayesian optimization algorithms, which reduces the complexity to manageable levels without imposing structural restrictions on the objective. Our modification - a simple scaling of the Gaussian process lengthscale prior with the dimensionality - reveals that standard Bayesian optimization works drastically better than previously thought in high dimensions, clearly outperforming existing state-of-the-art algorithms on multiple commonly considered real-world high-dimensional tasks.
• Abstract（参考訳）: 高次元問題はベイズ最適化アルゴリズムのアキレスのヒールと見なされてきた。 次元の呪いによって刺激されたアルゴリズムの大規模なコレクションは、目的に対して様々な単純化された仮定を課すことで、この設定においてよりパフォーマンスの高いものにすることを目的としている。 本稿では,バニラベイズ最適化が高次元タスクに不適合となるような不均一性を明らかにするとともに,既存のアルゴリズムがモデル複雑性を低減させるレンズを通してこれらの不均一性に対処する方法を示す。 さらに,バニラベイズ最適化アルゴリズムに典型的な従来の仮定の強化を提案し,目的に構造的制約を課すことなく,管理可能なレベルへの複雑性を低減する。 我々の修正 - 次元に先行するガウス過程の単純なスケーリング - により、標準的なベイズ最適化は、以前考えられていた高次元よりも大幅にうまく機能し、複数の一般的な実世界の高次元タスクにおいて既存の最先端アルゴリズムよりも明らかに優れていることが分かる。

関連論文リスト

• Expected Coordinate Improvement for High-Dimensional Bayesian Optimization [0.0]
  本研究では,高次元ベイズ最適化のための予測座標改善(ECI)基準を提案する。 提案手法では,各イテレーションにおいて最も高いECI値の座標を選択し,座標を反復することで座標を徐々にカバーする。 数値実験により,提案アルゴリズムは5つの最先端高次元BOと比較して,標準的なBOアルゴリズムよりもはるかに優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2024-04-18T05:48:15Z)
• Multiform Evolution for High-Dimensional Problems with Low Effective Dimensionality [36.44425198302701]
  進化的アルゴリズムを高次元最適化問題に拡張する。 全ての定式化を単一のマルチタスク設定に統一するマルチフォーム進化アルゴリズムを開発した。 その結果、目的タスクは様々な低次元探索で進化した解を効率的に再利用することができる。
  論文  参考訳（メタデータ） (2023-12-30T08:13:47Z)
• Scalable Bayesian optimization with high-dimensional outputs using randomized prior networks [3.0468934705223774]
  本稿では,確率化された先行するニューラルネットワークの自己ストラップ型アンサンブルに基づくBOとシーケンシャル意思決定のためのディープラーニングフレームワークを提案する。 提案手法は,高次元ベクトル空間や無限次元関数空間の値を取る場合においても,設計変数と関心量の関数的関係を近似することができることを示す。 提案手法をBOの最先端手法に対して検証し,高次元出力の課題に対して優れた性能を示す。
  論文  参考訳（メタデータ） (2023-02-14T18:55:21Z)
• Adaptive Stochastic Optimisation of Nonconvex Composite Objectives [2.1700203922407493]
  一般化された複合ミラー降下アルゴリズムの一群を提案し,解析する。 適応的なステップサイズでは、提案アルゴリズムは問題の事前知識を必要とせずに収束する。 決定集合の低次元構造を高次元問題に活用する。
  論文  参考訳（メタデータ） (2022-11-21T18:31:43Z)
• High dimensional Bayesian Optimization Algorithm for Complex System in Time Series [1.9371782627708491]
  本稿では,新しい高次元ベイズ最適化アルゴリズムを提案する。 モデルの時間依存特性や次元依存特性に基づいて,提案アルゴリズムは次元を均等に低減することができる。 最適解の最終精度を高めるために,提案アルゴリズムは,最終段階におけるアダムに基づく一連のステップに基づく局所探索を追加する。
  論文  参考訳（メタデータ） (2021-08-04T21:21:17Z)
• Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
  1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。 また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
  論文  参考訳（メタデータ） (2021-04-30T08:50:24Z)
• Sub-linear Regret Bounds for Bayesian Optimisation in Unknown Search Spaces [63.22864716473051]
  本稿では,反復により探索空間を拡大(およびシフト)する新しいBOアルゴリズムを提案する。 理論的には、どちらのアルゴリズムにおいても、累積的後悔は線形以下の速度で増大する。
  論文  参考訳（メタデータ） (2020-09-05T14:24:40Z)
• Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
  未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。 最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。 我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:11:54Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)
• Stochastic batch size for adaptive regularization in deep network optimization [63.68104397173262]
  ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。 一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2020-04-14T07:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。