論文の概要: SCORE: A 1D Reparameterization Technique to Break Bayesian Optimization's Curse of Dimensionality

• arxiv url: http://arxiv.org/abs/2406.12661v1
• Date: Tue, 18 Jun 2024 14:28:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 18:38:36.947134
• Title: SCORE: A 1D Reparameterization Technique to Break Bayesian Optimization's Curse of Dimensionality
• Title（参考訳）: SCORE:ベイズ最適化の次元曲線を破る1次元再パラメータ化手法
• Authors: Joseph Chakar,
• Abstract要約: この呪文を破り、高次元景観におけるBOの線形時間複雑性を維持するための1次元再パラメータ化手法が提案されている。 SCOREと呼ばれるこの高速でスケーラブルなアプローチは、大域的に最小のニードル・ア・ヘイスタック最適化関数を見つけることができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian optimization (BO) has emerged as a powerful tool for navigating complex search spaces, showcasing practical applications in the fields of science and engineering.However, since it typically relies on a surrogate model to approximate the objective function, BO grapples with heightened computational costs that tend to escalate as the number of parameters and experiments grows. Several methods such as parallelization, surrogate model approximations, and memory pruning have been proposed to cut down computing time, but they all fall short of resolving the core issue behind BO's curse of dimensionality. In this paper, a 1D reparametrization trick is proposed to break this curse and sustain linear time complexity for BO in high-dimensional landscapes. This fast and scalable approach named SCORE can successfully find the global minimum of needle-in-a-haystack optimization functions and fit real-world data without the high-performance computing resources typically required by state-of-the-art techniques.
• Abstract（参考訳）: ベイズ最適化(BO)は複雑な探索空間をナビゲートする強力なツールとして登場し、科学と工学の分野における実践的応用を示すが、目的関数を近似する代理モデルに依存しているため、パラメータや実験の数が増加するにつれてエスカレートする計算コストが増大する傾向にある。 並列化、サロゲートモデル近似、メモリプルーニングといったいくつかの手法が提案され、計算時間を削減しているが、BOの次元性の呪いの根底にある問題の解決には至らなかった。 本稿では, この呪文を破り, 高次元景観におけるBOの線形時間複雑性を持続する1次元再パラメータ化手法を提案する。 SCOREという名前のこの高速でスケーラブルなアプローチは、世界中のニードル・イン・ア・ヘイスタック最適化関数を見つけ出し、最先端技術で通常必要とされる高性能な計算資源を使わずに実世界のデータに適合させることができる。

関連論文リスト

• High-Dimensional Bayesian Optimization via Random Projection of Manifold Subspaces [0.0]
  この問題に取り組むための共通の枠組みは、目的関数が高次元の周囲空間に埋め込まれた低次元多様体上の限られた特徴集合に依存すると仮定することである。 本稿では,目的関数の新たな表現を活用することによって,BOの高次元への新たなアプローチを提案する。 提案手法は, BOの低次元空間における取得関数の効率的な最適化を可能にする。
  論文  参考訳（メタデータ） (2024-12-21T09:41:24Z)
• Dimensionality Reduction Techniques for Global Bayesian Optimisation [1.433758865948252]
  減次元部分空間におけるBOの実行に次元還元を適用した潜在空間ベイズ最適化について検討する。 我々は、より複雑なデータ構造や一般的なDRタスクを管理するために、変分オートエンコーダ(VAE)を使用している。 そこで本研究では,分子生成などのタスク用に設計され,より広い最適化目的のためにアルゴリズムを再構成する実装において,いくつかの重要な補正を提案する。
  論文  参考訳（メタデータ） (2024-12-12T11:27:27Z)
• Decreasing the Computing Time of Bayesian Optimization using Generalizable Memory Pruning [56.334116591082896]
  本稿では,任意のサロゲートモデルと取得関数で使用可能なメモリプルーニングとバウンダリ最適化のラッパーを示す。 BOを高次元または大規模データセット上で実行することは、この時間の複雑さのために難解になる。 すべてのモデル実装はMIT Supercloudの最先端コンピューティングハードウェア上で実行される。
  論文  参考訳（メタデータ） (2023-09-08T14:05:56Z)
• Non-Convex Bilevel Optimization with Time-Varying Objective Functions [57.299128109226025]
  本稿では,時間変化の可能なオンライン二段階最適化を提案し,エージェントがオンラインデータを用いて決定を継続的に更新する。 既存のアルゴリズムと比較して、SOBOWは計算効率が良く、以前の関数を知る必要がない。 軽度条件下では,SOBOWはサブリニアな局所的後悔を達成できることを示す。
  論文  参考訳（メタデータ） (2023-08-07T06:27:57Z)
• Scalable Bayesian optimization with high-dimensional outputs using randomized prior networks [3.0468934705223774]
  本稿では,確率化された先行するニューラルネットワークの自己ストラップ型アンサンブルに基づくBOとシーケンシャル意思決定のためのディープラーニングフレームワークを提案する。 提案手法は,高次元ベクトル空間や無限次元関数空間の値を取る場合においても,設計変数と関心量の関数的関係を近似することができることを示す。 提案手法をBOの最先端手法に対して検証し,高次元出力の課題に対して優れた性能を示す。
  論文  参考訳（メタデータ） (2023-02-14T18:55:21Z)
• Fast Bayesian Optimization of Needle-in-a-Haystack Problems using Zooming Memory-Based Initialization [73.96101108943986]
  Needle-in-a-Haystack問題は、データセットのサイズに対して最適な条件が極端に不均衡であるときに発生する。 本稿では,従来のベイズ最適化原理に基づくズームメモリに基づく初期化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-08-26T23:57:41Z)
• Pre-training helps Bayesian optimization too [49.28382118032923]
  機能的事前設定のための代替的なプラクティスを模索する。 特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。 提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-07-07T04:42:54Z)
• Fighting the curse of dimensionality: A machine learning approach to finding global optima [77.34726150561087]
  本稿では,構造最適化問題におけるグローバル最適化の方法を示す。 特定のコスト関数を利用することで、最適化手順が確立された場合と比較して、グローバルをベストに得るか、最悪の場合、優れた結果を得るかのどちらかを得る。
  論文  参考訳（メタデータ） (2021-10-28T09:50:29Z)
• Computationally Efficient High-Dimensional Bayesian Optimization via Variable Selection [0.5439020425818999]
  本稿では,変数選択を利用した計算効率の高い高次元BO法を提案する。 提案手法では,選択変数を含む空間を軸整列した部分空間を自動的に学習することができる。 我々は,いくつかの合成および実問題に対する本手法の有効性を実証的に示す。
  論文  参考訳（メタデータ） (2021-09-20T01:55:43Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。