論文の概要: Decreasing the Computing Time of Bayesian Optimization using Generalizable Memory Pruning

• arxiv url: http://arxiv.org/abs/2309.04510v1
• Date: Fri, 8 Sep 2023 14:05:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-12 17:57:44.371691
• Title: Decreasing the Computing Time of Bayesian Optimization using Generalizable Memory Pruning
• Title（参考訳）: 一般化可能なメモリプルーニングを用いたベイズ最適化の計算時間短縮
• Authors: Alexander E. Siemenn, Tonio Buonassisi
• Abstract要約: 本稿では,任意のサロゲートモデルと取得関数で使用可能なメモリプルーニングとバウンダリ最適化のラッパーを示す。 BOを高次元または大規模データセット上で実行することは、この時間の複雑さのために難解になる。 すべてのモデル実装はMIT Supercloudの最先端コンピューティングハードウェア上で実行される。
• 参考スコア（独自算出の注目度）: 56.334116591082896
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian optimization (BO) suffers from long computing times when processing highly-dimensional or large data sets. These long computing times are a result of the Gaussian process surrogate model having a polynomial time complexity with the number of experiments. Running BO on high-dimensional or massive data sets becomes intractable due to this time complexity scaling, in turn, hindering experimentation. Alternative surrogate models have been developed to reduce the computing utilization of the BO procedure, however, these methods require mathematical alteration of the inherit surrogate function, pigeonholing use into only that function. In this paper, we demonstrate a generalizable BO wrapper of memory pruning and bounded optimization, capable of being used with any surrogate model and acquisition function. Using this memory pruning approach, we show a decrease in wall-clock computing times per experiment of BO from a polynomially increasing pattern to a sawtooth pattern that has a non-increasing trend without sacrificing convergence performance. Furthermore, we illustrate the generalizability of the approach across two unique data sets, two unique surrogate models, and four unique acquisition functions. All model implementations are run on the MIT Supercloud state-of-the-art computing hardware.
• Abstract（参考訳）: ベイズ最適化(BO)は、高次元または大規模なデータセットを処理する際に長い計算時間に悩まされる。 これらの長い計算時間は、実験数と多項式時間の複雑さを持つガウス過程代理モデルの結果である。 BOを高次元または大規模データセット上で実行することは、この時間の複雑さのスケーリングによって困難になり、実験を妨げる。 代替代用代用代用モデルはBO手順の計算利用を減らすために開発されたが、これらの方法は継承代用代用関数の数学的変更を必要とする。 本稿では,任意のサロゲートモデルと取得関数で使用可能な,メモリプルーニングとバウンド最適化の一般化可能なBOラッパーを実証する。 このメモリプルーニング手法を用いて,boの実験当たりの壁時計計算時間を,多項式増加パターンから収束性能を犠牲にすることなく増大しない傾向のノコギリパターンへ減少させることを示した。 さらに,2つのユニークなデータセット,2つのユニークな代理モデル,4つのユニークな獲得関数にまたがるアプローチの一般化可能性について述べる。 すべてのモデル実装はMIT Supercloudの最先端コンピューティングハードウェア上で実行される。

関連論文リスト

• Optimizing VarLiNGAM for Scalable and Efficient Time Series Causal Discovery [5.430532390358285]
  因果発見は、データの因果関係を特定するように設計されている。 時系列因果発見は、時間的依存と潜在的な時間ラグの影響を考慮する必要があるため、特に困難である。 本研究は大規模データセット処理の実現可能性を大幅に改善する。
  論文  参考訳（メタデータ） (2024-09-09T10:52:58Z)
• SCORE: A 1D Reparameterization Technique to Break Bayesian Optimization's Curse of Dimensionality [0.0]
  この呪文を破り、高次元景観におけるBOの線形時間複雑性を維持するための1次元再パラメータ化手法が提案されている。 SCOREと呼ばれるこの高速でスケーラブルなアプローチは、大域的に最小のニードル・ア・ヘイスタック最適化関数を見つけることができる。
  論文  参考訳（メタデータ） (2024-06-18T14:28:29Z)
• Fast, Scalable, Warm-Start Semidefinite Programming with Spectral Bundling and Sketching [53.91395791840179]
  我々は、大規模なSDPを解くための、証明可能な正確で高速でスケーラブルなアルゴリズムであるUnified Spectral Bundling with Sketching (USBS)を提案する。 USBSは、20億以上の決定変数を持つインスタンス上で、最先端のスケーラブルなSDP解決器よりも500倍のスピードアップを提供する。
  論文  参考訳（メタデータ） (2023-12-19T02:27:22Z)
• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• CORE: Common Random Reconstruction for Distributed Optimization with Provable Low Communication Complexity [110.50364486645852]
  コミュニケーションの複雑さは、トレーニングをスピードアップし、マシン番号をスケールアップする上で、大きなボトルネックになっています。 本稿では,機械間で送信される情報を圧縮するための共通Om REOmを提案する。
  論文  参考訳（メタデータ） (2023-09-23T08:45:27Z)
• Eva: A General Vectorized Approximation Framework for Second-order Optimization [16.647611352181574]
  メモリ効率と時間効率の2次アルゴリズムであるEvaを2つの新しい手法で提案する。 我々はシャーマン・モリソンの公式を使用する逆計算を明示的に行わずに効率的な更新式を導出する。 実験によると、Evaは1次SGDと2次アルゴリズムと比較して、エンドツーエンドのトレーニング時間を2.05倍と2.42倍に短縮する。
  論文  参考訳（メタデータ） (2023-08-04T03:51:38Z)
• Predictive Modeling through Hyper-Bayesian Optimization [60.586813904500595]
  本稿では,モデル選択とBOを統合する新しい手法を提案する。 このアルゴリズムは、モデル空間のBOと関数空間のBOの間を行き来する。 サンプル効率の改善に加えて、ブラックボックス機能に関する情報も出力する。
  論文  参考訳（メタデータ） (2023-08-01T04:46:58Z)
• An efficient aggregation method for the symbolic representation of temporal data [0.0]
  本稿では,適応的ブラウン橋型アグリゲーション法 (ABBA) の新たな変種であるfABBAを提案する。 この変種は、時系列の断片表現に合わせた新しい集約アプローチを利用する。 従来の手法とは対照的に、新しいアプローチでは事前に指定する時系列シンボルの数を必要としない。
  論文  参考訳（メタデータ） (2022-01-14T22:51:24Z)
• Bayesian Optimization over Permutation Spaces [30.650753803587794]
  BOPS (Permutation Spaces) に対する2つのアルゴリズムの提案と評価を行った。 BOPS-Tの性能を理論的に解析し,その後悔がサブリニアに増加することを示す。 複数の合成および実世界のベンチマーク実験により、BOPS-TとBOPS-Hは、空間に対する最先端のBOアルゴリズムよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2021-12-02T08:20:50Z)
• Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature Selection [138.97647716793333]
  再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。 提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
  論文  参考訳（メタデータ） (2020-12-29T04:08:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。