論文の概要: Decreasing the Computing Time of Bayesian Optimization using
Generalizable Memory Pruning
- arxiv url: http://arxiv.org/abs/2309.04510v1
- Date: Fri, 8 Sep 2023 14:05:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-12 17:57:44.371691
- Title: Decreasing the Computing Time of Bayesian Optimization using
Generalizable Memory Pruning
- Title(参考訳): 一般化可能なメモリプルーニングを用いたベイズ最適化の計算時間短縮
- Authors: Alexander E. Siemenn, Tonio Buonassisi
- Abstract要約: 本稿では,任意のサロゲートモデルと取得関数で使用可能なメモリプルーニングとバウンダリ最適化のラッパーを示す。
BOを高次元または大規模データセット上で実行することは、この時間の複雑さのために難解になる。
すべてのモデル実装はMIT Supercloudの最先端コンピューティングハードウェア上で実行される。
- 参考スコア(独自算出の注目度): 56.334116591082896
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bayesian optimization (BO) suffers from long computing times when processing
highly-dimensional or large data sets. These long computing times are a result
of the Gaussian process surrogate model having a polynomial time complexity
with the number of experiments. Running BO on high-dimensional or massive data
sets becomes intractable due to this time complexity scaling, in turn,
hindering experimentation. Alternative surrogate models have been developed to
reduce the computing utilization of the BO procedure, however, these methods
require mathematical alteration of the inherit surrogate function, pigeonholing
use into only that function. In this paper, we demonstrate a generalizable BO
wrapper of memory pruning and bounded optimization, capable of being used with
any surrogate model and acquisition function. Using this memory pruning
approach, we show a decrease in wall-clock computing times per experiment of BO
from a polynomially increasing pattern to a sawtooth pattern that has a
non-increasing trend without sacrificing convergence performance. Furthermore,
we illustrate the generalizability of the approach across two unique data sets,
two unique surrogate models, and four unique acquisition functions. All model
implementations are run on the MIT Supercloud state-of-the-art computing
hardware.
- Abstract(参考訳): ベイズ最適化(BO)は、高次元または大規模なデータセットを処理する際に長い計算時間に悩まされる。
これらの長い計算時間は、実験数と多項式時間の複雑さを持つガウス過程代理モデルの結果である。
BOを高次元または大規模データセット上で実行することは、この時間の複雑さのスケーリングによって困難になり、実験を妨げる。
代替代用代用代用モデルはBO手順の計算利用を減らすために開発されたが、これらの方法は継承代用代用関数の数学的変更を必要とする。
本稿では,任意のサロゲートモデルと取得関数で使用可能な,メモリプルーニングとバウンド最適化の一般化可能なBOラッパーを実証する。
このメモリプルーニング手法を用いて,boの実験当たりの壁時計計算時間を,多項式増加パターンから収束性能を犠牲にすることなく増大しない傾向のノコギリパターンへ減少させることを示した。
さらに,2つのユニークなデータセット,2つのユニークな代理モデル,4つのユニークな獲得関数にまたがるアプローチの一般化可能性について述べる。
すべてのモデル実装はMIT Supercloudの最先端コンピューティングハードウェア上で実行される。
関連論文リスト
- Fast, Scalable, Warm-Start Semidefinite Programming with Spectral
Bundling and Sketching [53.91395791840179]
我々は、大規模なSDPを解くための、証明可能な正確で高速でスケーラブルなアルゴリズムであるUnified Spectral Bundling with Sketching (USBS)を提案する。
USBSは、20億以上の決定変数を持つインスタンス上で、最先端のスケーラブルなSDP解決器よりも500倍のスピードアップを提供する。
論文 参考訳(メタデータ) (2023-12-19T02:27:22Z) - Deep Ensembles Meets Quantile Regression: Uncertainty-aware Imputation
for Time Series [49.992908221544624]
時系列データは、しばしば多くの欠落した値を示し、これは時系列計算タスクである。
従来の深層学習法は時系列計算に有効であることが示されている。
本研究では,不確実性のある高精度な計算を行う非生成時系列計算法を提案する。
論文 参考訳(メタデータ) (2023-12-03T05:52:30Z) - An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。
このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。
本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-09-30T15:57:14Z) - CORE: Common Random Reconstruction for Distributed Optimization with
Provable Low Communication Complexity [110.50364486645852]
コミュニケーションの複雑さは、トレーニングをスピードアップし、マシン番号をスケールアップする上で、大きなボトルネックになっています。
本稿では,機械間で送信される情報を圧縮するための共通Om REOmを提案する。
論文 参考訳(メタデータ) (2023-09-23T08:45:27Z) - Eva: A General Vectorized Approximation Framework for Second-order
Optimization [16.647611352181574]
メモリ効率と時間効率の2次アルゴリズムであるEvaを2つの新しい手法で提案する。
我々はシャーマン・モリソンの公式を使用する逆計算を明示的に行わずに効率的な更新式を導出する。
実験によると、Evaは1次SGDと2次アルゴリズムと比較して、エンドツーエンドのトレーニング時間を2.05倍と2.42倍に短縮する。
論文 参考訳(メタデータ) (2023-08-04T03:51:38Z) - Predictive Modeling through Hyper-Bayesian Optimization [60.586813904500595]
本稿では,モデル選択とBOを統合する新しい手法を提案する。
このアルゴリズムは、モデル空間のBOと関数空間のBOの間を行き来する。
サンプル効率の改善に加えて、ブラックボックス機能に関する情報も出力する。
論文 参考訳(メタデータ) (2023-08-01T04:46:58Z) - Efficient distributed representations beyond negative sampling [4.5687771576879594]
本稿では,分散表現を効率よく学習する手法について述べる。
我々は,sotfmax正規化定数を線形時間で推定でき,効率的な最適化戦略を設計できることを示した。
論文 参考訳(メタデータ) (2023-03-30T15:48:26Z) - An efficient aggregation method for the symbolic representation of
temporal data [0.0]
本稿では,適応的ブラウン橋型アグリゲーション法 (ABBA) の新たな変種であるfABBAを提案する。
この変種は、時系列の断片表現に合わせた新しい集約アプローチを利用する。
従来の手法とは対照的に、新しいアプローチでは事前に指定する時系列シンボルの数を必要としない。
論文 参考訳(メタデータ) (2022-01-14T22:51:24Z) - Bayesian Optimization over Permutation Spaces [30.650753803587794]
BOPS (Permutation Spaces) に対する2つのアルゴリズムの提案と評価を行った。
BOPS-Tの性能を理論的に解析し,その後悔がサブリニアに増加することを示す。
複数の合成および実世界のベンチマーク実験により、BOPS-TとBOPS-Hは、空間に対する最先端のBOアルゴリズムよりも優れた性能を示した。
論文 参考訳(メタデータ) (2021-12-02T08:20:50Z) - High-Dimensional Bayesian Optimization via Tree-Structured Additive
Models [40.497123136157946]
変数の重複部分集合を持つ低次元関数を合成して高次元目標関数をモデル化する一般化加法モデルを検討する。
私たちの目標は、必要な計算リソースを減らし、より高速なモデル学習を促進することです。
我々は,合成関数と実世界のデータセットに関する様々な実験を通して,本手法の有効性を実証し,議論する。
論文 参考訳(メタデータ) (2020-12-24T03:56:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。