論文の概要: Event-Triggered Time-Varying Bayesian Optimization
- arxiv url: http://arxiv.org/abs/2208.10790v3
- Date: Tue, 27 Jun 2023 14:37:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-28 18:04:59.971354
- Title: Event-Triggered Time-Varying Bayesian Optimization
- Title(参考訳): イベントトリガー時変ベイズ最適化
- Authors: Paul Brunzema, Alexander von Rohr, Friedrich Solowjow, Sebastian
Trimpe
- Abstract要約: ET-GP-UCBは最適化問題を静的として扱い、対象関数の変化をオンラインで検出し、データセットをリセットする。
ET-GP-UCBは, 合成および実世界のデータに対して, 最先端のアルゴリズムより優れていることを示す。
- 参考スコア(独自算出の注目度): 68.26772192227722
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the problem of sequentially optimizing a time-varying objective
function using time-varying Bayesian optimization (TVBO). Here, the key
challenge is the exploration-exploitation trade-off under time variations.
Current approaches to TVBO require prior knowledge of a constant rate of
change. However, in practice, the rate of change is usually unknown. We propose
an event-triggered algorithm, ET-GP-UCB, that treats the optimization problem
as static until it detects changes in the objective function online and then
resets the dataset. This allows the algorithm to adapt to realized temporal
changes without the need for prior knowledge. The event-trigger is based on
probabilistic uniform error bounds used in Gaussian process regression. We
provide regret bounds for ET-GP-UCB and show in numerical experiments that it
outperforms state-of-the-art algorithms on synthetic and real-world data.
Furthermore, these results demonstrate that ET-GP-UCB is readily applicable to
various settings without tuning hyperparameters.
- Abstract(参考訳): 時変ベイズ最適化(tvbo)を用いた時変目的関数の逐次最適化の問題を考える。
ここで重要な課題は、時間変動の下での探査・探査のトレードオフである。
現在のtvboへのアプローチでは、変化率の一定な事前知識が必要である。
しかし、実際には変化の度合いは通常不明である。
本稿では,目的関数のオンライン変更を検知してデータセットをリセットするまで,最適化問題を静的に扱うイベントトリガーアルゴリズムet-gp-ucbを提案する。
これにより、アルゴリズムは事前知識を必要とせずに、実現可能な時間変化に適応することができる。
イベントトリガーは、ガウス過程の回帰で使われる確率的一様誤差境界に基づいている。
我々は,et-gp-ucbに対する後悔の限度を与え,合成および実世界のデータに対する最先端アルゴリズムよりも優れていることを数値実験で示す。
さらに,これらの結果から,ET-GP-UCBはハイパーパラメータを調整せずに様々な設定に容易に適用可能であることが示された。
関連論文リスト
- Informed Spectral Normalized Gaussian Processes for Trajectory Prediction [0.0]
本稿では,SNGPの正規化に基づく連続学習手法を提案する。
提案手法は確立された手法に基づいており,リハーサルメモリやパラメータ拡張を必要としない。
本研究では, 自律運転における軌道予測問題に対する情報SNGPモデルの適用について検討した。
論文 参考訳(メタデータ) (2024-03-18T17:05:24Z) - Provably Efficient Bayesian Optimization with Unbiased Gaussian Process
Hyperparameter Estimation [52.035894372374756]
目的関数の大域的最適値にサブ線形収束できる新しいBO法を提案する。
本手法では,BOプロセスにランダムなデータポイントを追加するために,マルチアームバンディット法 (EXP3) を用いる。
提案手法は, 様々な合成および実世界の問題に対して, 既存の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-12T03:35:45Z) - Adaptive Experimentation at Scale: A Computational Framework for
Flexible Batches [7.390918770007728]
結果がバッチで測定される少数の実測を含む実例によって動機付けられ,適応駆動型実験フレームワークを開発した。
我々の主な観察は、統計的推論において普遍的な正規近似は適応アルゴリズムの設計を導くことができることである。
論文 参考訳(メタデータ) (2023-03-21T04:17:03Z) - Adaptive Sparse Gaussian Process [0.0]
これらの問題に対処できる最初の適応スパースガウスプロセス(GP)を提案する。
まず,変分スパースGPアルゴリズムを変形係数によって適応的に再構成する。
そこで我々は,新しいサンプルが到着するたびに,スパースGPモデルの単一誘導点と残りのモデルパラメータを同時に更新することを提案する。
論文 参考訳(メタデータ) (2023-02-20T21:34:36Z) - A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive
Coding Networks [65.34977803841007]
予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。
シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
論文 参考訳(メタデータ) (2022-11-16T00:11:04Z) - Regret Bounds for Expected Improvement Algorithms in Gaussian Process
Bandit Optimization [63.8557841188626]
期待されている改善(EI)アルゴリズムは、不確実性の下で最適化するための最も一般的な戦略の1つである。
本稿では,GP予測平均を通した標準既存値を持つEIの変種を提案する。
我々のアルゴリズムは収束し、$mathcal O(gamma_TsqrtT)$の累積後悔境界を達成することを示す。
論文 参考訳(メタデータ) (2022-03-15T13:17:53Z) - No-Regret Algorithms for Time-Varying Bayesian Optimization [0.0]
我々は,時間変動環境を捉えるために,一般変動予算モデルを採用する。
R-GP-UCBとSW-GP-UCBの2つのGP-UCB型アルゴリズムを紹介します。
この結果は,線形カーネルを用いた場合の先行線形バンディット結果を回復するだけでなく,時間変動ガウス過程バンディットの先行後悔解析を補完するものである。
論文 参考訳(メタデータ) (2021-02-11T22:35:32Z) - Obtaining Adjustable Regularization for Free via Iterate Averaging [43.75491612671571]
最適化のための正規化は、機械学習の過度な適合を避けるための重要なテクニックである。
我々は、任意の強凸かつ滑らかな対象関数上のSGDの繰り返しを正規化された関数に変換する平均化スキームを確立する。
提案手法は,高速化および事前条件最適化手法にも利用できる。
論文 参考訳(メタデータ) (2020-08-15T15:28:05Z) - Balancing Rates and Variance via Adaptive Batch-Size for Stochastic
Optimization Problems [120.21685755278509]
本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。
ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
論文 参考訳(メタデータ) (2020-07-02T16:02:02Z) - AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。
実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
論文 参考訳(メタデータ) (2020-06-11T16:36:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。