論文の概要: This Too Shall Pass: Removing Stale Observations in Dynamic Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2405.14540v2
• Date: Mon, 21 Oct 2024 16:40:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:14:52.751152
• Title: This Too Shall Pass: Removing Stale Observations in Dynamic Bayesian Optimization
• Title（参考訳）: 動的ベイズ最適化における定常観測の除去
• Authors: Anthony Bardou, Patrick Thiran, Giovanni Ranieri,
• Abstract要約: 我々は、データセットから無関係な観測をその場で除去できるDBOアルゴリズムを構築した。 We establish the superiority of W-DBO which is outperforming state-of-the-art method by a comfortable margin。
• 参考スコア（独自算出の注目度）: 4.6481096949408105
• License:
• Abstract: Bayesian Optimization (BO) has proven to be very successful at optimizing a static, noisy, costly-to-evaluate black-box function $f : \mathcal{S} \to \mathbb{R}$. However, optimizing a black-box which is also a function of time (i.e., a dynamic function) $f : \mathcal{S} \times \mathcal{T} \to \mathbb{R}$ remains a challenge, since a dynamic Bayesian Optimization (DBO) algorithm has to keep track of the optimum over time. This changes the nature of the optimization problem in at least three aspects: (i) querying an arbitrary point in $\mathcal{S} \times \mathcal{T}$ is impossible, (ii) past observations become less and less relevant for keeping track of the optimum as time goes by and (iii) the DBO algorithm must have a high sampling frequency so it can collect enough relevant observations to keep track of the optimum through time. In this paper, we design a Wasserstein distance-based criterion able to quantify the relevancy of an observation with respect to future predictions. Then, we leverage this criterion to build W-DBO, a DBO algorithm able to remove irrelevant observations from its dataset on the fly, thus maintaining simultaneously a good predictive performance and a high sampling frequency, even in continuous-time optimization tasks with unknown horizon. Numerical experiments establish the superiority of W-DBO, which outperforms state-of-the-art methods by a comfortable margin.
• Abstract（参考訳）: ベイズ最適化 (BO) は静的でノイズの多いブラックボックス関数 $f : \mathcal{S} \to \mathbb{R}$ の最適化に成功している。 しかし、時間関数であるブラックボックスを最適化する(つまり、動的関数) $f : \mathcal{S} \times \mathcal{T} \to \mathbb{R}$ は、動的ベイズ最適化(DBO)アルゴリズムが時間とともに最適性を追跡する必要があるため、依然として挑戦である。 これは、最適化問題の性質を少なくとも3つの面で変更する。 (i)$\mathcal{S} \times \mathcal{T}$で任意の点を問うことは不可能である。 (二 時が経つにつれて、過去の観測が最適の追跡に関連しにくくなること。) 3) DBOアルゴリズムはサンプリング周波数が高くなければならず, 時間を通して最適な観測を追跡できる。 本稿では,将来予測に対する観測の妥当性を定量化できるワッサーシュタイン距離に基づく基準を設計する。 そして、この基準を利用してW-DBO(DBOアルゴリズム)を構築する。これは、データセットから無関係な観測をその場で除去し、予測性能とサンプリング周波数を同時に維持できる。 数値実験により、W-DBOの優位性が確立され、より快適なマージンで最先端の手法より優れている。

関連論文リスト

• Voronoi Candidates for Bayesian Optimization [2.7309692684728617]
  多くの実践的なBO法、特に高次元では、取得関数の形式的で連続的な最適化を導出する。 本稿では,現在の設計点のヴォロノイ・テッセルレーションの境界上にある候補を用いて,それらのうち2つ以上に等しくなるようにすることを提案する。 テッセルレーションを明示的に生成することなく,ヴォロノイ境界を直接サンプリングすることで,効率的な実装の戦略について議論する。
  論文  参考訳（メタデータ） (2024-02-07T14:47:13Z)
• Optimistic Optimization of Gaussian Process Samples [30.226274682578172]
  競合する、計算的により効率的でグローバルな最適化フレームワークは楽観的な最適化であり、これは探索空間の幾何学に関する事前知識を相似関数として利用している。 幾何的探索と確率的探索の間には新たな研究領域があり、ベイズ最適化の重要な機能を保ちながら、従来のベイズ最適化よりも大幅に高速に実行される方法がある。
  論文  参考訳（メタデータ） (2022-09-02T09:06:24Z)
• STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
  本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。 我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
  論文  参考訳（メタデータ） (2021-11-01T15:43:36Z)
• Ada-BKB: Scalable Gaussian Process Optimization on Continuous Domain by Adaptive Discretization [21.859940486704264]
  GPUCBのようなアルゴリズムは計算の複雑さを禁止している。 関数のノアアルゴリズムは、連続最適化の真の問題を裏付ける。
  論文  参考訳（メタデータ） (2021-06-16T07:55:45Z)
• Bayesian Optimistic Optimisation with Exponentially Decaying Regret [58.02542541410322]
  現在の実用的なBOアルゴリズムは、$mathcalO(fraclogNsqrtN)$から$mathcalO(e-sqrtN)$まで、$N$は評価の数である。 本稿では,boと木に基づく楽観的楽観化の概念を絡み合うことにより,無音環境における後悔を改善できる可能性について検討する。 次数$mathcal O(N-sqrt)で指数的再帰を達成できる最初の実践的手法であるBOOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-10T13:07:44Z)
• A Momentum-Assisted Single-Timescale Stochastic Approximation Algorithm for Bilevel Optimization [112.59170319105971]
  問題に対処するための新しいアルゴリズム - Momentum- Single-timescale Approximation (MSTSA) を提案する。 MSTSAでは、低いレベルのサブプロブレムに対する不正確な解決策のため、反復でエラーを制御することができます。
  論文  参考訳（メタデータ） (2021-02-15T07:10:33Z)
• BOSH: Bayesian Optimization by Sampling Hierarchically [10.10241176664951]
  本稿では,階層的なガウス過程と情報理論の枠組みを組み合わせたBOルーチンを提案する。 BOSHは, ベンチマーク, シミュレーション最適化, 強化学習, ハイパーパラメータチューニングタスクにおいて, 標準BOよりも効率的で高精度な最適化を実現する。
  論文  参考訳（メタデータ） (2020-07-02T07:35:49Z)
• Private Stochastic Convex Optimization: Optimal Rates in Linear Time [74.47681868973598]
  本研究では,凸損失関数の分布から得られた個体群損失を最小化する問題について検討する。 Bassilyらによる最近の研究は、$n$のサンプルを与えられた過剰な人口損失の最適境界を確立している。 本稿では,余剰損失に対する最適境界を達成するとともに,$O(minn, n2/d)$グラデーション計算を用いて凸最適化アルゴリズムを導出する2つの新しい手法について述べる。
  論文  参考訳（メタデータ） (2020-05-10T19:52:03Z)
• Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
  大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。 このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。 本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。 先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
  論文  参考訳（メタデータ） (2020-03-27T06:18:49Z)
• Time-varying Gaussian Process Bandit Optimization with Non-constant Evaluation Time [93.6788993843846]
  非定常評価時間を効果的に処理できる新しい時間変化ベイズ最適化アルゴリズムを提案する。 我々の限界は、評価時間列のパターンが問題の難易度に大きな影響を与えることを決定づける。
  論文  参考訳（メタデータ） (2020-03-10T13:28:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。