論文の概要: Trusted-Maximizers Entropy Search for Efficient Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2107.14465v1
• Date: Fri, 30 Jul 2021 07:25:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-02 13:12:20.262826
• Title: Trusted-Maximizers Entropy Search for Efficient Bayesian Optimization
• Title（参考訳）: trusted-maximizers entropy search によるベイズ最適化
• Authors: Quoc Phong Nguyen, Zhaoxuan Wu, Bryan Kian Hsiang Low, Patrick Jaillet
• Abstract要約: 本稿では,信頼度最大化エントロピー探索(TES)取得関数を提案する。 インプットがクエリの情報ゲインにどの程度貢献するかを、信頼された最大値の有限セット上で測定する。
• 参考スコア（独自算出の注目度）: 39.824086260578646
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Information-based Bayesian optimization (BO) algorithms have achieved state-of-the-art performance in optimizing a black-box objective function. However, they usually require several approximations or simplifying assumptions (without clearly understanding their effects on the BO performance) and/or their generalization to batch BO is computationally unwieldy, especially with an increasing batch size. To alleviate these issues, this paper presents a novel trusted-maximizers entropy search (TES) acquisition function: It measures how much an input query contributes to the information gain on the maximizer over a finite set of trusted maximizers, i.e., inputs optimizing functions that are sampled from the Gaussian process posterior belief of the objective function. Evaluating TES requires either only a stochastic approximation with sampling or a deterministic approximation with expectation propagation, both of which are investigated and empirically evaluated using synthetic benchmark objective functions and real-world optimization problems, e.g., hyperparameter tuning of a convolutional neural network and synthesizing 'physically realizable' faces to fool a black-box face recognition system. Though TES can naturally be generalized to a batch variant with either approximation, the latter is amenable to be scaled to a much larger batch size in our experiments.
• Abstract（参考訳）: 情報ベースベイズ最適化(bo)アルゴリズムはブラックボックス目的関数の最適化において最先端の性能を達成している。 しかし、通常はいくつかの近似や仮定(BOのパフォーマンスに対する効果を明確に理解せずに)を単純化することや、バッチBOへの一般化は、特にバッチサイズが増大するにつれて計算が困難になる。 そこで本稿では,これらの課題を緩和するために,信頼度最大化器の有限集合上の情報ゲインに入力クエリがどの程度寄与するか,すなわち,目的関数のガウス過程の後方信念からサンプリングされた最適化関数の入力を計測する,信頼度最大化エントロピー探索(tes)獲得関数を提案する。 TESを評価するには、サンプリングによる確率的近似と予測伝播による決定論的近似のいずれかが必要であり、どちらも合成ベンチマーク目的関数と畳み込みニューラルネットワークのハイパーパラメータチューニングや「物理的に実現可能な」顔を合成してブラックボックスの顔認識システムを騙すような実世界の最適化問題を用いて調査および実証的に評価されている。 TESはいずれの近似でもバッチ変種に自然に一般化できるが、後者は我々の実験ではもっと大きなバッチサイズにスケールできる。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• Bayesian Optimization over Permutation Spaces [30.650753803587794]
  BOPS (Permutation Spaces) に対する2つのアルゴリズムの提案と評価を行った。 BOPS-Tの性能を理論的に解析し,その後悔がサブリニアに増加することを示す。 複数の合成および実世界のベンチマーク実験により、BOPS-TとBOPS-Hは、空間に対する最先端のBOアルゴリズムよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2021-12-02T08:20:50Z)
• Efficient Exploration in Binary and Preferential Bayesian Optimization [0.5076419064097732]
  BOアルゴリズムは,異なるタイプの不確かさを区別することが重要であることを示す。 本稿では,最先端のBO関数より優れた新たな獲得関数を提案する。
  論文  参考訳（メタデータ） (2021-10-18T14:44:34Z)
• Federated Bayesian Optimization via Thompson Sampling [33.087439644066876]
  本稿では,FBOとFLの主な課題を原則的に克服するフェデレートトンプソンサンプリング(FTS)を提案する。 通信効率, 計算効率, 実用性能の観点から, FTS の有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2020-10-20T09:42:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。