論文の概要: Non-smooth Bayesian Optimization in Tuning Problems

• arxiv url: http://arxiv.org/abs/2109.07563v1
• Date: Wed, 15 Sep 2021 20:22:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-17 14:12:09.804889
• Title: Non-smooth Bayesian Optimization in Tuning Problems
• Title（参考訳）: チューニング問題における非スムースベイズ最適化
• Authors: Hengrui Luo, James W. Demmel, Younghyun Cho, Xiaoye S. Li, Yang Liu
• Abstract要約: 代理モデルの構築は、未知のブラックボックス関数を学習しようとする場合の一般的なアプローチである。 クラスター化ガウス過程 (cGP) と呼ばれる新しい加法的ガウス過程モデルを提案し, 加法的成分はクラスタリングによって誘導される。 調査した例では、反復実験で最大90%の性能向上が可能である。
• 参考スコア（独自算出の注目度）: 5.768843113172494
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Building surrogate models is one common approach when we attempt to learn unknown black-box functions. Bayesian optimization provides a framework which allows us to build surrogate models based on sequential samples drawn from the function and find the optimum. Tuning algorithmic parameters to optimize the performance of large, complicated "black-box" application codes is a specific important application, which aims at finding the optima of black-box functions. Within the Bayesian optimization framework, the Gaussian process model produces smooth or continuous sample paths. However, the black-box function in the tuning problem is often non-smooth. This difficult tuning problem is worsened by the fact that we usually have limited sequential samples from the black-box function. Motivated by these issues encountered in tuning, we propose a novel additive Gaussian process model called clustered Gaussian process (cGP), where the additive components are induced by clustering. In the examples we studied, the performance can be improved by as much as 90% among repetitive experiments. By using this surrogate model, we want to capture the non-smoothness of the black-box function. In addition to an algorithm for constructing this model, we also apply the model to several artificial and real applications to evaluate it.
• Abstract（参考訳）: 代理モデルの構築は、未知のブラックボックス関数を学習しようとする場合の一般的なアプローチである。 ベイズ最適化は、関数から引き出された逐次的なサンプルに基づいてサロゲートモデルを構築し、最適点を見つけるためのフレームワークを提供する。 大規模で複雑な"ブラックボックス"アプリケーションコードのパフォーマンスを最適化するためのアルゴリズムパラメータのチューニングは、ブラックボックス関数のオプティマを見つけることを目的とした、特に重要なアプリケーションである。 ベイズ最適化フレームワーク内では、ガウス過程モデルが滑らかまたは連続的なサンプルパスを生成する。 しかし、チューニング問題におけるブラックボックス関数はしばしば非スムースである。 この難しいチューニング問題は、通常ブラックボックス関数から限られたシーケンスサンプルを持つという事実によって悪化する。 そこで我々は, クラスタ化ガウス過程 (cGP) と呼ばれる新しい加法的ガウス過程モデルを提案し, 加法的成分はクラスタリングによって誘導される。 実験例では,反復実験の90%まで性能が向上することを確認した。 このサロゲートモデルを用いることで、ブラックボックス関数の非スムース性を捉えることができる。 このモデルを構築するためのアルゴリズムに加えて、このモデルをいくつかの人工および実アプリケーションに適用して評価する。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Covariance-Adaptive Sequential Black-box Optimization for Diffusion Targeted Generation [60.41803046775034]
  ユーザのブラックボックス目標スコアのみを用いた拡散モデルを用いて,ユーザ優先のターゲット生成を行う方法を示す。 数値実験問題と目標誘導型3次元分子生成タスクの両方の実験により,より優れた目標値を得る上で,本手法の優れた性能が示された。
  論文  参考訳（メタデータ） (2024-06-02T17:26:27Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• Bayesian Optimisation for Constrained Problems [0.0]
  本稿では,制約を扱える知恵グラディエント獲得関数の新たな変種を提案する。 我々は、このアルゴリズムを、他の4つの最先端制約されたベイズ最適化アルゴリズムと比較し、その優れた性能を実証する。
  論文  参考訳（メタデータ） (2021-05-27T15:43:09Z)
• Neural Process for Black-Box Model Optimization Under Bayesian Framework [7.455546102930911]
  ブラックボックスモデルは、内部動作の知識がなくても、入力と出力の観点でしか見ることができないため、一般に名前がつけられる。 そのような問題を解決するための強力なアルゴリズムの1つは、最高のパフォーマンスにつながるモデルパラメータを効果的に推定できるベイズ最適化です。 GPが多くの観測やパラメーターを持つ必要のあるブラックボックスモデルを最適化することは困難である。 ニューラルプロセスを用いたベイズ最適化アルゴリズムをサーロゲートモデルとして提案し,ブラックボックスモデル最適化を行う。
  論文  参考訳（メタデータ） (2021-04-03T23:35:26Z)
• Hyper-optimization with Gaussian Process and Differential Evolution Algorithm [0.0]
  本稿では,利用可能な科学図書館のガウス過程最適化コンポーネントの具体的修正について述べる。 提示された修正はBlackBox 2020チャレンジに提出され、従来の最適化ライブラリを上回った。
  論文  参考訳（メタデータ） (2021-01-26T08:33:00Z)
• Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
  サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。 モデルに基づく手続きが雑音勾配設定に収束することを証明する。 これは自己チューニング二次体を構築するための興味深いステップである。
  論文  参考訳（メタデータ） (2020-11-09T22:07:30Z)
• Stepwise Model Selection for Sequence Prediction via Deep Kernel Learning [100.83444258562263]
  本稿では,モデル選択の課題を解決するために,新しいベイズ最適化(BO)アルゴリズムを提案する。 結果として得られる複数のブラックボックス関数の最適化問題を協調的かつ効率的に解くために,ブラックボックス関数間の潜在的な相関を利用する。 我々は、シーケンス予測のための段階的モデル選択(SMS)の問題を初めて定式化し、この目的のために効率的な共同学習アルゴリズムを設計し、実証する。
  論文  参考訳（メタデータ） (2020-01-12T09:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。