論文の概要: Additive Tree-Structured Conditional Parameter Spaces in Bayesian Optimization: A Novel Covariance Function and a Fast Implementation

• arxiv url: http://arxiv.org/abs/2010.03171v1
• Date: Tue, 6 Oct 2020 16:08:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 05:54:42.505075
• Title: Additive Tree-Structured Conditional Parameter Spaces in Bayesian Optimization: A Novel Covariance Function and a Fast Implementation
• Title（参考訳）: ベイズ最適化における追加木構造条件パラメータ空間:新しい共分散関数と高速実装
• Authors: Xingchen Ma, Matthew B. Blaschko
• Abstract要約: 木構造関数への加法仮定を一般化し, 改良された試料効率, より広い適用性, 柔軟性を示す。 パラメータ空間の構造情報と加法仮定をBOループに組み込むことで,取得関数を最適化する並列アルゴリズムを開発した。 本稿では,事前学習したVGG16およびRes50モデルのプルーニングとResNet20の検索アクティベーション関数に関する最適化ベンチマーク関数について述べる。
• 参考スコア（独自算出の注目度）: 34.89735938765757
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian optimization (BO) is a sample-efficient global optimization algorithm for black-box functions which are expensive to evaluate. Existing literature on model based optimization in conditional parameter spaces are usually built on trees. In this work, we generalize the additive assumption to tree-structured functions and propose an additive tree-structured covariance function, showing improved sample-efficiency, wider applicability and greater flexibility. Furthermore, by incorporating the structure information of parameter spaces and the additive assumption in the BO loop, we develop a parallel algorithm to optimize the acquisition function and this optimization can be performed in a low dimensional space. We demonstrate our method on an optimization benchmark function, on a neural network compression problem, on pruning pre-trained VGG16 and ResNet50 models as well as on searching activation functions of ResNet20. Experimental results show our approach significantly outperforms the current state of the art for conditional parameter optimization including SMAC, TPE and Jenatton et al. (2017).
• Abstract（参考訳）: ベイズ最適化(英: Bayesian Optimization, BO)は、ブラックボックス関数に対する標本効率のよいグローバル最適化アルゴリズムである。 条件パラメータ空間におけるモデルに基づく最適化に関する既存の文献は通常木の上に構築される。 本研究では,木構造関数に対する付加的仮定を一般化し,改良された試料効率,適用性,柔軟性を示す付加的木構造共分散関数を提案する。 さらに、パラメータ空間の構造情報とboループにおける加法仮定を組み込むことにより、取得関数を最適化する並列アルゴリズムを開発し、この最適化を低次元空間で行うことができる。 本稿では,ニューラルネットワーク圧縮問題に対する最適化ベンチマーク関数,トレーニング済みのVGG16およびResNet50モデルのプルーニング,ResNet20のアクティベーション関数の探索について述べる。 実験の結果,smac,tpe,jenattonらを含む条件付きパラメータ最適化技術(2017年)の現況を大きく上回っている。

関連論文リスト

• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• Efficient Non-Parametric Optimizer Search for Diverse Tasks [93.64739408827604]
  興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。 基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。 我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
  論文  参考訳（メタデータ） (2022-09-27T17:51:31Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)
• Bayesian Optimization over Permutation Spaces [30.650753803587794]
  BOPS (Permutation Spaces) に対する2つのアルゴリズムの提案と評価を行った。 BOPS-Tの性能を理論的に解析し,その後悔がサブリニアに増加することを示す。 複数の合成および実世界のベンチマーク実験により、BOPS-TとBOPS-Hは、空間に対する最先端のBOアルゴリズムよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2021-12-02T08:20:50Z)
• High-Dimensional Bayesian Optimization via Tree-Structured Additive Models [40.497123136157946]
  変数の重複部分集合を持つ低次元関数を合成して高次元目標関数をモデル化する一般化加法モデルを検討する。 私たちの目標は、必要な計算リソースを減らし、より高速なモデル学習を促進することです。 我々は,合成関数と実世界のデータセットに関する様々な実験を通して,本手法の有効性を実証し,議論する。
  論文  参考訳（メタデータ） (2020-12-24T03:56:44Z)
• Sequential Subspace Search for Functional Bayesian Optimization Incorporating Experimenter Intuition [63.011641517977644]
  本アルゴリズムは,実験者のガウス過程から引き出された一組の引き数で区切られた関数空間の有限次元ランダム部分空間列を生成する。 標準ベイズ最適化は各部分空間に適用され、次の部分空間の出発点(オリジン)として用いられる最良の解である。 シミュレーションおよび実世界の実験,すなわちブラインド関数マッチング,アルミニウム合金の最適析出強化関数の探索,深層ネットワークの学習速度スケジュール最適化において,本アルゴリズムを検証した。
  論文  参考訳（メタデータ） (2020-09-08T06:54:11Z)
• BOSH: Bayesian Optimization by Sampling Hierarchically [10.10241176664951]
  本稿では,階層的なガウス過程と情報理論の枠組みを組み合わせたBOルーチンを提案する。 BOSHは, ベンチマーク, シミュレーション最適化, 強化学習, ハイパーパラメータチューニングタスクにおいて, 標準BOよりも効率的で高精度な最適化を実現する。
  論文  参考訳（メタデータ） (2020-07-02T07:35:49Z)
• NOVAS: Non-convex Optimization via Adaptive Stochastic Search for End-to-End Learning and Control [22.120942106939122]
  本稿では,一般のニューラルネットワーク最適化操作において,適応探索をビルディングブロックとして用いることを提案する。 我々は、合成エネルギーベースの構造化タスクにおける既存の2つの代替案に対してベンチマークを行い、最適制御アプリケーションでの使用例を示す。
  論文  参考訳（メタデータ） (2020-06-22T03:40:36Z)
• Additive Tree-Structured Covariance Function for Conditional Parameter Spaces in Bayesian Optimization [34.89735938765757]
  木構造関数への加法的仮定を一般化する。 パラメータ空間の構造情報と加法仮定をBOループに組み込むことで,取得関数を最適化する並列アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-06-21T11:21:55Z)
• Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
  大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。 このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。 本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。 先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
  論文  参考訳（メタデータ） (2020-03-27T06:18:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。