論文の概要: Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces

• arxiv url: http://arxiv.org/abs/2207.00879v1
• Date: Sat, 2 Jul 2022 16:59:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-05 12:04:28.955944
• Title: Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces
• Title（参考訳）: 混合函数空間上の既知の制約を持つベイズ最適化のためのツリーアンサンブルカーネル
• Authors: Alexander Thebelt, Calvin Tsay, Robert M. Lee, Nathan Sudermann-Merx, David Walz, Behrang Shafei, Ruth Misener
• Abstract要約: 木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
• 参考スコア（独自算出の注目度）: 54.58348769621782
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tree ensembles can be well-suited for black-box optimization tasks such as algorithm tuning and neural architecture search, as they achieve good predictive performance with little to no manual tuning, naturally handle discrete feature spaces, and are relatively insensitive to outliers in the training data. Two well-known challenges in using tree ensembles for black-box optimization are (i) effectively quantifying model uncertainty for exploration and (ii) optimizing over the piece-wise constant acquisition function. To address both points simultaneously, we propose using the kernel interpretation of tree ensembles as a Gaussian Process prior to obtain model variance estimates, and we develop a compatible optimization formulation for the acquisition function. The latter further allows us to seamlessly integrate known constraints to improve sampling efficiency by considering domain-knowledge in engineering settings and modeling search space symmetries, e.g., hierarchical relationships in neural architecture search. Our framework performs as well as state-of-the-art methods for unconstrained black-box optimization over continuous/discrete features and outperforms competing methods for problems combining mixed-variable feature spaces and known input constraints.
• Abstract（参考訳）: 木アンサンブルは、アルゴリズムチューニングやニューラルアーキテクチャサーチのようなブラックボックス最適化タスクに適しており、手動チューニングをほとんど、あるいは全く行わずに優れた予測性能を達成し、離散的な特徴空間を自然に処理し、トレーニングデータにおける外れ値に比較的敏感である。 木アンサンブルを用いたブラックボックス最適化における2つの課題 (i)探査のモデルの不確かさを効果的に定量化すること、及び (ii)ピースワイドの定数取得関数を最適化する。 両点を同時に解くために,モデル分散推定を得る前に,ガウス過程としてツリーアンサンブルのカーネル解釈を用いることを提案し,この獲得関数の最適化定式化を両立させる。 後者により、既知の制約をシームレスに統合し、エンジニアリング設定におけるドメイン知識を考慮し、探索空間対称性をモデル化することで、サンプリング効率を向上させることができる。 我々のフレームワークは、連続/離散機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題に対する競合手法よりも優れている。

関連論文リスト

• A Continuous Relaxation for Discrete Bayesian Optimization [17.312618575552]
  推論と最適化は計算処理が可能であることを示す。 特に、観測と厳格な予算がほとんど存在しない最適化領域について検討する。 得られた取得関数は、連続的あるいは離散的な最適化アルゴリズムで最適化可能であることを示す。
  論文  参考訳（メタデータ） (2024-04-26T14:47:40Z)
• SequentialAttention++ for Block Sparsification: Differentiable Pruning Meets Combinatorial Optimization [24.55623897747344]
  ニューラルネットワークプルーニングは、大規模で拡張性があり、解釈可能で、一般化可能なモデルを構築するための重要な技術である。 群スパース最適化の非正規化として,既存の微分可能なプルーニング手法がいくつあるかを示す。 我々は、ImageNetとCriteoデータセット上の大規模ニューラルネットワークブロックワイドプルーニングタスクの最先端技術であるSequentialAttention++を提案する。
  論文  参考訳（メタデータ） (2024-02-27T21:42:18Z)
• Enhancing Gaussian Process Surrogates for Optimization and Posterior Approximation via Random Exploration [2.984929040246293]
  ガウス過程シュロゲートモデルの精度を高めるために、ランダムな探索ステップに依存する新しいノイズフリーベイズ最適化戦略。 新しいアルゴリズムは、古典的なGP-UCBの実装の容易さを維持しているが、さらなる探索がそれらの収束を促進する。
  論文  参考訳（メタデータ） (2024-01-30T14:16:06Z)
• Ensemble-based Hybrid Optimization of Bayesian Neural Networks and Traditional Machine Learning Algorithms [0.0]
  本研究では、ランダムフォレスト(RF)、グラディエントブースティング(GB)、サポートベクトルマシン(SVM)といった従来の機械学習アルゴリズムと相乗的に統合することにより、ベイズニューラルネットワーク(BNN)を最適化する新しい手法を提案する。 特徴積分は、ヘッセン行列の定常性や正定性を含む最適性に対する二階条件を強調することによってこれらの結果を固化する。 全体として、アンサンブル法は堅牢でアルゴリズム的に最適化されたアプローチとして際立っている。
  論文  参考訳（メタデータ） (2023-10-09T06:59:17Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization [98.0595480384208]
  定常点に収束する一般化外空間を提案する。 このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
  論文  参考訳（メタデータ） (2020-10-31T21:35:42Z)
• Additive Tree-Structured Covariance Function for Conditional Parameter Spaces in Bayesian Optimization [34.89735938765757]
  木構造関数への加法的仮定を一般化する。 パラメータ空間の構造情報と加法仮定をBOループに組み込むことで,取得関数を最適化する並列アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-06-21T11:21:55Z)
• Generalized and Scalable Optimal Sparse Decision Trees [56.35541305670828]
  様々な目的に対して最適な決定木を生成する手法を提案する。 また,連続変数が存在する場合に最適な結果が得られるスケーラブルなアルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-06-15T19:00:11Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。