論文の概要: Hybrid Models for Mixed Variables in Bayesian Optimization
- arxiv url: http://arxiv.org/abs/2206.01409v2
- Date: Mon, 6 Jun 2022 04:25:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-07 11:10:03.233436
- Title: Hybrid Models for Mixed Variables in Bayesian Optimization
- Title(参考訳): ベイズ最適化における混合変数のハイブリッドモデル
- Authors: Hengrui Luo, Younghyun Cho, James W. Demmel, Xiaoye S. Li, Yang Liu
- Abstract要約: モンテカルロ木探索(MCTS)とガウス過程(GP)の両方を用いた統合ハイブリッドモデルを提供する。
このアーキテクチャに基づいて,共分散カーネルの新規候補群間での新しい動的モデル選択基準を適用することを提案する。
- 参考スコア(独自算出の注目度): 5.474047618345426
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We systematically describe the problem of simultaneous surrogate modeling of
mixed variables (i.e., continuous, integer and categorical variables) in the
Bayesian optimization (BO) context. We provide a unified hybrid model using
both Monte-Carlo tree search (MCTS) and Gaussian processes (GP) that
encompasses and generalizes multiple state-of-the-art mixed BO surrogates.
Based on the architecture, we propose applying a new dynamic model selection
criterion among novel candidate families of covariance kernels, including
non-stationary kernels and associated families. Different benchmark problems
are studied and presented to support the superiority of our model, along with
results highlighting the effectiveness of our method compared to most
state-of-the-art mixed-variable methods in BO.
- Abstract(参考訳): ベイズ最適化(bo)文脈における混合変数(例えば、連続変数、整数変数、カテゴリ変数)の同時サロゲートモデリングの問題を体系的に記述する。
我々はモンテカルロ木探索 (MCTS) とガウス過程 (GP) を併用した統合ハイブリッドモデルを提案する。
このアーキテクチャに基づき、非定常カーネルと関連するファミリーを含む共分散カーネルの新しい候補ファミリー間での新しい動的モデル選択基準を適用することを提案する。
モデルの優越性をサポートするために,様々なベンチマーク問題を検討・提示し,boにおける最先端の混合変数法と比較して,提案手法の有効性を強調する結果を得た。
関連論文リスト
- Deep Generative Clustering with VAEs and Expectation-Maximization [1.8416014644193066]
本稿では,変分オートエンコーダ(VAE)を期待最大化フレームワークに統合する新しいディープクラスタリング手法を提案する。
提案手法は,各クラスタの確率分布をVAEでモデル化し,モデルパラメータの更新を交互に行う。
これにより、各クラスタから有効なクラスタリングと新しいサンプルの生成が可能になる。
論文 参考訳(メタデータ) (2025-01-13T14:26:39Z) - Be More Diverse than the Most Diverse: Online Selection of Diverse Mixtures of Generative Models [33.04472814852163]
本研究では,複数の生成モデルの組み合わせの選択について検討する。
我々はMixture-UCB(Mixture-UCB)と呼ばれるオンライン学習手法を提案する。
論文 参考訳(メタデータ) (2024-12-23T14:48:17Z) - STAR: Synthesis of Tailored Architectures [61.080157488857516]
本稿では, 適合型アーキテクチャ (STAR) の新規な合成手法を提案する。
提案手法は線形入力可変系の理論に基づく新しい探索空間を結合し,階層的な数値エンコーディングをアーキテクチャゲノムに支持する。STARゲノムは,複数のモデル品質と効率の指標に最適化するために,勾配のない進化的アルゴリズムで自動的に精製・組換えされる。
STARを用いて、多種多様な計算単位と相互接続パターンを活用し、品質、パラメータサイズ、および自動回帰言語モデリングのための推論キャッシュのフロンティアにおける高度に最適化されたトランスフォーマーとストライプハイブリッドモデルを改善する。
論文 参考訳(メタデータ) (2024-11-26T18:42:42Z) - Automatically Learning Hybrid Digital Twins of Dynamical Systems [56.69628749813084]
Digital Twins (DT)は、現実世界のシステムの状態と時間力学をシミュレートする。
DTは、しばしばデータスカース設定で目に見えない条件に一般化するのに苦労します。
本稿では,HDTwinsを自律的に提案し,評価し,最適化するための進化的アルゴリズム(textbfHDTwinGen$)を提案する。
論文 参考訳(メタデータ) (2024-10-31T07:28:22Z) - Model-GLUE: Democratized LLM Scaling for A Large Model Zoo in the Wild [84.57103623507082]
本稿では,全体論的な大規模言語モデルスケーリングガイドラインであるModel-GLUEを紹介する。
既存のスケーリングテクニック,特に選択的マージ,および混合の変種をベンチマークする。
次に、異種モデル動物園の選択と集約のための最適な戦略を定式化する。
我々の手法は、マージ可能なモデルのクラスタリング、最適なマージ戦略選択、クラスタの統合を含む。
論文 参考訳(メタデータ) (2024-10-07T15:55:55Z) - Hybrid State Space-based Learning for Sequential Data Prediction with
Joint Optimization [0.0]
本稿では,従来の非線形予測モデルにおいて,ドメイン固有の特徴工学的問題の必要性を緩和するハイブリッドモデルを提案する。
基本モデルに対する新しい状態空間表現を導入し、ハイブリッドやアンサンブルの完全な状態空間表現を提供する。
このような新しい組み合わせと共同最適化により、広く公開されている実生活競合データセットの大幅な改善が示された。
論文 参考訳(メタデータ) (2023-09-19T12:00:28Z) - Hybrid additive modeling with partial dependence for supervised regression and dynamical systems forecasting [5.611231523622238]
部分依存に基づく新たなハイブリッドトレーニング手法を導入し,複雑な正規化の必要性を排除した。
合成問題と実回帰問題の両方において、そのようなハイブリッドモデルを訓練するためのいくつかのアプローチを比較する。
ツリーベースモデルや人工ニューラルネットワークなど、さまざまなタイプの機械学習モデルで実験が実施されている。
論文 参考訳(メタデータ) (2023-07-05T12:13:56Z) - AI-Empowered Hybrid MIMO Beamforming [85.48860461696417]
ハイブリッドマルチインプット・マルチアウトプット(MIMO)システムは、アナログおよびデジタルのビームフォーミングの一部を実装している。
近年、ハイブリッドビームフォーミング設計にデータ支援人工知能(AI)ツールを使うことへの関心が高まっている。
本稿では、リアルタイムハイブリッドビームフォーミング設計を改善するために、データを活用するための候補戦略についてレビューする。
論文 参考訳(メタデータ) (2023-03-03T06:04:20Z) - Applying Autonomous Hybrid Agent-based Computing to Difficult
Optimization Problems [56.821213236215634]
本稿では,EMASのハイブリッドバージョンを提案する。
これには、複数のハイブリッド演算子の選択と導入、およびメインアルゴリズムのハイブリッドステップを開始するためのルールの定義が含まれる。
これらのハイブリッドステップは、既存の、よく知られた、そして証明された、効率的なメタヒューリスティックスを活用し、その結果をメインのアルゴリズムに統合する。
論文 参考訳(メタデータ) (2022-10-24T13:28:35Z) - A Pareto-optimal compositional energy-based model for sampling and
optimization of protein sequences [55.25331349436895]
深層生成モデルは、生命科学における逆問題に対する一般的な機械学習ベースのアプローチとして登場した。
これらの問題は、データ分布の学習に加えて、興味のある複数の特性を満たす新しい設計をサンプリングする必要があることが多い。
論文 参考訳(メタデータ) (2022-10-19T19:04:45Z) - A hybrid ensemble method with negative correlation learning for
regression [2.8484009470171943]
ヘテロジニアスモデルプールからサブモデルを自動的に選択および重み付けする。
内部点フィルタリング線形探索アルゴリズムを用いて最適化問題を解く。
本研究の価値は、その使いやすさと有効性にあるため、ハイブリッドアンサンブルは多様性と正確性を受け入れることができる。
論文 参考訳(メタデータ) (2021-04-06T06:45:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。