論文の概要: Hybrid Models for Mixed Variables in Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2206.01409v3
• Date: Fri, 18 Aug 2023 22:34:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-23 03:03:46.420063
• Title: Hybrid Models for Mixed Variables in Bayesian Optimization
• Title（参考訳）: ベイズ最適化における混合変数のハイブリッドモデル
• Authors: Hengrui Luo, Younghyun Cho, James W. Demmel, Xiaoye S. Li, Yang Liu
• Abstract要約: 混合変数の管理に有効なベイズ最適化(BO)のための新しいタイプのハイブリッドモデルを提案する。 提案手法は,モンテカルロ木探索構造(MCTS)とガウス過程(GP)を融合したハイブリッドモデルである。 代理モデリングフェーズにおける私たちの革新の中心は、混合変数BOのオンラインカーネル選択です。
• 参考スコア（独自算出の注目度）: 6.204805504959941
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a new type of hybrid models for Bayesian optimization (BO) adept at managing mixed variables, encompassing both quantitative (continuous and integer) and qualitative (categorical) types. Our proposed new hybrid models merge Monte Carlo Tree Search structure (MCTS) for categorical variables with Gaussian Processes (GP) for continuous ones. Addressing efficiency in searching phase, we juxtapose the original (frequentist) upper confidence bound tree search (UCTS) and the Bayesian Dirichlet search strategies, showcasing the tree architecture's integration into Bayesian optimization. Central to our innovation in surrogate modeling phase is online kernel selection for mixed-variable BO. Our innovations, including dynamic kernel selection, unique UCTS (hybridM) and Bayesian update strategies (hybridD), position our hybrid models as an advancement in mixed-variable surrogate models. Numerical experiments underscore the hybrid models' superiority, highlighting their potential in Bayesian optimization.
• Abstract（参考訳）: 本稿では,混合変数の管理に有効なベイズ最適化(BO)のハイブリッドモデルについて,定量的(連続型と整数型)と定性的(カテゴリー型)の2種類のモデルを提案する。 本研究では,モンテカルロ木探索構造 (mcts) とガウス過程 (gp) を連続的に結合した新しいハイブリッドモデルを提案する。 探索フェーズにおける効率性に対応するため,元の(頻度の低い)高信頼木探索(UCTS)とベイズディリクレ探索戦略を並べて,木アーキテクチャのベイズ最適化への統合を示す。 代理モデリングフェーズにおける私たちの革新の中心は、混合変数BOのオンラインカーネル選択です。 動的カーネル選択,ユニークな ucts (hybridm) とベイズ更新戦略 (hybridd) を含む我々のイノベーションは,ハイブリッドモデルを混合変数型サロゲートモデルの進歩と位置づけている。 数値実験はハイブリッドモデルの優位性を強調し、ベイズ最適化におけるその可能性を強調した。

関連論文リスト

• Deep Generative Clustering with VAEs and Expectation-Maximization [1.8416014644193066]
  本稿では,変分オートエンコーダ(VAE)を期待最大化フレームワークに統合する新しいディープクラスタリング手法を提案する。 提案手法は,各クラスタの確率分布をVAEでモデル化し,モデルパラメータの更新を交互に行う。 これにより、各クラスタから有効なクラスタリングと新しいサンプルの生成が可能になる。
  論文  参考訳（メタデータ） (2025-01-13T14:26:39Z)
• Be More Diverse than the Most Diverse: Online Selection of Diverse Mixtures of Generative Models [33.04472814852163]
  本研究では,複数の生成モデルの組み合わせの選択について検討する。 我々はMixture-UCB(Mixture-UCB)と呼ばれるオンライン学習手法を提案する。
  論文  参考訳（メタデータ） (2024-12-23T14:48:17Z)
• STAR: Synthesis of Tailored Architectures [61.080157488857516]
  本稿では, 適合型アーキテクチャ (STAR) の新規な合成手法を提案する。 提案手法は線形入力可変系の理論に基づく新しい探索空間を結合し,階層的な数値エンコーディングをアーキテクチャゲノムに支持する。STARゲノムは,複数のモデル品質と効率の指標に最適化するために,勾配のない進化的アルゴリズムで自動的に精製・組換えされる。 STARを用いて、多種多様な計算単位と相互接続パターンを活用し、品質、パラメータサイズ、および自動回帰言語モデリングのための推論キャッシュのフロンティアにおける高度に最適化されたトランスフォーマーとストライプハイブリッドモデルを改善する。
  論文  参考訳（メタデータ） (2024-11-26T18:42:42Z)
• Automatically Learning Hybrid Digital Twins of Dynamical Systems [56.69628749813084]
  Digital Twins (DT)は、現実世界のシステムの状態と時間力学をシミュレートする。 DTは、しばしばデータスカース設定で目に見えない条件に一般化するのに苦労します。 本稿では,HDTwinsを自律的に提案し,評価し,最適化するための進化的アルゴリズム(textbfHDTwinGen$)を提案する。
  論文  参考訳（メタデータ） (2024-10-31T07:28:22Z)
• Model-GLUE: Democratized LLM Scaling for A Large Model Zoo in the Wild [84.57103623507082]
  本稿では,全体論的な大規模言語モデルスケーリングガイドラインであるModel-GLUEを紹介する。 既存のスケーリングテクニック,特に選択的マージ,および混合の変種をベンチマークする。 次に、異種モデル動物園の選択と集約のための最適な戦略を定式化する。 我々の手法は、マージ可能なモデルのクラスタリング、最適なマージ戦略選択、クラスタの統合を含む。
  論文  参考訳（メタデータ） (2024-10-07T15:55:55Z)
• Hybrid State Space-based Learning for Sequential Data Prediction with Joint Optimization [0.0]
  本稿では,従来の非線形予測モデルにおいて,ドメイン固有の特徴工学的問題の必要性を緩和するハイブリッドモデルを提案する。 基本モデルに対する新しい状態空間表現を導入し、ハイブリッドやアンサンブルの完全な状態空間表現を提供する。 このような新しい組み合わせと共同最適化により、広く公開されている実生活競合データセットの大幅な改善が示された。
  論文  参考訳（メタデータ） (2023-09-19T12:00:28Z)
• Hybrid additive modeling with partial dependence for supervised regression and dynamical systems forecasting [5.611231523622238]
  部分依存に基づく新たなハイブリッドトレーニング手法を導入し,複雑な正規化の必要性を排除した。 合成問題と実回帰問題の両方において、そのようなハイブリッドモデルを訓練するためのいくつかのアプローチを比較する。 ツリーベースモデルや人工ニューラルネットワークなど、さまざまなタイプの機械学習モデルで実験が実施されている。
  論文  参考訳（メタデータ） (2023-07-05T12:13:56Z)
• AI-Empowered Hybrid MIMO Beamforming [85.48860461696417]
  ハイブリッドマルチインプット・マルチアウトプット(MIMO)システムは、アナログおよびデジタルのビームフォーミングの一部を実装している。 近年、ハイブリッドビームフォーミング設計にデータ支援人工知能(AI)ツールを使うことへの関心が高まっている。 本稿では、リアルタイムハイブリッドビームフォーミング設計を改善するために、データを活用するための候補戦略についてレビューする。
  論文  参考訳（メタデータ） (2023-03-03T06:04:20Z)
• Applying Autonomous Hybrid Agent-based Computing to Difficult Optimization Problems [56.821213236215634]
  本稿では,EMASのハイブリッドバージョンを提案する。 これには、複数のハイブリッド演算子の選択と導入、およびメインアルゴリズムのハイブリッドステップを開始するためのルールの定義が含まれる。 これらのハイブリッドステップは、既存の、よく知られた、そして証明された、効率的なメタヒューリスティックスを活用し、その結果をメインのアルゴリズムに統合する。
  論文  参考訳（メタデータ） (2022-10-24T13:28:35Z)
• A Pareto-optimal compositional energy-based model for sampling and optimization of protein sequences [55.25331349436895]
  深層生成モデルは、生命科学における逆問題に対する一般的な機械学習ベースのアプローチとして登場した。 これらの問題は、データ分布の学習に加えて、興味のある複数の特性を満たす新しい設計をサンプリングする必要があることが多い。
  論文  参考訳（メタデータ） (2022-10-19T19:04:45Z)
• A hybrid ensemble method with negative correlation learning for regression [2.8484009470171943]
  ヘテロジニアスモデルプールからサブモデルを自動的に選択および重み付けする。 内部点フィルタリング線形探索アルゴリズムを用いて最適化問題を解く。 本研究の価値は、その使いやすさと有効性にあるため、ハイブリッドアンサンブルは多様性と正確性を受け入れることができる。
  論文  参考訳（メタデータ） (2021-04-06T06:45:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。