論文の概要: PG-LBO: Enhancing High-Dimensional Bayesian Optimization with Pseudo-Label and Gaussian Process Guidance

• arxiv url: http://arxiv.org/abs/2312.16983v1
• Date: Thu, 28 Dec 2023 11:57:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-29 16:31:42.052725
• Title: PG-LBO: Enhancing High-Dimensional Bayesian Optimization with Pseudo-Label and Gaussian Process Guidance
• Title（参考訳）: PG-LBO:擬似ラベルとガウス過程誘導による高次元ベイズ最適化
• Authors: Taicai Chen, Yue Duan, Dong Li, Lei Qi, Yinghuan Shi, Yang Gao
• Abstract要約: 現在の主流の手法は、ラベルのないデータのプールを利用して潜在空間を構築する可能性を見落としている。 ラベル付きデータのガイダンスを用いてラベル付きデータを効果的に活用するための新しい手法を提案する。 提案手法は,様々な最適化シナリオにおいて,既存のVAE-BOアルゴリズムよりも優れている。
• 参考スコア（独自算出の注目度）: 31.585328335396607
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational Autoencoder based Bayesian Optimization (VAE-BO) has demonstrated its excellent performance in addressing high-dimensional structured optimization problems. However, current mainstream methods overlook the potential of utilizing a pool of unlabeled data to construct the latent space, while only concentrating on designing sophisticated models to leverage the labeled data. Despite their effective usage of labeled data, these methods often require extra network structures, additional procedure, resulting in computational inefficiency. To address this issue, we propose a novel method to effectively utilize unlabeled data with the guidance of labeled data. Specifically, we tailor the pseudo-labeling technique from semi-supervised learning to explicitly reveal the relative magnitudes of optimization objective values hidden within the unlabeled data. Based on this technique, we assign appropriate training weights to unlabeled data to enhance the construction of a discriminative latent space. Furthermore, we treat the VAE encoder and the Gaussian Process (GP) in Bayesian optimization as a unified deep kernel learning process, allowing the direct utilization of labeled data, which we term as Gaussian Process guidance. This directly and effectively integrates the goal of improving GP accuracy into the VAE training, thereby guiding the construction of the latent space. The extensive experiments demonstrate that our proposed method outperforms existing VAE-BO algorithms in various optimization scenarios. Our code will be published at https://github.com/TaicaiChen/PG-LBO.
• Abstract（参考訳）: 変分オートエンコーダに基づくベイズ最適化(VAE-BO)は,高次元構造最適化問題に対処する上で優れた性能を示した。 しかし、現在の主流の手法はラベルなしデータのプールを利用して潜在空間を構築する可能性を見落とし、ラベル付きデータを活用するための洗練されたモデルの設計に集中している。 ラベル付きデータの効果的な使用にもかかわらず、これらの手法は、しばしば余分なネットワーク構造、追加の手順を必要とし、計算の非効率をもたらす。 そこで本稿では,ラベル付きデータのガイダンスを用いてラベル付きデータを効果的に活用する手法を提案する。 具体的には、半教師付き学習から擬似ラベル付け手法を調整し、未ラベルデータ内に隠された最適化対象値の相対的な大きさを明らかにする。 本手法により,識別潜在空間の構築を促進するために,ラベル付きデータに適切なトレーニング重みを割り当てる。 さらに、ベイズ最適化におけるVAEエンコーダとガウスプロセス(GP)を統合深層学習プロセスとして扱い、ガウスプロセスガイダンスと呼ばれるラベル付きデータの直接利用を可能にする。 これにより、GP精度の向上という目標を直接かつ効果的に統合し、潜在空間の構築を導くことができる。 提案手法は,様々な最適化シナリオにおいて既存のvae-boアルゴリズムよりも優れていることを示す。 私たちのコードはhttps://github.com/TaicaiChen/PG-LBO.comで公開されます。

関連論文リスト

• Approximation-Aware Bayesian Optimization [34.56666383247348]
  高次元ベイズ最適化(BO)タスクは、意味のある結果を得る前に10,000の関数評価を必要とすることが多い。 本稿では,小変動ガウス過程 (SVGP) をBOの目標とよく一致させるために修正する。 ユーティリティ校正変分推論の枠組みを用いて,GP近似とデータ取得を共同最適化問題に統一する。
  論文  参考訳（メタデータ） (2024-06-06T17:55:02Z)
• Functional Graphical Models: Structure Enables Offline Data-Driven Optimization [121.57202302457135]
  構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。 また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-08T22:33:14Z)
• CARE: Confidence-rich Autonomous Robot Exploration using Bayesian Kernel Inference and Optimization [12.32946442160165]
  未知・複雑な環境における情報に基づく自律ロボット探査の効率化を検討する。 ベイジアンカーネル推論と最適化に基づく新しい軽量情報ゲイン推定法(BKIO)を提案する。 異なる非構造, 乱雑な環境下での探索性能を損なうことなく, 提案手法の所望の効率性を示す。
  論文  参考訳（メタデータ） (2023-09-11T02:30:06Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Prior-mean-assisted Bayesian optimization application on FRIB Front-End tunning [61.78406085010957]
  我々は、FRIBフロントエンドチューニングのためのBOの事前平均として、過去のデータに基づいてトレーニングされたニューラルネットワークモデルを利用する。 本稿では、FRIBフロントエンドチューニングのためのBOの事前平均として、過去のデータに基づいてトレーニングされたニューラルネットワークモデルを利用する。
  論文  参考訳（メタデータ） (2022-11-11T18:34:15Z)
• Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations [76.82124752950148]
  我々はデータ拡張を選択するための便利な勾配法を開発した。 我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
  論文  参考訳（メタデータ） (2022-02-22T02:51:11Z)
• High-Dimensional Bayesian Optimisation with Variational Autoencoders and Deep Metric Learning [119.91679702854499]
  本研究では,高次元の入力空間上でベイズ最適化を行うためのディープ・メトリック・ラーニングに基づく手法を提案する。 このような帰納バイアスを、利用可能なラベル付きデータの1%だけを用いて達成する。 実証的な貢献として、実世界の高次元ブラックボックス最適化問題に対する最先端の結果を示す。
  論文  参考訳（メタデータ） (2021-06-07T13:35:47Z)
• Incremental Semi-Supervised Learning Through Optimal Transport [0.0]
  本研究では, 半指導的学習のための2成分エッジ重み付きグラフを用いた新しいアプローチを提案する。 提案手法は,ラベル付きデータポイントと非ラベル付きデータポイントで定義された経験的測度間の規則化された最適輸送を用いて,最適輸送計画から親和性行列を得る。
  論文  参考訳（メタデータ） (2021-03-22T15:31:53Z)
• Semi-Supervised Learning with Meta-Gradient [123.26748223837802]
  半教師付き学習における簡単なメタ学習アルゴリズムを提案する。 その結果,提案アルゴリズムは最先端の手法に対して良好に動作することがわかった。
  論文  参考訳（メタデータ） (2020-07-08T08:48:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。