Fugu-MT 論文翻訳(概要): Efficient Bayesian Optimization with Deep Kernel Learning and Transformer Pre-trained on Multiple Heterogeneous Datasets

論文の概要: Efficient Bayesian Optimization with Deep Kernel Learning and Transformer Pre-trained on Multiple Heterogeneous Datasets

arxiv url: http://arxiv.org/abs/2308.04660v1
Date: Wed, 9 Aug 2023 01:56:10 GMT
ステータス: 処理完了
システム内更新日: 2023-08-10 15:19:21.930999
Title: Efficient Bayesian Optimization with Deep Kernel Learning and Transformer Pre-trained on Multiple Heterogeneous Datasets
Title（参考訳）: マルチヘテロジニアスデータセット上で事前学習したディープカーネル学習とトランスフォーマによる効率的なベイズ最適化
Authors: Wenlong Lyu, Shoubo Hu, Jie Chuai, Zhitang Chen
Abstract要約: 本稿では,トランスフォーマーベースのエンコーダから学習した深い特徴に基づいてカーネルが定義されたガウス過程(GP)であるサロゲートを事前訓練する簡単な手法を提案する。総合的および実ベンチマーク問題に対する実験は,提案した事前学習および転送BO戦略の有効性を実証するものである。
参考スコア（独自算出の注目度）: 9.510327380529892
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Bayesian optimization (BO) is widely adopted in black-box optimization problems and it relies on a surrogate model to approximate the black-box response function. With the increasing number of black-box optimization tasks solved and even more to solve, the ability to learn from multiple prior tasks to jointly pre-train a surrogate model is long-awaited to further boost optimization efficiency. In this paper, we propose a simple approach to pre-train a surrogate, which is a Gaussian process (GP) with a kernel defined on deep features learned from a Transformer-based encoder, using datasets from prior tasks with possibly heterogeneous input spaces. In addition, we provide a simple yet effective mix-up initialization strategy for input tokens corresponding to unseen input variables and therefore accelerate new tasks' convergence. Experiments on both synthetic and real benchmark problems demonstrate the effectiveness of our proposed pre-training and transfer BO strategy over existing methods.
Abstract（参考訳）: ベイズ最適化(BO)はブラックボックス最適化問題において広く採用されており、ブラックボックス応答関数を近似するために代理モデルに依存している。ブラックボックス最適化タスクの数が増加し、さらに解決が困難になる中で、複数の先行タスクからサロゲートモデルを協調的に事前訓練する能力は、最適化効率をさらに高めるために待ち望まれている。本稿では、トランスフォーマベースのエンコーダから学習した深い特徴に基づいて定義されたカーネルを持つガウス過程(gp)であるサロゲートを事前学習するための簡単な手法を提案する。さらに,未知の入力変数に対応する入力トークンに対して,簡易かつ効果的なミックスアップ初期化戦略を提供し,新たなタスクの収束を加速する。合成および実数値ベンチマーク問題に対する実験により,既存の手法に対する事前学習および転送bo戦略の有効性が示された。

関連論文リスト

Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
論文参考訳（メタデータ） (2024-10-28T04:47:39Z)
Bayesian Inverse Transfer in Evolutionary Multiobjective Optimization [29.580786235313987]
InvTrEMO(InvTrEMO)の第1回リバーストランスファー・マルチオブジェクト(InvTrEMO)を紹介する。 InvTrEMOは、決定空間がタスク間で正確に整合していない場合でも、多くの一般的な領域で共通の目的関数を利用する。 InvTrEMOは、高い精度の逆モデルを重要な副産物とし、オンデマンドで調整されたソリューションの生成を可能にする。
論文参考訳（メタデータ） (2023-12-22T14:12:18Z)
End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文参考訳（メタデータ） (2023-05-25T10:58:46Z)
Transfer Learning for Bayesian Optimization: A Survey [29.229660973338145]
ブラックボックス最適化は、このような高価なブラックボックス機能をモデル化し、最適化する強力なツールである。 BOコミュニティの研究者たちは、最適化プロセスの高速化にトランスファーラーニングの精神を取り入れることを提案する。
論文参考訳（メタデータ） (2023-02-12T14:37:25Z)
A Data-Driven Evolutionary Transfer Optimization for Expensive Problems in Dynamic Environments [9.098403098464704]
データ駆動、つまりサロゲート支援、進化的最適化は、高価なブラックボックス最適化問題に対処するための効果的なアプローチとして認識されている。本稿では,データ駆動型進化的最適化により動的最適化問題を解くための,シンプルだが効果的な伝達学習フレームワークを提案する。提案手法の有効性を実世界のケーススタディで実証した。
論文参考訳（メタデータ） (2022-11-05T11:19:50Z)
An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
論文参考訳（メタデータ） (2022-10-27T01:58:10Z)
Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
論文参考訳（メタデータ） (2022-07-02T16:59:37Z)
Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文参考訳（メタデータ） (2022-05-26T12:51:32Z)
Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。これらの問題に対する新規で簡単な最適化法を開発した。結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
論文参考訳（メタデータ） (2021-09-23T17:38:24Z)
Few-Shot Bayesian Optimization with Deep Kernel Surrogates [7.208515071018781]
本研究では,新しいタスクの応答関数に適応するために,共有型深層サロゲートモデルを学習する数ショット学習問題を提案する。本稿では,エンドツーエンドにメタ学習されたガウス的プロセスサロゲートにディープカーネルネットワークを適用することを提案する。その結果、深部カーネルサーロゲートの斬新な数ショット最適化は、HPOでの新しい最先端の結果につながります。
論文参考訳（メタデータ） (2021-01-19T15:00:39Z)
Federated Bayesian Optimization via Thompson Sampling [33.087439644066876]
本稿では,FBOとFLの主な課題を原則的に克服するフェデレートトンプソンサンプリング(FTS)を提案する。通信効率, 計算効率, 実用性能の観点から, FTS の有効性を実証的に実証した。
論文参考訳（メタデータ） (2020-10-20T09:42:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。