論文の概要: BOFormer: Learning to Solve Multi-Objective Bayesian Optimization via Non-Markovian RL

• arxiv url: http://arxiv.org/abs/2505.21974v1
• Date: Wed, 28 May 2025 05:00:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.419376
• Title: BOFormer: Learning to Solve Multi-Objective Bayesian Optimization via Non-Markovian RL
• Title（参考訳）: BOFormer:非マルコフRLによる多目的ベイズ最適化の学習
• Authors: Yu-Heng Hung, Kai-Jie Lin, Yu-Heng Lin, Chien-YiWang, Cheng Sun, Ping-Chun Hsieh,
• Abstract要約: 我々は,汎用的なQ-ラーニングフレームワークを提案し,このフレームワークをMOBOのシーケンス・モデリングによりサブスタンス化する textitBOFormer を提案する。 広範な評価により,BOFormerは,ベンチマークルールベースのアルゴリズムや学習ベースのアルゴリズムよりも常に優れていることを示す。
• 参考スコア（独自算出の注目度）: 15.127370150885348
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian optimization (BO) offers an efficient pipeline for optimizing black-box functions with the help of a Gaussian process prior and an acquisition function (AF). Recently, in the context of single-objective BO, learning-based AFs witnessed promising empirical results given its favorable non-myopic nature. Despite this, the direct extension of these approaches to multi-objective Bayesian optimization (MOBO) suffer from the \textit{hypervolume identifiability issue}, which results from the non-Markovian nature of MOBO problems. To tackle this, inspired by the non-Markovian RL literature and the success of Transformers in language modeling, we present a generalized deep Q-learning framework and propose \textit{BOFormer}, which substantiates this framework for MOBO via sequence modeling. Through extensive evaluation, we demonstrate that BOFormer constantly outperforms the benchmark rule-based and learning-based algorithms in various synthetic MOBO and real-world multi-objective hyperparameter optimization problems. We have made the source code publicly available to encourage further research in this direction.
• Abstract（参考訳）: ベイズ最適化(BO)は、ガウス過程と取得関数(AF)の助けを借りてブラックボックス関数を最適化するための効率的なパイプラインを提供する。 近年、単目的のBOの文脈では、学習ベースのAFは、望ましくない非神秘的な性質から、有望な経験的な結果を見いだした。 それにもかかわらず、これらのアプローチを多目的ベイズ最適化(MOBO)へ直接拡張することは、MOBO問題のマルコフ的でない性質から生じる『textit{hypervolume identifiability issue』に悩まされる。 言語モデリングにおける非マルコフ的RL文学とトランスフォーマーの成功に触発されたこの問題に対処するため、一般化されたQ-ラーニングフレームワークを提案し、シーケンスモデリングによるMOBOのためのこのフレームワークのサブストラテジトである \textit{BOFormer} を提案する。 BOFormerは,様々なMOBOおよび実世界の多目的ハイパーパラメータ最適化問題において,ベンチマークルールベースおよび学習ベースアルゴリズムよりも常に優れていることを示す。 我々は、この方向のさらなる研究を促進するために、ソースコードを公開しました。

関連論文リスト

• Latent Bayesian Optimization via Autoregressive Normalizing Flows [17.063294409131238]
  本研究では,正規化フローに基づくベイズ最適化(NF-BO)を提案する。 提案手法は,分子生成タスクにおいて優れた性能を示し,従来のLBO手法と最近のLBO手法の両方を著しく上回っている。
  論文  参考訳（メタデータ） (2025-04-21T06:36:09Z)
• Non-Myopic Multi-Objective Bayesian Optimization [64.31753000439514]
  多目的最適化問題を解くために、有限水平逐次実験設計の問題を考察する。 この問題は、材料設計を含む多くの現実世界の応用で発生する。 我々はMOO問題に対する最初の非ミオピック手法を提案する。
  論文  参考訳（メタデータ） (2024-12-11T04:05:29Z)
• Large Language Models to Enhance Bayesian Optimization [57.474613739645605]
  本稿では,大規模言語モデル(LLM)の能力をベイズ最適化に組み込む新しいアプローチであるLLAMBOを提案する。 高いレベルでは、自然言語のBO問題を枠組み化し、LLMが歴史的評価に照らした有望な解を反復的に提案し、評価することを可能にする。 以上の結果から,LLAMBOはゼロショットウォームスタートに有効であり,サロゲートモデリングや候補サンプリングの促進,特に観察が不十分な場合の探索の初期段階において有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-02-06T11:44:06Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• Model-based Causal Bayesian Optimization [78.120734120667]
  モデルに基づく因果ベイズ最適化(MCBO)を提案する。 MCBOは介入と逆のペアをモデリングするのではなく、完全なシステムモデルを学ぶ。 標準的なベイズ最適化とは異なり、我々の取得関数は閉形式では評価できない。
  論文  参考訳（メタデータ） (2022-11-18T14:28:21Z)
• High-Dimensional Bayesian Optimization with Sparse Axis-Aligned Subspaces [14.03847432040056]
  スパース軸整列部分空間上で定義される代理モデルは、柔軟性とパーシモニーの間に魅力的な妥協をもたらすと我々は主張する。 提案手法は,ハミルトニアンモンテカルロを推論に用い,未知の目的関数のモデル化に関連するスパース部分空間を迅速に同定できることを実証する。
  論文  参考訳（メタデータ） (2021-02-27T23:06:24Z)
• Preferential Batch Bayesian Optimization [16.141259199997005]
  優先バッチベイズ最適化(PBBO)は、潜在関数の最適性を見つけるための新しいフレームワークである。 本稿では,ベイズ最適化における従来の手法の一般化と拡張について述べる。
  論文  参考訳（メタデータ） (2020-03-25T14:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。