論文の概要: PABBO: Preferential Amortized Black-Box Optimization

• arxiv url: http://arxiv.org/abs/2503.00924v1
• Date: Sun, 02 Mar 2025 14:57:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 18:50:37.683175
• Title: PABBO: Preferential Amortized Black-Box Optimization
• Title（参考訳）: PABBO: 優先修正ブラックボックス最適化
• Authors: Xinyu Zhang, Daolang Huang, Samuel Kaski, Julien Martinelli,
• Abstract要約: 優先ベイズ最適化(英: Preferential Bayesian Optimization, PBO)は、一対の設計に対する優先的なフィードバックから潜在ユーザユーティリティを学習するためのサンプリング効率のよい手法である。 そこで本研究では,PBOを完全修復し,サロゲートと取得機能の両方をメタラーニングすることで,この問題を回避することを提案する。 提案手法はガウスのプロセスベース戦略よりも数桁高速であり,精度で優れていることが多い。
• 参考スコア（独自算出の注目度）: 24.019185659134294
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Preferential Bayesian Optimization (PBO) is a sample-efficient method to learn latent user utilities from preferential feedback over a pair of designs. It relies on a statistical surrogate model for the latent function, usually a Gaussian process, and an acquisition strategy to select the next candidate pair to get user feedback on. Due to the non-conjugacy of the associated likelihood, every PBO step requires a significant amount of computations with various approximate inference techniques. This computational overhead is incompatible with the way humans interact with computers, hindering the use of PBO in real-world cases. Building on the recent advances of amortized BO, we propose to circumvent this issue by fully amortizing PBO, meta-learning both the surrogate and the acquisition function. Our method comprises a novel transformer neural process architecture, trained using reinforcement learning and tailored auxiliary losses. On a benchmark composed of synthetic and real-world datasets, our method is several orders of magnitude faster than the usual Gaussian process-based strategies and often outperforms them in accuracy.
• Abstract（参考訳）: 優先ベイズ最適化(英: Preferential Bayesian Optimization, PBO)は、一対の設計に対する優先的なフィードバックから潜在ユーザユーティリティを学習するためのサンプリング効率のよい手法である。 これは、潜伏関数(通常ガウス過程)に対する統計的代理モデルと、ユーザのフィードバックを得るために次の候補ペアを選択するための獲得戦略に依存している。 関連する可能性の非共役性のため、各PBOステップは様々な近似推論手法でかなりの量の計算を必要とする。 この計算オーバーヘッドは、人間がコンピュータと対話する方法と互換性がなく、現実世界のケースではPBOの使用を妨げる。 近年の減退型BOの進歩を踏まえ,PBOを完全減退させ,サロゲートと取得機能の両方をメタラーニングすることで,この問題を回避することを提案する。 提案手法は,強化学習と補助的損失の調整によりトレーニングされた,新しいトランスフォーマーニューラルプロセスアーキテクチャからなる。 合成および実世界のデータセットからなるベンチマークでは、我々の手法は通常のガウスのプロセスベース戦略よりも数桁高速であり、しばしば精度で性能を向上する。

関連論文リスト

• Gradient-based Sample Selection for Faster Bayesian Optimization [11.242721310713963]
  大予算のシナリオでは、標準GPモデルを直接活用することは、計算時間とリソース要求において大きな課題に直面します。 本稿では,勾配に基づくサンプル選択ベイズ最適化(GSSBO)を提案し,BOの計算効率を向上させる。 提案手法は,ベースライン法に匹敵する最適化性能を維持しつつ,BOにおけるGPフィッティングの計算コストを大幅に削減する。
  論文  参考訳（メタデータ） (2025-04-10T13:38:15Z)
• Cost-Sensitive Multi-Fidelity Bayesian Optimization with Transfer of Learning Curve Extrapolation [55.75188191403343]
  各ユーザが事前に定義した機能であるユーティリティを導入し,BOのコストと性能のトレードオフについて述べる。 このアルゴリズムをLCデータセット上で検証した結果,従来のマルチファイルBOや転送BOベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2024-05-28T07:38:39Z)
• Reinforced In-Context Black-Box Optimization [64.25546325063272]
  RIBBOは、オフラインデータからエンドツーエンドでBBOアルゴリズムを強化学習する手法である。 RIBBOは、複数の動作アルゴリズムとタスクによって生成される最適化履歴を学習するために、表現的なシーケンスモデルを使用している。 提案手法の中心となるのは,テキストレグレット・ツー・ゴートークンによる最適化履歴の増大である。
  論文  参考訳（メタデータ） (2024-02-27T11:32:14Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• Decreasing the Computing Time of Bayesian Optimization using Generalizable Memory Pruning [56.334116591082896]
  本稿では,任意のサロゲートモデルと取得関数で使用可能なメモリプルーニングとバウンダリ最適化のラッパーを示す。 BOを高次元または大規模データセット上で実行することは、この時間の複雑さのために難解になる。 すべてのモデル実装はMIT Supercloudの最先端コンピューティングハードウェア上で実行される。
  論文  参考訳（メタデータ） (2023-09-08T14:05:56Z)
• Efficient Bayesian Optimization with Deep Kernel Learning and Transformer Pre-trained on Multiple Heterogeneous Datasets [9.510327380529892]
  本稿では,トランスフォーマーベースのエンコーダから学習した深い特徴に基づいてカーネルが定義されたガウス過程(GP)であるサロゲートを事前訓練する簡単な手法を提案する。 総合的および実ベンチマーク問題に対する実験は,提案した事前学習および転送BO戦略の有効性を実証するものである。
  論文  参考訳（メタデータ） (2023-08-09T01:56:10Z)
• Provably Efficient Bayesian Optimization with Unknown Gaussian Process Hyperparameter Estimation [44.53678257757108]
  目的関数の大域的最適値にサブ線形収束できる新しいBO法を提案する。 本手法では,BOプロセスにランダムなデータポイントを追加するために,マルチアームバンディット法 (EXP3) を用いる。 提案手法は, 様々な合成および実世界の問題に対して, 既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-12T03:35:45Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Asynchronous Decentralized Bayesian Optimization for Large Scale Hyperparameter Optimization [13.89136187674851]
  BOでは、パラメータ構成と性能の関係を学習するために、計算的に安価にサロゲートモデルを用いる。 本稿では非同期分散BOを提案する。各ワーカーがシーケンシャルBOを実行し、その結果を共有ストレージを介して非同期に通信する。 計算効率を損なうことなく,作業者の95%以上を並列作業者1,920名に拡張する。
  論文  参考訳（メタデータ） (2022-07-01T15:07:56Z)
• High Dimensional Bayesian Optimization Assisted by Principal Component Analysis [4.030481609048958]
  高次元数値最適化問題に対する新しいPCA支援BO(PCA-BO)アルゴリズムを提案する。 我々は,PCA-BOが高次元問題におけるCPU時間を効果的に削減し,適切なグローバル構造を持つ問題に対する収束率を維持することを示す。
  論文  参考訳（メタデータ） (2020-07-02T07:03:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。