論文の概要: IQS-BO: In-Context Query Selection for Bayesian Optimisation

• arxiv url: http://arxiv.org/abs/2610.01269v1
• Date: Thu, 01 Oct 2026 08:09:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.979045
• Title: IQS-BO: In-Context Query Selection for Bayesian Optimisation
• Title（参考訳）: IQS-BO:ベイズ最適化のためのコンテキストクエリ選択
• Abstract要約: そこで本研究では,PFN である IQS-BO を提案する。 提案手法は,買収手法のコストのごく一部でクエリを提案する。 この事前トレーニングによってパフォーマンスが向上する可能性があることを示す。
• 参考スコア（独自算出の注目度）: 2.7214777196418645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian Optimisation (BO) is a powerful framework for the optimisation of expensive black-box functions, but typically requires refitting a surrogate and maximising an acquisition function at every evaluation step. In-context approaches based on Prior-data Fitted Networks (PFNs) amortise part of this cost by pre-training transformers on functions drawn from synthetic priors. PFNs4BO amortises the surrogate but still relies on a numerically maximised acquisition function, while FIBO performs BO fully in-context by sampling optimiser locations from a learned density, which fixes the decision rule and admits no surrogate. Learned acquisition functions score a finite candidate set with a trained network, but, lacking a label for the query, learn the score by reinforcement learning on previously solved tasks. We propose IQS-BO, a PFN that learns the query decision by supervised learning on synthetic priors. In a single forward pass, IQS-BO predicts the probability that each candidate maximises the objective over the set, and we show that the minimiser of its objective is the posterior probability of this event. The model can be pre-trained without a surrogate for fully in-context BO, or take the predictions of a fixed probabilistic surrogate as additional input, amortising only the decision step. Our method proposes queries at a fraction of the cost of acquisition-based methods, while either matching or outperforming standard BO with Gaussian processes (GPs) and available in-context methods on synthetic and real-world benchmarks. Finally, we propose a mixture prior for pre-training PFNs which combines samples from GPs with functions exhibiting warped inputs, isolated narrow optima, or plateaus that are poorly modeled by stationary kernels common in GP surrogates. We show that pre-training on this prior can lead to improved optimisation performance.
• Abstract（参考訳）: ベイズ最適化(BO)は高価なブラックボックス関数を最適化するための強力なフレームワークであるが、通常、サロゲートを調整し、すべての評価ステップで取得関数を最大化する必要がある。 In-context approach based on Prior-data Fitted Networks (PFNs) amortise this cost by pre-training transformer on function from synthetic priors。 PFNs4BOはサロゲートを補正するが、数値的に最大化される取得関数に依存し、FIBOは学習密度からオプティマイザ位置をサンプリングしてBOを完全にインコンテキストで実行する。 学習された獲得関数は、トレーニングされたネットワークで有限の候補セットをスコアするが、クエリのラベルが欠けているため、以前に解決されたタスクの強化学習によってスコアを学習する。 そこで本研究では,PFN である IQS-BO を提案する。 単一の前方通過において、IQS-BOは各候補が集合上の目的を最大化する確率を予測し、その目的の最小値がこの事象の後続確率であることを示す。 モデルは、完全に非コンテキストのBOに対するサロゲートなしで事前訓練したり、固定確率サロゲートの予測を追加入力として、決定ステップのみを補正することができる。 提案手法は,Gussian Process (GP) と標準BOの整合性や性能,および実世界のベンチマーク上でのコンテキスト内手法を用いて,取得手法のコストのごく一部でクエリを提案する。 最後に,PFNの事前学習に先立って,GPのサンプルと,GPサロゲートに共通する定常カーネルによってモデル化されていない,歪んだ入力,孤立した狭小オプティマ,プラトーの関数を組み合わせた混合体を提案する。 この事前トレーニングにより,最適化性能が向上する可能性が示唆された。

関連論文リスト

• Hyperparameter Optimization via Interacting with Probabilistic Circuits [20.128718882698593]
  候補点の獲得機能のない生成を可能にする新しい選択ポリシーを開発する。 本手法は,標準HPOにおける最先端性能を実現し,対話型HPOにおける対話型BOベースラインよりも優れることを示す。
  論文  参考訳（メタデータ） (2025-05-23T12:21:19Z)
• Robust Bayesian Optimization via Localized Online Conformal Prediction [37.549297668783254]
  局所化オンライン共形予測に基づくベイズ最適化(LOCBO)を導入する。 LOCBOは局所オンライン共形予測(CP)によりGPモデルを校正する 観測対象関数を保留するLOCBOのイテレートについて理論的性能保証を行う。
  論文  参考訳（メタデータ） (2024-11-26T12:45:54Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• Simulation Based Bayesian Optimization [0.0]
  本稿では,獲得関数を最適化するための新しいアプローチとして,シミュレーションベースベイズ最適化(SBBO)を提案する。 GPは後続予測分布への解析的アクセスを提供するため、サロゲートモデルとして一般的に使用される。 本研究では,SBBOの有効性を種々の代理モデルを用いて実証的に実証する。
  論文  参考訳（メタデータ） (2024-01-19T16:56:11Z)
• Provably Efficient Bayesian Optimization with Unknown Gaussian Process Hyperparameter Estimation [44.53678257757108]
  目的関数の大域的最適値にサブ線形収束できる新しいBO法を提案する。 本手法では,BOプロセスにランダムなデータポイントを追加するために,マルチアームバンディット法 (EXP3) を用いる。 提案手法は, 様々な合成および実世界の問題に対して, 既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-12T03:35:45Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
  本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。 トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。 1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
  論文  参考訳（メタデータ） (2022-05-27T11:13:17Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。