論文の概要: In-Context Learning for Latent Space Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2606.09664v1
• Date: Mon, 08 Jun 2026 15:45:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:07.481004
• Title: In-Context Learning for Latent Space Bayesian Optimization
• Title（参考訳）: 潜時空間ベイズ最適化のための文脈学習
• Authors: Tuan A. Vu, Harri Lähdesmäki, Julien Martinelli,
• Abstract要約: 潜在空間ベイズ最適化(LSBO)は、分子やタンパク質などの構造化対象に拡張する。 潜在コードから客観的値への誘導マップは、現在のインコンテキストモデルのトレーニングに使用される回帰タスクと著しく異なる。 このミスマッチは、表層基礎モデルの事前学習段階と、分子VAEの潜伏空間上で定義された合成最適化タスクを補完することにより解決される。
• 参考スコア（独自算出の注目度）: 8.943469192703875
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian optimization (BO) is a central tool for sample-efficient design, and latent-space Bayesian optimization (LSBO) extends it to structured objects such as molecules and proteins. In parallel, tabular foundation models such as TabPFN and TabICL now achieve state-of-the-art regression performance and are increasingly used as BO surrogates. Because their Bayesian behavior is induced by large synthetic pretraining collections, the composition of this pretraining distribution is crucial. LSBO creates a distinctive mismatch: the induced map from latent code to objective value differs markedly from the regression tasks used to train current in-context models. We address this mismatch by complementing the pretraining stage of tabular foundation model surrogates with synthetic optimization tasks defined on the latent space of a molecular VAE. The continued-pretraining objective features a regularizer that anchors the model to the original checkpoint, preserving its broad regression prior while avoiding overspecialization to the adaptation tasks. On held-out molecular optimization benchmarks, the resulting model achieves strong performance, supporting the relevance of LSBO-specific adaptation for in-context surrogates.
• Abstract（参考訳）: ベイズ最適化(英: Bayesian optimization, BO)は、サンプル効率の高い設計のための中心的なツールであり、潜在空間ベイズ最適化(英: latent-space Bayesian optimization, LSBO)は、分子やタンパク質のような構造化対象に拡張する。 並行して、TabPFNやTabICLといった表層基盤モデルは最先端のレグレッション性能を実現し、BOサロゲートとしての利用が増えている。 彼らのベイズ的行動は、大規模な合成事前学習コレクションによって引き起こされるため、この事前学習分布の組成は不可欠である。 潜在コードから客観的値への誘導マップは、現在のインコンテキストモデルのトレーニングに使用される回帰タスクと著しく異なる。 このミスマッチは,表層基礎モデルの事前学習段階と,分子VAEの潜伏空間上で定義された合成最適化タスクを補完することにより解決される。 継続事前学習の対象は、モデルを元のチェックポイントに固定し、適応タスクへの過度な特殊化を避けながら、その広範な回帰を前もって保存する正規化器である。 ホールドアウト分子最適化ベンチマークでは、結果のモデルが強い性能を達成し、文脈内サロゲートに対するLSBO固有の適応の関連性をサポートする。

関連論文リスト

• Support-Proximity Augmented Diffusion Estimation for Offline Black-Box Optimization [17.43522044331905]
  本研究では,SPADE(Support-Proximity Augmented Diffusion Estimation)を提案する。 本研究では,SPADE が Design-Bench タスクと LLM データ混合最適化ベンチマークを用いて,最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2026-05-11T21:09:28Z)
• Relation Reasoning with LLMs in Expensive Optimization [19.271995977675758]
  本稿では,強化学習型関係ベース大規模言語モデル (LLM) であるR2SAEAを提案する。 関係性に基づく代理モデリングをコンテキスト内のペアワイズ推論タスクとして用いた。 単目的と多目的のベンチマーク実験では、関係予測と最先端の最適化性能が改善された。
  論文  参考訳（メタデータ） (2026-04-30T04:28:10Z)
• Matching Features, Not Tokens: Energy-Based Fine-Tuning of Language Models [102.20309135516186]
  クロスエントロピー(CE)トレーニングは、言語モデルの密集したスケーラブルな監視を提供する。 言語モデル微調整のための特徴マッチング手法を提案する。 この目的を効率的に最適化するために,エネルギーベースファインチューニングを提案する。
  論文  参考訳（メタデータ） (2026-03-12T17:57:50Z)
• Task-free Adaptive Meta Black-box Optimization [55.461814601130044]
  対象タスクからのみ最適化データを用いてオンラインパラメータ適応を行うアダプティブメタブラックボックス最適化モデル(ABOM)を提案する。 メタトレーニングと最適化フェーズを分離する従来のメタBBOフレームワークとは異なり、ABOMはクローズドループパラメータ学習機構を導入し、パラメータ化された進化演算子を継続的に自己更新する。 このパラダイムシフトはゼロショット最適化を可能にする: 合成BBOベンチマークにおけるABOMの競合性能と、手作りのトレーニングタスクを伴わない現実的な無人飛行路計画問題。
  論文  参考訳（メタデータ） (2026-01-29T09:54:10Z)
• MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
  大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。 我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。 本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
  論文  参考訳（メタデータ） (2026-01-12T05:02:48Z)
• HiBBO: HiPPO-based Space Consistency for High-dimensional Bayesian Optimisation [23.518990631999884]
  HiBBO は、HiPPO を用いた VAE の潜在空間構築に空間整合性を導入する新しい BO フレームワークである。 高次元のベンチマークタスクの実験は、HiBBOが既存のVAEBO法よりも収束速度と解の質で優れていることを示した。
  論文  参考訳（メタデータ） (2025-10-10T03:22:10Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Latent Bayesian Optimization via Autoregressive Normalizing Flows [17.063294409131238]
  本研究では,正規化フローに基づくベイズ最適化(NF-BO)を提案する。 提案手法は,分子生成タスクにおいて優れた性能を示し,従来のLBO手法と最近のLBO手法の両方を著しく上回っている。
  論文  参考訳（メタデータ） (2025-04-21T06:36:09Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。