論文の概要: Language Model Embeddings Can Be Sufficient for Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2410.10190v3
• Date: Thu, 09 Oct 2025 17:20:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 15:34:28.29517
• Title: Language Model Embeddings Can Be Sufficient for Bayesian Optimization
• Title（参考訳）: 言語モデル埋め込みはベイズ最適化に十分である
• Authors: Tung Nguyen, Qiuyi Zhang, Bangding Yang, Chansoo Lee, Jorg Bornschein, Yingjie Miao, Sagi Perel, Yutian Chen, Xingyou Song,
• Abstract要約: 入力を文字列として表現することで、様々な領域にまたがる汎用レグレッションが実現できることを示す。 提案手法は,Google Vizierのような最先端のガウスプロセスベースの手法に匹敵する最適化性能を実現する。
• 参考スコア（独自算出の注目度）: 15.105661404305005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian Optimization is ubiquitous in experimental design and black-box optimization for improving search efficiency. However, most existing approaches rely on regression models which are limited to fixed search spaces and structured, tabular input features. This paper explores the use of LLM embeddings over string inputs for in-context regression in Bayesian Optimization. Our results show that representing inputs as strings enables general-purpose regression across diverse domains, including synthetic, combinatorial, and hyperparameter optimization. Furthermore, our approach achieves optimization performance comparable to state-of-the-art Gaussian Process-based methods such as Google Vizier, and demonstrates potential for broader and more flexible applications.
• Abstract（参考訳）: ベイズ最適化は、実験設計や探索効率向上のためのブラックボックス最適化においてユビキタスである。 しかし、既存のほとんどのアプローチは、固定された検索空間と構造化された表形式の入力特徴に制限された回帰モデルに依存している。 本稿では,文字列入力へのLLM埋め込みを用いたベイズ最適化における文脈内回帰について検討する。 この結果から,入力を文字列として表現することで,合成,組合せ,ハイパーパラメータ最適化など多種多様な領域にまたがる汎用的回帰が可能であることが示唆された。 さらに、Google Vizierのような最先端のガウスプロセスベースの手法に匹敵する最適化性能を実現し、より広範で柔軟なアプリケーションの可能性を示す。

関連論文リスト

• Efficient Non-Parametric Optimizer Search for Diverse Tasks [93.64739408827604]
  興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。 基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。 我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
  論文  参考訳（メタデータ） (2022-09-27T17:51:31Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• Scalable Bayesian Optimization Using Vecchia Approximations of Gaussian Processes [0.0]
  空間統計学から一般的なGP近似であるVecchia近似を適用し、スケーラブルな高次元ベイズ最適化を実現する。 我々は、トンプソンサンプリングによる信頼領域ベイズ最適化における歪んだヴェッキアGPの使用に焦点を当てた。
  論文  参考訳（メタデータ） (2022-03-02T23:55:14Z)
• Fourier Representations for Black-Box Optimization over Categorical Variables [34.0277529502051]
  そこで本研究では,ブラックボックス評価のためのサロゲートモデルと組み合わせた既存手法を提案する。 このような表現を学習するために、サロゲートモデルを更新するための2つの異なる設定を検討する。 合成ベンチマークと実世界のRNA配列最適化および設計問題の数値実験により,提案手法の表現力を示す。
  論文  参考訳（メタデータ） (2022-02-08T08:14:58Z)
• Triangulation candidates for Bayesian optimization [0.3222802562733786]
  ベイズ最適化 (Bayesian optimization) は、入力-出力関係を適切なフレキシブル回帰モデルで理想化する設計形式である。 本稿では,デラウネー三角測量に基づく提案手法を提案する。
  論文  参考訳（メタデータ） (2021-12-14T15:13:31Z)
• Text Counterfactuals via Latent Optimization and Shapley-Guided Search [15.919650185010491]
  本研究は,分類モデルにおける対実テキスト生成の問題について考察する。 我々は、モデルの予測を変えるために、テキストを最小限に変更することを目指している。 ホワイトボックスアプローチは、視覚における同様の問題にうまく適用されている。
  論文  参考訳（メタデータ） (2021-10-22T05:04:40Z)
• An AI-Assisted Design Method for Topology Optimization Without Pre-Optimized Training Data [68.8204255655161]
  トポロジ最適化に基づくAI支援設計手法を提示し、最適化された設計を直接的に得ることができる。 設計は、境界条件と入力データとしての充填度に基づいて、人工ニューラルネットワーク、予測器によって提供される。
  論文  参考訳（メタデータ） (2020-12-11T14:33:27Z)
• BOSS: Bayesian Optimization over String Spaces [15.630421177117634]
  本稿では,原弦上で直接作用するベイズ最適化法(BO法)を提案する。 BOループ内で文字列カーネルと遺伝的アルゴリズムを最初に使用することを提案する。
  論文  参考訳（メタデータ） (2020-10-02T13:18:27Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。