論文の概要: Predicting from Strings: Language Model Embeddings for Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2410.10190v1
• Date: Tue, 15 Oct 2024 17:23:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 02:24:44.286730
• Title: Predicting from Strings: Language Model Embeddings for Bayesian Optimization
• Title（参考訳）: 文字列からの予測:ベイズ最適化のための言語モデル埋め込み
• Authors: Tung Nguyen, Qiuyi Zhang, Bangding Yang, Chansoo Lee, Jorg Bornschein, Yingjie Miao, Sagi Perel, Yutian Chen, Xingyou Song,
• Abstract要約: 文字列入力に対してコンテキスト内回帰を適用するパラダイムである Embed-then-Regress を提案する。 すべての入力を文字列として表現することで、様々な領域に対して最適化のための汎用回帰を行うことができる。
• 参考スコア（独自算出の注目度）: 21.370382766970877
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian Optimization is ubiquitous in the field of experimental design and blackbox optimization for improving search efficiency, but has been traditionally restricted to regression models which are only applicable to fixed search spaces and tabular input features. We propose Embed-then-Regress, a paradigm for applying in-context regression over string inputs, through the use of string embedding capabilities of pretrained language models. By expressing all inputs as strings, we are able to perform general-purpose regression for Bayesian Optimization over various domains including synthetic, combinatorial, and hyperparameter optimization, obtaining comparable results to state-of-the-art Gaussian Process-based algorithms. Code can be found at github.com/google-research/optformer/embed_then_regress.
• Abstract（参考訳）: ベイズ最適化は、探索効率を改善するための実験設計とブラックボックス最適化の分野ではユビキタスであるが、伝統的に、固定された検索空間や表の入力機能にのみ適用可能な回帰モデルに限られてきた。 本研究では,事前学習した言語モデルの文字列埋め込み機能を用いて,文字列入力に対してコンテキスト内回帰を適用するためのパラダイムである Embed-then-Regress を提案する。 すべての入力を文字列として表現することにより、合成、組合せ、ハイパーパラメータ最適化を含む様々な領域に対してベイズ最適化の汎用回帰を行い、最先端のガウス過程に基づくアルゴリズムに匹敵する結果を得ることができる。 コードはgithub.com/google-research/optformer/embed_then_regressで見ることができる。

関連論文リスト

• Efficient Non-Parametric Optimizer Search for Diverse Tasks [93.64739408827604]
  興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。 基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。 我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
  論文  参考訳（メタデータ） (2022-09-27T17:51:31Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• Scalable Bayesian Optimization Using Vecchia Approximations of Gaussian Processes [0.0]
  空間統計学から一般的なGP近似であるVecchia近似を適用し、スケーラブルな高次元ベイズ最適化を実現する。 我々は、トンプソンサンプリングによる信頼領域ベイズ最適化における歪んだヴェッキアGPの使用に焦点を当てた。
  論文  参考訳（メタデータ） (2022-03-02T23:55:14Z)
• Fourier Representations for Black-Box Optimization over Categorical Variables [34.0277529502051]
  そこで本研究では,ブラックボックス評価のためのサロゲートモデルと組み合わせた既存手法を提案する。 このような表現を学習するために、サロゲートモデルを更新するための2つの異なる設定を検討する。 合成ベンチマークと実世界のRNA配列最適化および設計問題の数値実験により,提案手法の表現力を示す。
  論文  参考訳（メタデータ） (2022-02-08T08:14:58Z)
• Triangulation candidates for Bayesian optimization [0.3222802562733786]
  ベイズ最適化 (Bayesian optimization) は、入力-出力関係を適切なフレキシブル回帰モデルで理想化する設計形式である。 本稿では,デラウネー三角測量に基づく提案手法を提案する。
  論文  参考訳（メタデータ） (2021-12-14T15:13:31Z)
• Text Counterfactuals via Latent Optimization and Shapley-Guided Search [15.919650185010491]
  本研究は,分類モデルにおける対実テキスト生成の問題について考察する。 我々は、モデルの予測を変えるために、テキストを最小限に変更することを目指している。 ホワイトボックスアプローチは、視覚における同様の問題にうまく適用されている。
  論文  参考訳（メタデータ） (2021-10-22T05:04:40Z)
• An AI-Assisted Design Method for Topology Optimization Without Pre-Optimized Training Data [68.8204255655161]
  トポロジ最適化に基づくAI支援設計手法を提示し、最適化された設計を直接的に得ることができる。 設計は、境界条件と入力データとしての充填度に基づいて、人工ニューラルネットワーク、予測器によって提供される。
  論文  参考訳（メタデータ） (2020-12-11T14:33:27Z)
• BOSS: Bayesian Optimization over String Spaces [15.630421177117634]
  本稿では,原弦上で直接作用するベイズ最適化法(BO法)を提案する。 BOループ内で文字列カーネルと遺伝的アルゴリズムを最初に使用することを提案する。
  論文  参考訳（メタデータ） (2020-10-02T13:18:27Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。