論文の概要: LLM Based Bayesian Optimization for Prompt Search

• arxiv url: http://arxiv.org/abs/2510.04384v1
• Date: Sun, 05 Oct 2025 22:32:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.621081
• Title: LLM Based Bayesian Optimization for Prompt Search
• Title（参考訳）: プロンプト探索のためのLLMに基づくベイズ最適化
• Authors: Adam Ballew, Jingbo Wang, Shaogang Ren,
• Abstract要約: 本稿では,大規模言語モデルを用いたテキスト分類を高速化するアルゴリズムを提案する。 本稿では,BO-LLMアルゴリズムを2つのデータセットで評価し,その利点について述べる。
• 参考スコア（独自算出の注目度）: 6.764478031814792
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Bayesian Optimization (BO) has been widely used to efficiently optimize expensive black-box functions with limited evaluations. In this paper, we investigate the use of BO for prompt engineering to enhance text classification with Large Language Models (LLMs). We employ an LLM-powered Gaussian Process (GP) as the surrogate model to estimate the performance of different prompt candidates. These candidates are generated by an LLM through the expansion of a set of seed prompts and are subsequently evaluated using an Upper Confidence Bound (UCB) acquisition function in conjunction with the GP posterior. The optimization process iteratively refines the prompts based on a subset of the data, aiming to improve classification accuracy while reducing the number of API calls by leveraging the prediction uncertainty of the LLM-based GP. The proposed BO-LLM algorithm is evaluated on two datasets, and its advantages are discussed in detail in this paper.
• Abstract（参考訳）: ベイズ最適化(BO)は、限られた評価で高価なブラックボックス関数を効率的に最適化するために広く用いられている。 本稿では,Large Language Models (LLMs) を用いたテキスト分類の高速化を目的として,BOを用いた迅速なエンジニアリングについて検討する。 我々は,異なるプロンプト候補の性能を推定するために,LLMを用いたガウス過程(GP)を代理モデルとして採用する。 これらの候補は,一組のシードプロンプトの拡大によってLLMによって生成され,その後GP後部と共に上信頼境界(UCB)取得関数を用いて評価される。 最適化プロセスは、LLMベースのGPの予測不確実性を利用して、API呼び出し数を減らし、分類精度を向上させることを目的として、データのサブセットに基づいてプロンプトを反復的に洗練する。 提案するBO-LLMアルゴリズムを2つのデータセットで評価し,その利点を述べる。

関連論文リスト

• Fine-tuning LLMs with variational Bayesian last layer for high-dimensional Bayesian optimization [4.12346015436419]
  高い評価コストを伴うブラックボックス最適化問題は、サンプル効率でブラックボックス最適化問題を解く必要がある。 本稿では,高次元の入力変数から目的関数へのマッピングをモデル化するニューラルネットワークに基づくサロゲートを提案する。 提案した(ENS-)LoRA-VBLL手法の様々な高次元ベンチマークおよび実世界の分子最適化タスクにおける性能を実証する。
  論文  参考訳（メタデータ） (2025-10-01T21:28:50Z)
• Large Scale Multi-Task Bayesian Optimization with Large Language Models [29.12351845364205]
  本稿では,大規模言語モデル(LLM)を活用して,従来の最適化軌道から学習し,改良する手法を提案する。 本手法は,データベースクエリ最適化と抗菌ペプチドの設計の2つの異なる領域で評価する。
  論文  参考訳（メタデータ） (2025-03-11T07:46:19Z)
• Meta-Prompt Optimization for LLM-Based Sequential Decision Making [24.050701239196876]
  大規模言語モデル(LLM)は、シーケンシャルな意思決定タスクを解決するエージェントとして採用されている。 メタプロンプトにおけるタスク記述とメタインストラクションを自動的に最適化する,プロンプト最適化(EXPO)のためのEXPonential-weightアルゴリズムを提案する。 また、EXPOを拡張して、メタプロンプトの例を最適化し、パフォーマンスをさらに向上する。
  論文  参考訳（メタデータ） (2025-02-02T09:22:39Z)
• Self-Calibrated Listwise Reranking with Large Language Models [137.6557607279876]
  大規模言語モデル (LLM) はシーケンシャル・ツー・シーケンス・アプローチによってタスクのランク付けに使用されている。 この階調のパラダイムは、より大きな候補集合を反復的に扱うためにスライディングウインドウ戦略を必要とする。 そこで本稿では,LLMを用いた自己校正リストのランク付け手法を提案する。
  論文  参考訳（メタデータ） (2024-11-07T10:31:31Z)
• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 グラディエントにインスパイアされた Prompt ベースの GPO を開発した。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• Enhancing Explainability of Hyperparameter Optimization via Bayesian Algorithm Execution [13.037647287689438]
  部分依存プロットのような解釈可能な機械学習(IML)手法とHPOの組み合わせについて検討する。 我々は,最適大域的予測性能を効率的に探索する改良HPO法を提案する。 提案手法は,最適化性能を損なうことなく,ブラックボックスの信頼性の高い説明を返す。
  論文  参考訳（メタデータ） (2022-06-11T07:12:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。