論文の概要: Embedding by Elicitation: Dynamic Representations for Bayesian Optimization of System Prompts

• arxiv url: http://arxiv.org/abs/2605.19093v1
• Date: Mon, 18 May 2026 20:28:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:08.97691
• Title: Embedding by Elicitation: Dynamic Representations for Bayesian Optimization of System Prompts
• Title（参考訳）: 励振による埋め込み:システムプロンプトのベイズ最適化のための動的表現
• Authors: Zhiyuan Jerry Lin, Benjamin Letham, Samuel Dooley, Maximilian Balandat, Eytan Bakshy,
• Abstract要約: システムプロンプトは、現代のAIシステムにおいて中心的な制御メカニズムであり、会話、タスク、ユーザ集団間での振る舞いを形作る。 本研究では,この集合フィードバック設定を,個別の可変長テキストに対するサンプル制約付きブラックボックス最適化として検討する。 本稿では,ベイズ最適化フレームワークReElicitを紹介する。
• 参考スコア（独自算出の注目度）: 22.060204303535187
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: System prompts are a central control mechanism in modern AI systems, shaping behavior across conversations, tasks, and user populations. Yet they are difficult to tune when feedback is available only as aggregate metrics rather than per-example labels, failures, or critiques. We study this aggregate feedback setting as sample-constrained black-box optimization over discrete, variable-length text. We introduce ReElicit, a Bayesian optimization framework based on \emph{embedding by elicitation}. Given a task description, previously evaluated prompts, and scalar scores, an LLM elicits a compact, interpretable feature space and maps prompts into it. Leveraging a probabilistic Gaussian process surrogate, an acquisition function then selects target feature vectors, which the LLM realizes and refines into deployable system prompts. Re-eliciting the feature space as new evaluations arrive lets the representation adapt to the observed prompt-score history. We evaluate the setting using offline benchmark accuracy as a controlled aggregate proxy: the optimizer observes one scalar score per prompt and no per-example labels, errors, or critiques. Across ten system prompt optimization tasks with a 30 total evaluation budget, ReElicit achieves the strongest aggregate performance profile among representative aggregate-only prompt-optimization baselines. These results suggest that LLMs can serve as adaptive semantic representation builders, not only prompt generators, for Bayesian optimization over natural-language artifacts.
• Abstract（参考訳）: システムプロンプトは、現代のAIシステムにおいて中心的な制御メカニズムであり、会話、タスク、ユーザ集団間での振る舞いを形作る。 しかし、フィードバックがラベルや失敗、批判ではなく、集約されたメトリクスとしてのみ利用できるように調整するのは困難です。 本研究では,この集合フィードバック設定を,個別の可変長テキストに対するサンプル制約付きブラックボックス最適化として検討する。 本稿では,emph{embedding by elicitation}に基づくベイズ最適化フレームワークReElicitを紹介する。 タスク記述、事前に評価されたプロンプト、スカラースコアが与えられた後、LLMはコンパクトで解釈可能な特徴空間を付与し、そのプロンプトをマップする。 確率的ガウス過程サロゲートを利用して、取得関数はターゲット特徴ベクトルを選択し、LLMはそれを認識して展開可能なシステムプロンプトに洗練する。 特徴空間を新しい評価として再評価することで、観察されたプロンプトスコア履歴に適応することができる。 最適化器はプロンプト毎に1つのスカラースコアを観測し,出力ラベルやエラー,批評を含まない。 ReElicitは、30の総合的な評価予算を持つ10のシステムにおいて、アグリゲートのみのプロンプト最適化ベースラインのうち、最強のアグリゲート性能プロファイルを達成する。 これらの結果から,LLMは適応的な意味表現ビルダーとして機能し,生成をプロンプトするだけでなく,自然言語のアーティファクトに対するベイズ最適化にも有効であることが示唆された。

関連論文リスト

• GFlowPO: Generative Flow Network as a Language Model Prompt Optimizer [51.31263673158136]
  GFlowPOは、メタプロンプト参照-LMにより正規化される潜在プロンプトに対する後部推論問題としてプロンプトをキャストする。 GFlowPOは、最近の離散的なプロンプト最適化ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-03T10:30:03Z)
• Automatic Prompt Optimization for Dataset-Level Feature Discovery [38.37728428959515]
  特徴発見をデータセットレベルのプロンプト最適化問題として定式化する。 本稿では,言語モデルエージェントが特徴定義を共同で提案し,特徴値を抽出し,特徴品質を評価するマルチエージェントプロンプト最適化フレームワークを提案する。 この定式化は、サンプルごとの監督に依存し、非構造化テキストからの自動特徴発見のための原則化されたメカニズムを提供する、事前のプロンプト最適化手法から逸脱する。
  論文  参考訳（メタデータ） (2026-01-20T12:51:03Z)
• Auto-Prompting with Retrieval Guidance for Frame Detection in Logistics [0.0]
  プロンプトエンジニアリングは、大規模な言語モデル(LLM)を大規模な微調整を必要とせずに複雑な推論やラベル付けタスクに適応する上で重要な役割を担っている。 本稿では,ロジスティクステキストにおけるフレーム検出のための新しいプロンプト最適化パイプラインを提案し,検索強化生成(RAG),少数ショットプロンプト,チェーン・オブ・シークレット(CoT)推論,自動CoT合成(Auto-CoT)を組み合わせて,タスク固有のプロンプトを生成する。 このフレームワークは実世界のロジスティクステキストアノテーションタスクで評価され、推論精度とラベリング効率が重要となる。
  論文  参考訳（メタデータ） (2025-12-22T10:29:51Z)
• LLM Based Bayesian Optimization for Prompt Search [6.764478031814792]
  本稿では,大規模言語モデルを用いたテキスト分類を高速化するアルゴリズムを提案する。 本稿では,BO-LLMアルゴリズムを2つのデータセットで評価し,その利点について述べる。
  論文  参考訳（メタデータ） (2025-10-05T22:32:50Z)
• Self-Calibrated Listwise Reranking with Large Language Models [137.6557607279876]
  大規模言語モデル (LLM) はシーケンシャル・ツー・シーケンス・アプローチによってタスクのランク付けに使用されている。 この階調のパラダイムは、より大きな候補集合を反復的に扱うためにスライディングウインドウ戦略を必要とする。 そこで本稿では,LLMを用いた自己校正リストのランク付け手法を提案する。
  論文  参考訳（メタデータ） (2024-11-07T10:31:31Z)
• In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
  大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。 これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。 本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)
• Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
  Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。 RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
  論文  参考訳（メタデータ） (2024-02-12T22:47:57Z)
• Robust Prompt Optimization for Large Language Models Against Distribution Shifts [80.6757997074956]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて重要な能力を示している。 本稿では,LLMの分散シフトに対するロバストな最適化法を提案する。 この問題は、ラベル付けされたソースグループに最適化されたプロンプトを同時にラベル付けされていないターゲットグループに一般化する必要がある。
  論文  参考訳（メタデータ） (2023-05-23T11:30:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。