論文の概要: Hyperband-based Bayesian Optimization for Black-box Prompt Selection

• arxiv url: http://arxiv.org/abs/2412.07820v2
• Date: Tue, 03 Jun 2025 09:59:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 01:42:08.955858
• Title: Hyperband-based Bayesian Optimization for Black-box Prompt Selection
• Title（参考訳）: ブラックボックスプロンプト選択のためのハイパーバンドベースベイズ最適化
• Authors: Lennart Schneider, Martin Wistuba, Aaron Klein, Jacek Golebiowski, Giovanni Zappella, Felice Antonio Merra,
• Abstract要約: ブラックボックスのプロンプト選択は、潜在的に大きな検索スペース、勾配情報の欠如、検証セット上のプロンプトの評価コストが高いため、困難である。 本稿では,HbBoPsを提案する。HbBoPsは,マルチファイダリティスケジューラとして,構造を意識したディープカーネルガウスプロセスとハイパーバンドを組み合わせた新しい手法である。 HbBoPsは、パフォーマンスと効率の両方で最先端の手法より優れている。
• 参考スコア（独自算出の注目度）: 15.756224286651237
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimal prompt selection is crucial for maximizing large language model (LLM) performance on downstream tasks, especially in black-box settings where models are only accessible via APIs. Black-box prompt selection is challenging due to potentially large, combinatorial search spaces, absence of gradient information, and high evaluation cost of prompts on a validation set. We propose HbBoPs, a novel method that combines a structural-aware deep kernel Gaussian Process with Hyperband as a multi-fidelity scheduler to efficiently select prompts. HbBoPs uses embeddings of instructions and few-shot exemplars, treating them as modular components within prompts. This enhances the surrogate model's ability to predict which prompt to evaluate next in a sample-efficient manner. Hyperband improves query-efficiency by adaptively allocating resources across different fidelity levels, reducing the number of validation instances required for evaluating prompts. Extensive experiments across ten diverse benchmarks and three LLMs demonstrate that HbBoPs outperforms state-of-the-art methods in both performance and efficiency.
• Abstract（参考訳）: 大規模な言語モデル(LLM)のパフォーマンスをダウンストリームタスクで最大化するためには、特にモデルがAPI経由でのみアクセス可能なブラックボックス設定において、最適なプロンプト選択が不可欠である。 ブラックボックスのプロンプト選択は、潜在的に大きな組合せ探索空間、勾配情報の欠如、検証セット上のプロンプトの評価コストが高いため、困難である。 本稿では,HbBoPsを提案する。HbBoPsは構造対応のディープカーネルガウスプロセスとハイパーバンドを組み合わせた新しい手法で,プロンプトを効率的に選択する多要素スケジューラである。 HbBoPsは命令と数発の例を埋め込み、プロンプト内のモジュールコンポーネントとして扱う。 これにより、サロゲートモデルのどのプロンプトをサンプル効率で評価するかを予測する能力が向上する。 Hyperbandは、さまざまな忠実度レベルのリソースを適応的に割り当てることで、クエリ効率を改善し、プロンプトの評価に必要なバリデーションインスタンスの数を削減している。 10の多様なベンチマークと3つのLLMにわたる大規模な実験により、HbBoPsはパフォーマンスと効率の両方で最先端の手法より優れていることが示された。

関連論文リスト

• ZIP: An Efficient Zeroth-order Prompt Tuning for Black-box Vision-Language Models [14.137615267026755]
  そこで本研究では,ゼロ階内在次元のプロンプトチューニングを提案し,ブラックボックス設定で高速かつロバストなプロンプト最適化を実現する。 標準ベンチマークで13以上の視覚言語タスクに対するZIPを評価し, 精度が約6%向上し, クエリ効率が48%向上したことを示す。
  論文  参考訳（メタデータ） (2025-04-09T12:56:22Z)
• MARS: A Multi-Agent Framework Incorporating Socratic Guidance for Automated Prompt Optimization [30.748085697067154]
  ソクラティックガイダンス(MARS)を取り入れたマルチエージェントフレームワークを提案する。 MARSは7つのエージェントから構成され、それぞれ異なる機能を持ち、Plannerを自律的に使用して最適化パスを設計する。 提案手法の有効性を検証するため,様々なデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2025-03-21T06:19:55Z)
• Auto-Demo Prompting: Leveraging Generated Outputs as Demonstrations for Enhanced Batch Prompting [0.8238423959893132]
  自動デモ(Auto-Demo Prompting)は、初期質問からの問合せペアを、その後の回答推論の実証としてバッチ内で活用する、新しいアプローチである。 本手法は,バッチプロンプトと少数ショットプロンプトのギャップを効果的に埋め,トークン使用率のわずかな妥協だけで性能を向上する。
  論文  参考訳（メタデータ） (2024-10-02T16:34:40Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• Large Language Models Prompting With Episodic Memory [53.8690170372303]
  本稿では,POEM(PrOmpting with Episodic Memory)を提案する。 テストフェーズでは、各テストクエリのサンプルのシーケンスを最適化し、エピソードメモリにおけるトップkで最も類似したトレーニング例から最も高い合計報酬を得るシーケンスを選択する。 その結果,POEMはテキスト分類タスクにおいてTEMPERAやRLPromptといった最近の技術よりも5.3%向上していることがわかった。
  論文  参考訳（メタデータ） (2024-08-14T11:19:28Z)
• Prompt Tuning as User Inherent Profile Inference Machine [53.78398656789463]
  本稿では,ユーザプロファイルの推測にプロンプトチューニングを用いるUserIP-Tuningを提案する。 プロファイル量子化コードブックは、プロファイル埋め込みによるモダリティギャップを協調IDにブリッジする。 4つの公開データセットの実験では、UserIP-Tuningは最先端のレコメンデーションアルゴリズムを上回っている。
  論文  参考訳（メタデータ） (2024-08-13T02:25:46Z)
• Improving Minimum Bayes Risk Decoding with Multi-Prompt [10.401677244785166]
  提案するマルチプロンプト復号法では,多くの候補が推論時にプロンプトバンクから復号される。 候補をアンサンブルするために、最小ベイズリスク(MBR)デコーディングを使用し、トレーニングされた値メトリックを使用して最終的な出力を選択する。
  論文  参考訳（メタデータ） (2024-07-22T02:57:10Z)
• On Speeding Up Language Model Evaluation [48.51924035873411]
  LLM(Large Language Models)を用いたプロンプトベースの手法の開発には、多くの意思決定が必要である。 この課題に対処するための新しい手法を提案する。 典型的に必要とされるリソースの5～15%しか必要とせず,トップパフォーマンスの手法を識別できることが示される。
  論文  参考訳（メタデータ） (2024-07-08T17:48:42Z)
• Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars [66.823588073584]
  大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。 これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。 既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
  論文  参考訳（メタデータ） (2024-05-25T08:23:05Z)
• Efficient Prompt Optimization Through the Lens of Best Arm Identification [50.56113809171805]
  この作業は、明示的な予算制約の下でプロンプト選択を効率的に行うための、原則化されたフレームワークであるTRIPLEを提供する。 マルチアームバンディット(MAB)における即時最適化と固定予算ベストアーム識別(BAI-FB)の間に確立された新しい接続上に構築されている。
  論文  参考訳（メタデータ） (2024-02-15T05:31:13Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。