論文の概要: Automatic Prompt Optimization via Heuristic Search: A Survey

• arxiv url: http://arxiv.org/abs/2502.18746v1
• Date: Wed, 26 Feb 2025 01:42:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:58:03.432055
• Title: Automatic Prompt Optimization via Heuristic Search: A Survey
• Title（参考訳）: ヒューリスティックサーチによる自動プロンプト最適化:サーベイ
• Authors: Wendi Cui, Jiaxin Zhang, Zhuohang Li, Hao Sun, Damien Lopez, Kamalika Das, Bradley A. Malin, Sricharan Kumar,
• Abstract要約: 大規模言語モデルは、様々な自然言語処理タスクにおいて顕著な成果をもたらしています。 手動の手法は効果的であるが、通常は直感に頼り、時間とともに自動的にプロンプトを洗練しない。 検索アルゴリズムを用いた自動プロンプト最適化は、人間の監視を最小限に抑えて、システマティックにプロンプトを探索し改善することができる。
• 参考スコア（独自算出の注目度）: 13.332569343755075
• License:
• Abstract: Recent advances in Large Language Models have led to remarkable achievements across a variety of Natural Language Processing tasks, making prompt engineering increasingly central to guiding model outputs. While manual methods can be effective, they typically rely on intuition and do not automatically refine prompts over time. In contrast, automatic prompt optimization employing heuristic-based search algorithms can systematically explore and improve prompts with minimal human oversight. This survey proposes a comprehensive taxonomy of these methods, categorizing them by where optimization occurs, what is optimized, what criteria drive the optimization, which operators generate new prompts, and which iterative search algorithms are applied. We further highlight specialized datasets and tools that support and accelerate automated prompt refinement. We conclude by discussing key open challenges pointing toward future opportunities for more robust and versatile LLM applications.
• Abstract（参考訳）: 大規模言語モデルの最近の進歩は、様々な自然言語処理タスクにおいて顕著な成果をもたらし、モデルアウトプットを導くために、素早いエンジニアリングがますます中心になってきています。 手動の手法は効果的であるが、通常は直感に頼り、時間とともに自動的にプロンプトを洗練しない。 対照的に、ヒューリスティックに基づく探索アルゴリズムを用いた自動プロンプト最適化は、人間の監視を最小限に抑えて、体系的にプロンプトを探索し改善することができる。 本調査では,これらの手法の包括的分類法を提案し,最適化の発生箇所,最適化基準,最適化を駆動する基準,演算子による新たなプロンプトの生成,反復探索アルゴリズムの適用範囲を分類した。 さらに、自動プロンプトリファインメントをサポートし、加速する特別なデータセットとツールを強調します。 我々は、より堅牢で汎用的なLLMアプリケーションのための将来の機会をめざす重要なオープン課題について論じる。

関連論文リスト

• A Sequential Optimal Learning Approach to Automated Prompt Engineering in Large Language Models [14.483240353801074]
  本稿では,自動プロンプトエンジニアリングのための最適学習フレームワークを提案する。 限られた評価予算を効率的に割り当てつつ、効果的なプロンプト機能を逐次識別するように設計されている。 私たちのフレームワークは、より広い範囲のアプリケーションに自動プロンプトエンジニアリングをデプロイするためのソリューションを提供します。
  論文  参考訳（メタデータ） (2025-01-07T03:51:10Z)
• Guided Stream of Search: Learning to Better Search with Language Models via Optimal Path Guidance [17.28280896937486]
  言語モデルの探索と計画能力を高めるために最適な解をいかに活用するかを示す。 提案手法は,単純な数学的推論タスクであるCountdownにおける言語モデルの探索と計画能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-03T21:07:59Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• APEER: Automatic Prompt Engineering Enhances Large Language Model Reranking [39.649879274238856]
  APEERという新しい自動プロンプトエンジニアリングアルゴリズムを導入する。 APEERはフィードバックと好みの最適化を通じて改良されたプロンプトを反復的に生成する。 実験では、既存の最先端(SoTA)マニュアルプロンプトよりもAPEERの性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2024-06-20T16:11:45Z)
• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• PromptWizard: Task-Aware Prompt Optimization Framework [2.618253052454435]
  大規模言語モデル(LLM)は、さまざまなドメインでAIを変換している。 手動プロンプトエンジニアリングは、労働集約的かつドメイン固有である。 本稿では、離散的なプロンプト最適化のための新しい完全に自動化されたフレームワークであるPromptWizardを紹介する。
  論文  参考訳（メタデータ） (2024-05-28T17:08:31Z)
• Intent-based Prompt Calibration: Enhancing prompt optimization with synthetic boundary cases [2.6159111710501506]
  本稿では,ユーザ意図に対するプロンプトを反復的に洗練するキャリブレーションプロセスを用いて,自動プロンプトエンジニアリングの新しい手法を提案する。 我々は,モデレーションや生成といった現実的なタスクにおいて,強力なプロプライエタリなモデルに対して,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-02-05T15:28:43Z)
• Are Large Language Models Good Prompt Optimizers? [65.48910201816223]
  我々は,LLMに基づくPrompt Optimizationの実際のメカニズムを明らかにするために研究を行っている。 以上の結果から, LLMは, 反射中の誤差の真の原因を特定するのに苦慮し, 自己の事前知識に偏っていることが明らかとなった。 我々は、より制御可能な方法でターゲットモデルの振舞いを直接最適化する新しい「自動振舞い最適化」パラダイムを導入する。
  論文  参考訳（メタデータ） (2024-02-03T09:48:54Z)
• Automatic Engineering of Long Prompts [79.66066613717703]
  大規模言語モデル(LLM)は、複雑なオープンドメインタスクを解く際、顕著な能力を示した。 本稿では,自動ロングプロンプトエンジニアリングのためのグリージーアルゴリズムと遺伝的アルゴリズムの性能について検討する。 提案アルゴリズムは,Big Bench Hardの8つのタスクにおいて,平均9.2%の精度向上を実現している。
  論文  参考訳（メタデータ） (2023-11-16T07:42:46Z)
• Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
  ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。 このような最適化では、以前見過ごされたクエリ依存の目的を特定します。 本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
  論文  参考訳（メタデータ） (2023-09-13T01:12:52Z)
• Efficient Non-Parametric Optimizer Search for Diverse Tasks [93.64739408827604]
  興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。 基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。 我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
  論文  参考訳（メタデータ） (2022-09-27T17:51:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。