論文の概要: PromptWizard: Task-Aware Agent-driven Prompt Optimization Framework

• arxiv url: http://arxiv.org/abs/2405.18369v1
• Date: Tue, 28 May 2024 17:08:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 17:30:42.163092
• Title: PromptWizard: Task-Aware Agent-driven Prompt Optimization Framework
• Title（参考訳）: PromptWizard:タスク対応エージェント駆動型Prompt最適化フレームワーク
• Authors: Eshaan Agarwal, Vivek Dani, Tanuja Ganu, Akshay Nambi,
• Abstract要約: 大規模言語モデル(LLM)は、さまざまな領域にわたるAIに革命をもたらし、目覚ましい能力を示している。 彼らの成功の中心は、モデル出力生成を導くプロンプトの概念である。 本稿では,特定のタスクに適したプロンプトを反復的に合成・洗練するためにLLMを利用する新しいフレームワークであるPromptWizardを紹介する。
• 参考スコア（独自算出の注目度）: 2.976441974750401
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) have revolutionized AI across diverse domains, showcasing remarkable capabilities. Central to their success is the concept of prompting, which guides model output generation. However, manual prompt engineering is labor-intensive and domain-specific, necessitating automated solutions. This paper introduces PromptWizard, a novel framework leveraging LLMs to iteratively synthesize and refine prompts tailored to specific tasks. Unlike existing approaches, PromptWizard optimizes both prompt instructions and in-context examples, maximizing model performance. The framework iteratively refines prompts by mutating instructions and incorporating negative examples to deepen understanding and ensure diversity. It further enhances both instructions and examples with the aid of a critic, synthesizing new instructions and examples enriched with detailed reasoning steps for optimal performance. PromptWizard offers several key features and capabilities, including computational efficiency compared to state-of-the-art approaches, adaptability to scenarios with varying amounts of training data, and effectiveness with smaller LLMs. Rigorous evaluation across 35 tasks on 8 datasets demonstrates PromptWizard's superiority over existing prompt strategies, showcasing its efficacy and scalability in prompt optimization.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、さまざまな領域にわたるAIに革命をもたらし、目覚ましい能力を示している。 彼らの成功の中心は、モデル出力生成を導くプロンプトの概念である。 しかし、手動のプロンプトエンジニアリングは労働集約的でドメイン固有であり、自動化されたソリューションを必要とする。 本稿では,特定のタスクに適したプロンプトを反復的に合成・洗練するためにLLMを利用する新しいフレームワークであるPromptWizardを紹介する。 既存のアプローチとは異なり、PromptWizardはインプロンプト命令とインコンテキスト例の両方を最適化し、モデルパフォーマンスを最大化する。 このフレームワークは、命令を変更し、ネガティブな例を取り入れて、理解を深め、多様性を確保することで、プロンプトを反復的に洗練する。 さらに、批評家の助けを借りて命令と例をさらに強化し、最適なパフォーマンスのための詳細な推論ステップに富んだ新しい命令と例を合成する。 PromptWizardは、最先端のアプローチと比較して計算効率、さまざまなトレーニングデータを持つシナリオへの適応性、より小さなLLMによる有効性など、いくつかの重要な機能と機能を提供している。 8つのデータセット上の35のタスクにわたる厳密な評価は、PromptWizardが既存のプロンプト戦略よりも優れていることを示している。

関連論文リスト

• AMPO: Automatic Multi-Branched Prompt Optimization [43.586044739174646]
  本稿では,障害事例をフィードバックとして多分岐プロンプトを反復的に開発する自動プロンプト最適化手法AMPOを提案する。 5つのタスクにわたる実験では、AMPOが常に最良の結果を達成する。
  論文  参考訳（メタデータ） (2024-10-11T10:34:28Z)
• StraGo: Harnessing Strategic Guidance for Prompt Optimization [35.96577924228001]
  StraGoは、成功したケースと失敗したケースの両方からの洞察を活用することで、迅速な漂流を軽減するために設計された、新しいアプローチである。 具体的な行動可能な戦略を定式化するために、コンテキスト内学習を統合するハウツード手法を採用している。 推論、自然言語理解、ドメイン固有の知識、産業アプリケーションなど、さまざまなタスクで実施された実験は、StraGoの優れたパフォーマンスを実証している。
  論文  参考訳（メタデータ） (2024-10-11T07:55:42Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• Efficient Prompting Methods for Large Language Models: A Survey [50.171011917404485]
  プロンプティングは、特定の自然言語処理タスクに大規模言語モデル(LLM)を適用するための主流パラダイムとなっている。 このアプローチは、LLMの振る舞いをガイドし、制御するために、モデル推論と人間の努力のさらなる計算負担をもたらす。 本稿では, 今後の研究の方向性を明らかにするため, 促進, 効率的な促進のための進歩を概説する。
  論文  参考訳（メタデータ） (2024-04-01T12:19:08Z)
• Intent-based Prompt Calibration: Enhancing prompt optimization with synthetic boundary cases [2.6159111710501506]
  本稿では,ユーザ意図に対するプロンプトを反復的に洗練するキャリブレーションプロセスを用いて,自動プロンプトエンジニアリングの新しい手法を提案する。 我々は,モデレーションや生成といった現実的なタスクにおいて,強力なプロプライエタリなモデルに対して,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-02-05T15:28:43Z)
• Automatic Engineering of Long Prompts [79.66066613717703]
  大規模言語モデル(LLM)は、複雑なオープンドメインタスクを解く際、顕著な能力を示した。 本稿では,自動ロングプロンプトエンジニアリングのためのグリージーアルゴリズムと遺伝的アルゴリズムの性能について検討する。 提案アルゴリズムは,Big Bench Hardの8つのタスクにおいて,平均9.2%の精度向上を実現している。
  論文  参考訳（メタデータ） (2023-11-16T07:42:46Z)
• Connecting Large Language Models with Evolutionary Algorithms Yields Powerful Prompt Optimizers [70.18534453485849]
  EvoPromptは離散的なプロンプト最適化のためのフレームワークである。 進化的アルゴリズム(EA)の概念は、優れた性能と高速収束を示すものである。 人為的なプロンプトと既存の方法で自動プロンプト生成を著しく上回っている。
  論文  参考訳（メタデータ） (2023-09-15T16:50:09Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。