論文の概要: PromptWizard: Task-Aware Prompt Optimization Framework

• arxiv url: http://arxiv.org/abs/2405.18369v2
• Date: Thu, 03 Oct 2024 09:45:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-04 17:53:26.806860
• Title: PromptWizard: Task-Aware Prompt Optimization Framework
• Title（参考訳）: PromptWizard:タスク対応のPrompt最適化フレームワーク
• Authors: Eshaan Agarwal, Joykirat Singh, Vivek Dani, Raghav Magazine, Tanuja Ganu, Akshay Nambi,
• Abstract要約: 大規模言語モデル(LLM)は、さまざまなドメインでAIを変換している。 手動プロンプトエンジニアリングは、労働集約的かつドメイン固有である。 本稿では、離散的なプロンプト最適化のための新しい完全に自動化されたフレームワークであるPromptWizardを紹介する。
• 参考スコア（独自算出の注目度）: 2.618253052454435
• License:
• Abstract: Large language models (LLMs) have transformed AI across diverse domains, with prompting being central to their success in guiding model outputs. However, manual prompt engineering is both labor-intensive and domain-specific, necessitating the need for automated solutions. We introduce PromptWizard, a novel, fully automated framework for discrete prompt optimization, utilizing a self-evolving, self-adapting mechanism. Through a feedback-driven critique and synthesis process, PromptWizard achieves an effective balance between exploration and exploitation, iteratively refining both prompt instructions and in-context examples to generate human-readable, task-specific prompts. This guided approach systematically improves prompt quality, resulting in superior performance across 45 tasks. PromptWizard excels even with limited training data, smaller LLMs, and various LLM architectures. Additionally, our cost analysis reveals a substantial reduction in API calls, token usage, and overall cost, demonstrating PromptWizard's efficiency, scalability, and advantages over existing prompt optimization strategies.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、さまざまな領域でAIを変革し、モデルアウトプットの導出の成功の中心となった。 しかし、手動のプロンプトエンジニアリングは労働集約的かつドメイン固有であり、自動化されたソリューションの必要性も必要である。 PromptWizardは、自己進化型自己適応機構を利用して、離散的なプロンプト最適化のための、新しい完全に自動化されたフレームワークである。 フィードバック駆動の批判と合成プロセスを通じて、PromptWizardは、探索と搾取の効果的なバランスを達成し、インプロンプトインストラクションとインコンテキストインストラクションの両方を反復的に洗練して、人間の読みやすいタスク固有のプロンプトを生成する。 このガイド付きアプローチは、迅速な品質を体系的に改善し、45のタスクで優れたパフォーマンスをもたらす。 PromptWizardは、限られたトレーニングデータ、より小さなLLM、様々なLLMアーキテクチャでも優れている。 さらに、当社のコスト分析では、API呼び出し、トークン使用量、全体的なコストが大幅に削減され、PromptWizardの効率性、スケーラビリティ、既存の迅速な最適化戦略に対するアドバンテージが示されています。

関連論文リスト

• A Sequential Optimal Learning Approach to Automated Prompt Engineering in Large Language Models [14.483240353801074]
  本稿では,自動プロンプトエンジニアリングのための最適学習フレームワークを提案する。 限られた評価予算を効率的に割り当てつつ、効果的なプロンプト機能を逐次識別するように設計されている。 私たちのフレームワークは、より広い範囲のアプリケーションに自動プロンプトエンジニアリングをデプロイするためのソリューションを提供します。
  論文  参考訳（メタデータ） (2025-01-07T03:51:10Z)
• iPrOp: Interactive Prompt Optimization for Large Language Models with a Human in the Loop [10.210078164737245]
  本稿では,新しい対話型プロンプト最適化システムであるtextitiPrOp$を紹介する。 最適化ループへの人間の介入により、$textitiPrOp$は、進化するプロンプトを評価する柔軟性を提供する。
  論文  参考訳（メタデータ） (2024-12-17T08:09:15Z)
• GReaTer: Gradients over Reasoning Makes Smaller Language Models Strong Prompt Optimizers [52.17222304851524]
  本稿では,タスク固有の推論よりも勾配情報を直接組み込む新しいプロンプト最適化手法であるGReaTerを紹介する。 GReaTerはタスク損失勾配を利用して、オープンソースの軽量言語モデルのためのプロンプトの自己最適化を可能にする。 GReaTerは、従来の最先端のプロンプト最適化手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2024-12-12T20:59:43Z)
• AMPO: Automatic Multi-Branched Prompt Optimization [43.586044739174646]
  本稿では,障害事例をフィードバックとして多分岐プロンプトを反復的に開発する自動プロンプト最適化手法AMPOを提案する。 5つのタスクにわたる実験では、AMPOが常に最良の結果を達成する。
  論文  参考訳（メタデータ） (2024-10-11T10:34:28Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• Intent-based Prompt Calibration: Enhancing prompt optimization with synthetic boundary cases [2.6159111710501506]
  本稿では,ユーザ意図に対するプロンプトを反復的に洗練するキャリブレーションプロセスを用いて,自動プロンプトエンジニアリングの新しい手法を提案する。 我々は,モデレーションや生成といった現実的なタスクにおいて,強力なプロプライエタリなモデルに対して,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-02-05T15:28:43Z)
• Automatic Engineering of Long Prompts [79.66066613717703]
  大規模言語モデル(LLM)は、複雑なオープンドメインタスクを解く際、顕著な能力を示した。 本稿では,自動ロングプロンプトエンジニアリングのためのグリージーアルゴリズムと遺伝的アルゴリズムの性能について検討する。 提案アルゴリズムは,Big Bench Hardの8つのタスクにおいて,平均9.2%の精度向上を実現している。
  論文  参考訳（メタデータ） (2023-11-16T07:42:46Z)
• Connecting Large Language Models with Evolutionary Algorithms Yields Powerful Prompt Optimizers [70.18534453485849]
  EvoPromptは離散的なプロンプト最適化のためのフレームワークである。 進化的アルゴリズム(EA)の概念は、優れた性能と高速収束を示すものである。 人為的なプロンプトと既存の方法で自動プロンプト生成を著しく上回っている。
  論文  参考訳（メタデータ） (2023-09-15T16:50:09Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。