論文の概要: Prompt Engineering a Prompt Engineer

• arxiv url: http://arxiv.org/abs/2311.05661v1
• Date: Thu, 9 Nov 2023 08:00:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-13 17:00:05.053123
• Title: Prompt Engineering a Prompt Engineer
• Title（参考訳）: プロンプトエンジニアリング プロンプトエンジニア
• Authors: Qinyuan Ye, Maxamed Axmed, Reid Pryzant, Fereshte Khani
• Abstract要約: 我々は「プロンプト・エンジニアリング・ア・プロンプト・エンジニア」の問題点について検討する。 我々は、ステップバイステップの推論テンプレートやコンテキスト仕様といった重要なコンポーネントを導入、分析し、パフォーマンスを改善します。 我々の最後の方法はPE2と呼ばれ、MultiArithデータセットで6.3%、GSM8Kデータセットで3.1%、"ステップバイステップ"で上回るプロンプトを見つけました。
• 参考スコア（独自算出の注目度）: 11.796375864723219
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt engineering is a challenging yet crucial task for optimizing the performance of large language models (LLMs). It requires complex reasoning to examine the model's errors, hypothesize what is missing or misleading in the current prompt, and communicate the task with clarity. While recent works indicate that LLMs can be meta-prompted to perform automatic prompt engineering, their potentials may not be fully untapped due to the lack of sufficient guidance to elicit complex reasoning capabilities in LLMs in the meta-prompt. In this work, we investigate the problem of "prompt engineering a prompt engineer" -- constructing a meta-prompt that more effectively guides LLMs to perform automatic prompt engineering. We introduce and analyze key components, such as a step-by-step reasoning template and context specification, which lead to improved performance. In addition, inspired by common optimization concepts such as batch size, step size and momentum, we introduce their verbalized counterparts to the meta-prompt and investigate their effects. Our final method, named PE2, finds a prompt that outperforms "let's think step by step" by 6.3% on the MultiArith dataset and 3.1% on the GSM8K dataset. To demonstrate its versatility, we apply PE2 to the Instruction Induction benchmark, a suite of counterfactual tasks, and a lengthy, real-world industrial prompt. In these settings, PE2 achieves strong performance and outperforms prior automatic prompt engineering baselines. Further, we show that PE2 makes meaningful and targeted prompt edits, amends erroneous or incomplete prompts, and presents non-trivial counterfactual reasoning abilities.
• Abstract（参考訳）: Prompt Engineeringは、大規模言語モデル(LLM)のパフォーマンスを最適化する上で、難しいが重要なタスクである。 モデルのエラーを調べ、現在のプロンプトに欠けていることや誤解を招くことを仮説化し、明確さでタスクを伝えるには複雑な推論が必要である。 最近の研究は、LLMをメタプロンプトで自動的なプロンプトエンジニアリングを行うことができることを示しているが、メタプロンプトにおけるLLMの複雑な推論能力を引き出す十分なガイダンスが欠如しているため、そのポテンシャルは完全には発揮されない可能性がある。 本研究では,より効率的にllmを誘導し,自動プロンプトエンジニアリングを行うメタプロンプトの「プロンプト・エンジニアリング・ア・プロンプト・エンジニア」の問題について検討する。 ステップバイステップの推論テンプレートやコンテキスト仕様など,パフォーマンス向上につながる重要なコンポーネントを紹介し,分析する。 さらに, バッチサイズ, ステップサイズ, 運動量などの共通最適化概念に着想を得て, メタプロンプトに言語化された表現を導入し, その効果について検討する。 我々の最後の方法はPE2と呼ばれ、MultiArithデータセットで6.3%、GSM8Kデータセットで3.1%、"ステップバイステップ"で上回るプロンプトを見つけました。 その汎用性を示すために、PE2をインストラクション・インジェクション・ベンチマーク、対実タスクのスイート、そして長い実世界の産業的プロンプトに適用する。 これらの設定では、PE2は強力なパフォーマンスを実現し、自動プロンプトエンジニアリングベースラインよりも優れている。 さらに,PE2は意味のあるプロンプトの編集を行い,誤ったプロンプトや不完全なプロンプトを修正し,非自明な反事実推論能力を示す。

関連論文リスト

• Exploring Prompt Engineering Practices in the Enterprise [3.7882262667445734]
  プロンプト(英: prompt)は、モデルから特定の振る舞いや出力を引き出すように設計された自然言語命令である。 特定の要求のある複雑なタスクやタスクに対して、迅速な設計は簡単ではない。 我々は、プロンプト編集行動のセッションを分析し、ユーザが反復したプロンプトの一部と、それらが行った変更の種類を分類する。
  論文  参考訳（メタデータ） (2024-03-13T20:32:32Z)
• TransPrompt v2: A Transferable Prompting Framework for Cross-task Text Classification [37.824031151922604]
  そこで本研究では,テキスト分類タスク間の数ショット学習を実現するための,トランスプロンプトv2を提案する。 類似したタスクを学習するために、メタラーナーを訓練するためにマルチタスクメタ知識獲得(MMA)手順を用いる。 遠隔タスクを学習するために、タスクタイプ記述をプロンプトに注入し、タイプ内およびタイプ間プロンプト埋め込みをキャプチャする。
  論文  参考訳（メタデータ） (2023-08-29T04:16:57Z)
• Robot Task Planning Based on Large Language Model Representing Knowledge with Directed Graph Structures [2.3698227130544547]
  本研究では,人間の専門知識をLLMと組み合わせたタスクプランニング手法を提案し,LLMプロンプトテンプレートであるThink_Net_Promptを設計した。 さらに,タスクを段階的に分解し,タスクツリーを生成して各タスクの計画量を削減する手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T13:10:00Z)
• Large Language Models in the Workplace: A Case Study on Prompt Engineering for Job Type Classification [58.720142291102135]
  本研究では,実環境における職種分類の課題について検討する。 目標は、英語の求職が卒業生やエントリーレベルの地位に適切かどうかを判断することである。
  論文  参考訳（メタデータ） (2023-03-13T14:09:53Z)
• Demystifying Prompts in Language Models via Perplexity Estimation [109.59105230163041]
  プロンプトのパフォーマンスは、モデルが含んでいる言語に精通している範囲と結合している。 プロンプトの難易度が低ければ低いほど、プロンプトがタスクを実行することができることを示す。
  論文  参考訳（メタデータ） (2022-12-08T02:21:47Z)
• Decomposed Prompting: A Modular Approach for Solving Complex Tasks [55.42850359286304]
  本稿では,より単純なサブタスクに分解することで,複雑なタスクを解くための分解プロンプトを提案する。 このモジュール構造は、各プロンプトを特定のサブタスクに最適化することを可能にする。 Decomposed Promptingの柔軟性とモジュラリティは、数発のプロンプトで先行作業より優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-05T17:28:20Z)
• Improving Task Generalization via Unified Schema Prompt [87.31158568180514]
  Unified Promptはフレキシブルでプロンプトの手法で、タスク入力スキーマに従って各タスクの学習可能なプロンプトを自動的にカスタマイズする。 異なるタスクスキーマの特徴を維持しながら、タスク間の共有知識をモデル化する。 このフレームワークは、8つのタスクタイプから下流に見えない16のタスクに対して、強力なゼロショットと少数ショットのパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-08-05T15:26:36Z)
• Reframing Instructional Prompts to GPTk's Language [72.69833640335519]
  本稿では,モデル設計者が言語モデルに対して効果的なプロンプトを作成するためのリフレーミング手法を提案する。 その結果、リフレーミングはサンプルの複雑さを減らしながら、数ショットの学習性能を14%向上させることがわかった。 GPT3では、大規模なデータセットでモデルやプロンプトをチューニングすることは不可能である。
  論文  参考訳（メタデータ） (2021-09-16T09:44:43Z)
• CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented Dialog Systems [56.302581679816775]
  本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。 命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。 これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
  論文  参考訳（メタデータ） (2021-09-10T03:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。