論文の概要: Prompt Engineering a Prompt Engineer

• arxiv url: http://arxiv.org/abs/2311.05661v2
• Date: Mon, 19 Feb 2024 19:46:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 20:13:44.371926
• Title: Prompt Engineering a Prompt Engineer
• Title（参考訳）: プロンプトエンジニアリング プロンプトエンジニア
• Authors: Qinyuan Ye, Maxamed Axmed, Reid Pryzant, Fereshte Khani
• Abstract要約: 我々は,大規模な言語モデルをメタプロンプトで自動プロンプトエンジニアリングを行うことができると主張している。 このギャップを、詳細な説明、コンテキスト仕様、ステップバイステップの推論テンプレートという、メタプロンプトの3つの重要なコンポーネントに注入することで埋めます。 PE2という名前のこの手法は、様々な言語タスクにまたがる顕著な汎用性を示す。
• 参考スコア（独自算出の注目度）: 11.796375864723219
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt engineering is a challenging yet crucial task for optimizing the performance of large language models on customized tasks. It requires complex reasoning to examine the model's errors, hypothesize what is missing or misleading in the current prompt, and communicate the task with clarity. While recent works indicate that large language models can be meta-prompted to perform automatic prompt engineering, we argue that their potential is limited due to insufficient guidance for complex reasoning in the meta-prompt. We fill this gap by infusing into the meta-prompt three key components: detailed descriptions, context specification, and a step-by-step reasoning template. The resulting method, named PE2, showcases remarkable versatility across diverse language tasks. It finds prompts that outperform "let's think step by step" by 6.3% on MultiArith and 3.1% on GSM8K, and outperforms competitive baselines on counterfactual tasks by 6.9%. Further, we show that PE2 can make targeted prompt edits, rectify erroneous prompts, and induce multi-step plans for complex tasks.
• Abstract（参考訳）: プロンプトエンジニアリングは、カスタマイズされたタスクで大規模言語モデルのパフォーマンスを最適化する上で、難しいが重要なタスクである。 モデルのエラーを調べ、現在のプロンプトに欠けていることや誤解を招くことを仮説化し、明確さでタスクを伝えるには複雑な推論が必要である。 近年の研究では,大規模な言語モデルをメタプロンプトで自動的なプロンプトエンジニアリングを行う方法が提案されているが,メタプロンプトにおける複雑な推論のためのガイダンスが不十分なため,それらのポテンシャルは限られていると論じている。 このギャップを埋めるために、meta-promptの3つの重要なコンポーネント、詳細記述、コンテキスト仕様、ステップバイステップの推論テンプレートを入力します。 PE2と呼ばれるこの手法は、様々な言語タスクにまたがる優れた汎用性を示す。 これは「ステップバイステップ」がMultiArithで6.3%、GSM8Kで3.1%、対実的タスクで競争ベースラインが6.9%上回ったことを示唆している。 さらに,PE2は,ターゲットとなるプロンプトを編集し,誤ったプロンプトを修正し,複雑なタスクのマルチステッププランを誘導できることを示す。

関連論文リスト

• Exploring Prompt Engineering Practices in the Enterprise [3.7882262667445734]
  プロンプト(英: prompt)は、モデルから特定の振る舞いや出力を引き出すように設計された自然言語命令である。 特定の要求のある複雑なタスクやタスクに対して、迅速な設計は簡単ではない。 我々は、プロンプト編集行動のセッションを分析し、ユーザが反復したプロンプトの一部と、それらが行った変更の種類を分類する。
  論文  参考訳（メタデータ） (2024-03-13T20:32:32Z)
• TransPrompt v2: A Transferable Prompting Framework for Cross-task Text Classification [37.824031151922604]
  そこで本研究では,テキスト分類タスク間の数ショット学習を実現するための,トランスプロンプトv2を提案する。 類似したタスクを学習するために、メタラーナーを訓練するためにマルチタスクメタ知識獲得(MMA)手順を用いる。 遠隔タスクを学習するために、タスクタイプ記述をプロンプトに注入し、タイプ内およびタイプ間プロンプト埋め込みをキャプチャする。
  論文  参考訳（メタデータ） (2023-08-29T04:16:57Z)
• Robot Task Planning Based on Large Language Model Representing Knowledge with Directed Graph Structures [2.3698227130544547]
  本研究では,人間の専門知識をLLMと組み合わせたタスクプランニング手法を提案し,LLMプロンプトテンプレートであるThink_Net_Promptを設計した。 さらに,タスクを段階的に分解し,タスクツリーを生成して各タスクの計画量を削減する手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T13:10:00Z)
• Large Language Models in the Workplace: A Case Study on Prompt Engineering for Job Type Classification [58.720142291102135]
  本研究では,実環境における職種分類の課題について検討する。 目標は、英語の求職が卒業生やエントリーレベルの地位に適切かどうかを判断することである。
  論文  参考訳（メタデータ） (2023-03-13T14:09:53Z)
• Demystifying Prompts in Language Models via Perplexity Estimation [109.59105230163041]
  プロンプトのパフォーマンスは、モデルが含んでいる言語に精通している範囲と結合している。 プロンプトの難易度が低ければ低いほど、プロンプトがタスクを実行することができることを示す。
  論文  参考訳（メタデータ） (2022-12-08T02:21:47Z)
• Decomposed Prompting: A Modular Approach for Solving Complex Tasks [55.42850359286304]
  本稿では,より単純なサブタスクに分解することで,複雑なタスクを解くための分解プロンプトを提案する。 このモジュール構造は、各プロンプトを特定のサブタスクに最適化することを可能にする。 Decomposed Promptingの柔軟性とモジュラリティは、数発のプロンプトで先行作業より優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-05T17:28:20Z)
• Improving Task Generalization via Unified Schema Prompt [87.31158568180514]
  Unified Promptはフレキシブルでプロンプトの手法で、タスク入力スキーマに従って各タスクの学習可能なプロンプトを自動的にカスタマイズする。 異なるタスクスキーマの特徴を維持しながら、タスク間の共有知識をモデル化する。 このフレームワークは、8つのタスクタイプから下流に見えない16のタスクに対して、強力なゼロショットと少数ショットのパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-08-05T15:26:36Z)
• Reframing Instructional Prompts to GPTk's Language [72.69833640335519]
  本稿では,モデル設計者が言語モデルに対して効果的なプロンプトを作成するためのリフレーミング手法を提案する。 その結果、リフレーミングはサンプルの複雑さを減らしながら、数ショットの学習性能を14%向上させることがわかった。 GPT3では、大規模なデータセットでモデルやプロンプトをチューニングすることは不可能である。
  論文  参考訳（メタデータ） (2021-09-16T09:44:43Z)
• CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented Dialog Systems [56.302581679816775]
  本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。 命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。 これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
  論文  参考訳（メタデータ） (2021-09-10T03:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。