論文の概要: A Survey of Prompt Engineering Methods in Large Language Models for Different NLP Tasks
- arxiv url: http://arxiv.org/abs/2407.12994v2
- Date: Wed, 24 Jul 2024 03:53:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-25 18:12:28.357616
- Title: A Survey of Prompt Engineering Methods in Large Language Models for Different NLP Tasks
- Title（参考訳）: 異なるNLPタスクのための大規模言語モデルにおけるプロンプト工学手法の検討
- Authors: Shubham Vatsal, Harsh Dubey,
- Abstract要約: 大規模言語モデル(LLM)は多くの異なる自然言語処理(NLP)タスクにおいて顕著なパフォーマンスを示している。
プロンプトエンジニアリングは、大きなパフォーマンス向上を達成するために、既に存在するLLMの能力に追加する上で重要な役割を担います。
本稿では、異なるプロンプト手法を要約し、それらが用いた異なるNLPタスクに基づいてそれらをまとめる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large language models (LLMs) have shown remarkable performance on many different Natural Language Processing (NLP) tasks. Prompt engineering plays a key role in adding more to the already existing abilities of LLMs to achieve significant performance gains on various NLP tasks. Prompt engineering requires composing natural language instructions called prompts to elicit knowledge from LLMs in a structured way. Unlike previous state-of-the-art (SoTA) models, prompt engineering does not require extensive parameter re-training or fine-tuning based on the given NLP task and thus solely operates on the embedded knowledge of LLMs. Additionally, LLM enthusiasts can intelligently extract LLMs' knowledge through a basic natural language conversational exchange or prompt engineering, allowing more and more people even without deep mathematical machine learning background to experiment with LLMs. With prompt engineering gaining popularity in the last two years, researchers have come up with numerous engineering techniques around designing prompts to improve accuracy of information extraction from the LLMs. In this paper, we summarize different prompting techniques and club them together based on different NLP tasks that they have been used for. We further granularly highlight the performance of these prompting strategies on various datasets belonging to that NLP task, talk about the corresponding LLMs used, present a taxonomy diagram and discuss the possible SoTA for specific datasets. In total, we read and present a survey of 44 research papers which talk about 39 different prompting methods on 29 different NLP tasks of which most of them have been published in the last two years.
- Abstract（参考訳）: 大規模言語モデル(LLM)は多くの異なる自然言語処理(NLP)タスクにおいて顕著なパフォーマンスを示している。
プロンプトエンジニアリングは、様々なNLPタスクにおいて大きなパフォーマンス向上を達成するために、既に存在するLLMの能力に追加する上で重要な役割を担っている。
プロンプトエンジニアリングは、構造化された方法でLLMから知識を引き出すプロンプトと呼ばれる自然言語命令を構成する必要がある。
従来の最先端(SoTA)モデルとは異なり、プロンプトエンジニアリングでは与えられたNLPタスクに基づいてパラメータの再訓練や微調整を必要とせず、LLMの組込み知識のみで動作する。
加えて、LLM愛好家はLLMの知識を基本的な自然言語の会話交換やエンジニアリングを通じて知的に抽出することができ、より深い数学的機械学習のバックグラウンドがなくてもLLMを試すことができる。
過去2年間に急激なエンジニアリングが人気を博し、LLMから情報抽出の精度を向上させるためにプロンプトを設計する多くの技術が考案された。
本稿では、異なるプロンプト手法を要約し、それらが用いた異なるNLPタスクに基づいてそれらをまとめる。
さらに、NLPタスクに属する各種データセットにおけるこれらのプロンプト戦略の性能を強調し、使用するLCMについて語り、分類図を示し、特定のデータセットに対して可能なSoTAについて議論する。
本研究は,29の異なるNLPタスクに対して39の異なるプロンプト手法を論じる44の論文を総括して紹介し,そのほとんどが過去2年間に発表されている。
関連論文リスト
- Layer by Layer: Uncovering Where Multi-Task Learning Happens in Instruction-Tuned Large Language Models [22.676688441884465]
タスクの多種多様な配列で訓練済みの大規模言語モデル(LLM)を微調整することが、モデル構築の一般的なアプローチとなっている。
本研究では,事前学習したLLMに符号化されたタスク固有情報と,その表現に対する指導指導の効果について検討する。
論文 参考訳（メタデータ） (2024-10-25T23:38:28Z) - SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。
学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。
ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文 参考訳（メタデータ） (2024-07-16T04:41:58Z) - Using Large Language Models for Natural Language Processing Tasks in Requirements Engineering: A Systematic Guideline [2.6644624823848426]
大規模言語モデル(LLM)は、要求工学(RE)タスクを自動化するための基盤となる。
本章は、LLMに関する本質的な知識を読者に提供することを目的としている。
学生、研究者、実践者が特定の目的に対処するためにLLMを活用するための包括的なガイドラインを提供する。
論文 参考訳（メタデータ） (2024-02-21T14:00:52Z) - Large Language Models: A Survey [69.72787936480394]
大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。
LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
論文 参考訳（メタデータ） (2024-02-09T05:37:09Z) - INTERS: Unlocking the Power of Large Language Models in Search with Instruction Tuning [59.07490387145391]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な機能を示している。
情報検索(IR)タスクへのそれらの適用は、自然言語における多くのIR固有の概念の頻繁な発生のため、いまだに困難である。
我々は,3つの基本IRカテゴリにまたがる20のタスクを含む新しいインストラクションチューニングデータセット InterS を導入する。
論文 参考訳（メタデータ） (2024-01-12T12:10:28Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳（メタデータ） (2023-12-26T07:24:46Z) - A Survey on Prompting Techniques in LLMs [0.0]
自己回帰型大規模言語モデルは自然言語処理のランドスケープに変化をもたらした。
本研究は,既存の文献の分類手法について紹介し,この分類法に基づく簡潔な調査を行う。
我々は、将来の研究の方向性として役立つ自己回帰型LSMの推進という領域において、いくつかの未解決の問題を特定した。
論文 参考訳（メタデータ） (2023-11-28T17:56:34Z) - Chit-Chat or Deep Talk: Prompt Engineering for Process Mining [0.0]
本研究では,Large Language Models (LLMs) のプロセスマイニングにおける会話エージェント強化への応用について検討する。
本稿では,対話型エージェントを対象とした自然言語処理(NLP)の先行研究により,既存のソリューションにおける多くの問題を解決する革新的なアプローチを提案する。
我々のフレームワークは、公開質問やデータセットで実証されたように、アクセシビリティとエージェントのパフォーマンスの両方を改善します。
論文 参考訳（メタデータ） (2023-07-19T11:25:12Z) - Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond [48.70557995528463]
このガイドは、研究者や実践者が大規模言語モデルを扱うための貴重な洞察とベストプラクティスを提供することを目的としている。
実世界のシナリオにおける LLM の実用的応用と限界を説明するために, 様々なユースケースと非利用事例を提示する。
論文 参考訳（メタデータ） (2023-04-26T17:52:30Z) - A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。
NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。
NLGのKE-PLMは、KGベースと検索ベースに分類される。
論文 参考訳（メタデータ） (2022-11-11T04:29:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。