論文の概要: A Systematic Survey of Prompt Engineering in Large Language Models: Techniques and Applications

• arxiv url: http://arxiv.org/abs/2402.07927v1
• Date: Mon, 5 Feb 2024 19:49:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-18 13:27:33.118021
• Title: A Systematic Survey of Prompt Engineering in Large Language Models: Techniques and Applications
• Title（参考訳）: 大規模言語モデルにおけるプロンプトエンジニアリングの体系的調査:技術と応用
• Authors: Pranab Sahoo, Ayush Kumar Singh, Sriparna Saha, Vinija Jain, Samrat Mondal, and Aman Chadha
• Abstract要約: 本稿では,応用分野別に分類した,最近のプロンプト工学の進歩について概説する。 本稿では、プロンプト手法、その応用、関連するモデル、利用したデータセットについて詳述する。 この体系的な分析は、この急速に発展している分野をよりよく理解し、オープンな課題と迅速なエンジニアリングの機会を照明することによって将来の研究を促進する。
• 参考スコア（独自算出の注目度）: 11.568575664316143
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompt engineering has emerged as an indispensable technique for extending the capabilities of large language models (LLMs) and vision-language models (VLMs). This approach leverages task-specific instructions, known as prompts, to enhance model efficacy without modifying the core model parameters. Rather than updating the model parameters, prompts allow seamless integration of pre-trained models into downstream tasks by eliciting desired model behaviors solely based on the given prompt. Prompts can be natural language instructions that provide context to guide the model or learned vector representations that activate relevant knowledge. This burgeoning field has enabled success across various applications, from question-answering to commonsense reasoning. However, there remains a lack of systematic organization and understanding of the diverse prompt engineering methods and techniques. This survey paper addresses the gap by providing a structured overview of recent advancements in prompt engineering, categorized by application area. For each prompting approach, we provide a summary detailing the prompting methodology, its applications, the models involved, and the datasets utilized. We also delve into the strengths and limitations of each approach and include a taxonomy diagram and table summarizing datasets, models, and critical points of each prompting technique. This systematic analysis enables a better understanding of this rapidly developing field and facilitates future research by illuminating open challenges and opportunities for prompt engineering.
• Abstract（参考訳）: プロンプトエンジニアリングは、大型言語モデル(LLM)とビジョン言語モデル(VLM)の能力を拡張するための欠かせない技術として登場した。 このアプローチでは、プロンプトと呼ばれるタスク固有の命令を活用し、コアモデルパラメータを変更することなくモデルの有効性を高める。 モデルパラメータを更新する代わりに、プロンプトは、与えられたプロンプトのみに基づいて所望のモデル動作を引き出すことによって、事前訓練されたモデルを下流タスクにシームレスに統合することを可能にする。 Promptsは、関連する知識を活性化するモデルや学習ベクター表現をガイドするコンテキストを提供する自然言語命令である。 この急成長した分野は、質問応答から常識推論まで、様々なアプリケーションで成功を収めた。 しかし、体系的な組織や様々な即席の工学的手法や技術の理解が欠けているままである。 本稿では,アプリケーション領域別に分類したプロンプトエンジニアリングの最近の進歩を構造化した概要を提供することにより,このギャップについて述べる。 それぞれのプロンプトアプローチについて、プロンプトの方法論、そのアプリケーション、関連するモデル、使用するデータセットを詳細に説明した概要を提供する。 また、各アプローチの長所と限界についても検討し、各プロンプトテクニックのデータセット、モデル、および重要なポイントを要約した分類図とテーブルを含む。 この系統的な分析は、この急速に発展する分野をよりよく理解し、オープンな課題と迅速なエンジニアリングの機会を照明することで将来の研究を促進する。

関連論文リスト

• Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities [89.40778301238642]
  モデルマージは、機械学習コミュニティにおける効率的なエンパワーメント技術である。 これらの手法の体系的かつ徹底的なレビューに関する文献には大きなギャップがある。
  論文  参考訳（メタデータ） (2024-08-14T16:58:48Z)
• Inference Optimizations for Large Language Models: Effects, Challenges, and Practical Considerations [0.0]
  大規模な言語モデルは自然言語処理においてユビキタスである。 本稿では,資源要件の低減と大規模言語モデルの圧縮に関する諸技術について概説する。
  論文  参考訳（メタデータ） (2024-08-06T12:07:32Z)
• Efficient Prompting Methods for Large Language Models: A Survey [50.171011917404485]
  プロンプティングは、特定の自然言語処理タスクに大規模言語モデル(LLM)を適用するための主流パラダイムとなっている。 このアプローチは、LLMの振る舞いをガイドし、制御するために、モデル推論と人間の努力のさらなる計算負担をもたらす。 本稿では, 今後の研究の方向性を明らかにするため, 促進, 効率的な促進のための進歩を概説する。
  論文  参考訳（メタデータ） (2024-04-01T12:19:08Z)
• Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
  視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。 モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。 このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
  論文  参考訳（メタデータ） (2023-07-25T17:59:18Z)
• A Systematic Survey of Prompt Engineering on Vision-Language Foundation Models [43.35892536887404]
  プロンプトエンジニアリングは、新しいタスクにモデルを適応させるために、プロンプトとして知られるタスク固有のヒントで、トレーニング済みの大きなモデルを拡張することを含む。 本稿では,3種類の視覚言語モデルについて,最先端の研究の総合的な調査を行うことを目的とする。
  論文  参考訳（メタデータ） (2023-07-24T17:58:06Z)
• Exploring Large Language Model for Graph Data Understanding in Online Job Recommendations [63.19448893196642]
  本稿では,大規模言語モデルが提供するリッチな文脈情報と意味表現を利用して行動グラフを解析する新しいフレームワークを提案する。 この機能を利用することで、個々のユーザに対してパーソナライズされた、正確なジョブレコメンデーションが可能になる。
  論文  参考訳（メタデータ） (2023-07-10T11:29:41Z)
• Iterative Zero-Shot LLM Prompting for Knowledge Graph Construction [104.29108668347727]
  本稿では,最新の生成型大規模言語モデルの可能性を活用する,革新的な知識グラフ生成手法を提案する。 このアプローチは、新しい反復的なゼロショットと外部知識に依存しない戦略を含むパイプラインで伝達される。 我々は、我々の提案がスケーラブルで多目的な知識グラフ構築に適したソリューションであり、異なる新しい文脈に適用できると主張している。
  論文  参考訳（メタデータ） (2023-07-03T16:01:45Z)
• Foundation Models for Natural Language Processing -- Pre-trained Language Models Integrating Media [0.0]
  ファンデーションモデルは自然言語処理のための事前訓練された言語モデルである。 画像処理やビデオ処理からロボット制御学習まで、幅広いメディアや問題領域に適用することができる。 本書は、ファンデーションモデルの研究および応用における技術の現状を概観する。
  論文  参考訳（メタデータ） (2023-02-16T20:42:04Z)
• Few-shot Prompting Towards Controllable Response Generation [49.479958672988566]
  まず,モデルのパラメータにアクセスすることなく,モデル生成に対するプロンプトと強化学習(RL)の組み合わせについて検討した。 マルチタスク学習を適用して、モデルが新しいタスクをより良く一般化できるようにします。 実験の結果,提案手法はパラメータにアクセスすることなく,複数のSOTA(State-of-the-art)対話モデルを制御することができることがわかった。
  論文  参考訳（メタデータ） (2022-06-08T14:48:06Z)
• Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigm [0.0]
  自然言語のレンズを通してプロンプトを考えることの有用性を強調しながら,プロンプトプログラミングの手法について論じる。 モデルに種を付けて、さまざまなタスクのための独自の自然言語プロンプトを生成するメタプロンプトのアイデアを紹介します。
  論文  参考訳（メタデータ） (2021-02-15T05:27:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。