論文の概要: Unleashing the potential of prompt engineering in Large Language Models: a comprehensive review
- arxiv url: http://arxiv.org/abs/2310.14735v5
- Date: Thu, 5 Sep 2024 12:00:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-07 04:41:34.196018
- Title: Unleashing the potential of prompt engineering in Large Language Models: a comprehensive review
- Title(参考訳): 大規模言語モデルにおける素早いエンジニアリングの可能性:包括的レビュー
- Authors: Banghao Chen, Zhaofeng Zhang, Nicolas Langrené, Shengxin Zhu,
- Abstract要約: 大規模言語モデル(LLM)の能力を解き放つ上で,迅速なエンジニアリングが果たす重要な役割を概観する
自己整合性、思考の連鎖、そして生成された知識などの技術を含む、素早い工学の基礎的方法論と先進的な方法論の両方を検査する。
レビューはまた、AI能力の進歩におけるエンジニアリングの急進的な役割を反映し、将来の研究と応用のための構造化されたフレームワークを提供する。
- 参考スコア(独自算出の注目度): 1.6006550105523192
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This comprehensive review delves into the pivotal role of prompt engineering in unleashing the capabilities of Large Language Models (LLMs). The development of Artificial Intelligence (AI), from its inception in the 1950s to the emergence of advanced neural networks and deep learning architectures, has made a breakthrough in LLMs, with models such as GPT-4o and Claude-3, and in Vision-Language Models (VLMs), with models such as CLIP and ALIGN. Prompt engineering is the process of structuring inputs, which has emerged as a crucial technique to maximize the utility and accuracy of these models. This paper explores both foundational and advanced methodologies of prompt engineering, including techniques such as self-consistency, chain-of-thought, and generated knowledge, which significantly enhance model performance. Additionally, it examines the prompt method of VLMs through innovative approaches such as Context Optimization (CoOp), Conditional Context Optimization (CoCoOp), and Multimodal Prompt Learning (MaPLe). Critical to this discussion is the aspect of AI security, particularly adversarial attacks that exploit vulnerabilities in prompt engineering. Strategies to mitigate these risks and enhance model robustness are thoroughly reviewed. The evaluation of prompt methods is also addressed, through both subjective and objective metrics, ensuring a robust analysis of their efficacy. This review also reflects the essential role of prompt engineering in advancing AI capabilities, providing a structured framework for future research and application.
- Abstract(参考訳): この包括的なレビューは、LLM(Large Language Models)の能力を開放する上で、迅速なエンジニアリングの重要な役割を掘り下げている。
1950年代から先進的なニューラルネットワークやディープラーニングアーキテクチャの出現に至るまで、人工知能(AI)の開発は、GPT-4oやClaude-3といったモデルや、CLIPやALIGNといったモデルを使ったビジョンランゲージモデル(VLM)など、LCMにおいて画期的な成果を上げてきた。
プロンプトエンジニアリング(英: Prompt Engineering)は、入力を構造化するプロセスであり、これらのモデルの有用性と精度を最大化する重要な技術として登場した。
本稿では, 自己整合性, チェーン・オブ・思想, 生成した知識など, モデル性能を著しく向上させる技術を含む, 迅速な工学の基礎的手法と先進的手法について検討する。
さらに、コンテキスト最適化(CoOp)、条件コンテキスト最適化(CoCoOp)、マルチモーダル・プロンプト学習(MaPLe)といった革新的な手法を用いて、VLMのプロンプト手法を検討する。
この議論に批判的なのは、AIセキュリティの側面、特に迅速なエンジニアリングの脆弱性を悪用する敵攻撃である。
これらのリスクを軽減し、モデルの堅牢性を高めるための戦略が、徹底的にレビューされている。
提案手法の評価は主観的指標と客観的指標の両方を通して行われ,その有効性について頑健な分析を確実にする。
このレビューはまた、AI能力の進歩におけるエンジニアリングの急進的な役割を反映し、将来の研究と応用のための構造化されたフレームワークを提供する。
関連論文リスト
- Tool Learning with Large Language Models: A Survey [60.733557487886635]
大規模言語モデル(LLM)を用いたツール学習は,高度に複雑な問題に対処するLLMの能力を強化するための,有望なパラダイムとして登場した。
この分野での注目と急速な進歩にもかかわらず、現存する文献は断片化され、体系的な組織が欠如している。
論文 参考訳(メタデータ) (2024-05-28T08:01:26Z) - Efficient Prompting Methods for Large Language Models: A Survey [50.171011917404485]
プロンプティングは、特定の自然言語処理タスクに大規模言語モデル(LLM)を適用するための主流パラダイムとなっている。
このアプローチは、LLMの振る舞いをガイドし、制御するために、モデル推論と人間の努力のさらなる計算負担をもたらす。
本稿では, 今後の研究の方向性を明らかにするため, 促進, 効率的な促進のための進歩を概説する。
論文 参考訳(メタデータ) (2024-04-01T12:19:08Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳(メタデータ) (2024-02-26T07:33:05Z) - An Empirical Categorization of Prompting Techniques for Large Language
Models: A Practitioner's Guide [0.34530027457862006]
本研究では,学術的,実践的両面から最もよく知られたプロンプト技術について検討する。
本稿では,それぞれのカテゴリについて概説し,その独特な貢献を明確化し,実践的応用について紹介する。
論文 参考訳(メタデータ) (2024-02-18T23:03:56Z) - A Systematic Survey of Prompt Engineering in Large Language Models:
Techniques and Applications [11.568575664316143]
本稿では,応用分野別に分類した,最近のプロンプト工学の進歩について概説する。
本稿では、プロンプト手法、その応用、関連するモデル、利用したデータセットについて詳述する。
この体系的な分析は、この急速に発展している分野をよりよく理解し、オープンな課題と迅速なエンジニアリングの機会を照明することによって将来の研究を促進する。
論文 参考訳(メタデータ) (2024-02-05T19:49:13Z) - Large Language Models for Generative Information Extraction: A Survey [89.71273968283616]
情報抽出は、平易な自然言語テキストから構造的知識を抽出することを目的としている。
生成型大規模言語モデル(LLM)は、テキストの理解と生成において顕著な能力を示した。
LLMは生成パラダイムに基づいたIEタスクに対して実行可能なソリューションを提供する。
論文 参考訳(メタデータ) (2023-12-29T14:25:22Z) - A Survey on Prompting Techniques in LLMs [0.0]
自己回帰型大規模言語モデルは自然言語処理のランドスケープに変化をもたらした。
本研究は,既存の文献の分類手法について紹介し,この分類法に基づく簡潔な調査を行う。
我々は、将来の研究の方向性として役立つ自己回帰型LSMの推進という領域において、いくつかの未解決の問題を特定した。
論文 参考訳(メタデータ) (2023-11-28T17:56:34Z) - Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
我々は、ITの一般的な方法論、ITデータセットの構築、ITモデルのトレーニング、異なるモダリティ、ドメイン、アプリケーションへのアプリケーションを含む、文献を体系的にレビューする。
また、ITの潜在的な落とし穴とそれに対する批判、および既存の戦略の現在の欠陥を指摘し、実りある研究の道筋を提案する。
論文 参考訳(メタデータ) (2023-08-21T15:35:16Z) - Revisiting Prompt Engineering via Declarative Crowdsourcing [16.624577543520093]
大規模言語モデル(LLM)は、テキスト形式でデータを解釈し、生成するのに驚くほど強力ですが、脆弱でエラーを起こします。
私たちは宣言的な急進的なエンジニアリングのビジョンを打ち出した。
ソート、実体分解、計算に関する予備的ケーススタディは、我々のアプローチの可能性を実証している。
論文 参考訳(メタデータ) (2023-08-07T18:04:12Z) - Just Tell Me: Prompt Engineering in Business Process Management [63.08166397142146]
GPT-3や他の言語モデル(LM)は、様々な自然言語処理(NLP)タスクに効果的に対処できる。
私たちは、迅速なエンジニアリングは、BPM研究にLMの能力をもたらすことができると論じています。
論文 参考訳(メタデータ) (2023-04-14T14:55:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。