論文の概要: Unleashing the potential of prompt engineering: a comprehensive review
- arxiv url: http://arxiv.org/abs/2310.14735v3
- Date: Tue, 28 May 2024 16:38:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-30 04:17:08.416356
- Title: Unleashing the potential of prompt engineering: a comprehensive review
- Title(参考訳): 素早いエンジニアリングの可能性の解き放つ--総合的なレビュー
- Authors: Banghao Chen, Zhaofeng Zhang, Nicolas Langrené, Shengxin Zhu,
- Abstract要約: 大規模言語モデル(LLMs)と多モーダル言語モデル(MMLMs)の領域における即時工学の変容の可能性について
マルチモーダル・プロンプト・ラーニング(MaPLe)、条件付きプロンプト・ラーニング(Conditional Prompt Learning)、コンテキスト最適化(Context Optimization)といった革新的な手法によるマルチモーダルデータの統合を検討する。
この議論に批判的なのは、AIセキュリティの側面、特に迅速なエンジニアリングの脆弱性を悪用する敵攻撃である。
- 参考スコア(独自算出の注目度): 1.6006550105523192
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This comprehensive review explores the transformative potential of prompt engineering within the realm of large language models (LLMs) and multimodal language models (MMLMs). The development of AI, from its inception in the 1950s to the emergence of neural networks and deep learning architectures, has culminated in sophisticated LLMs like GPT-4 and BERT, as well as MMLMs like DALL-E and CLIP. These models have revolutionized tasks in diverse fields such as workplace automation, healthcare, and education. Prompt engineering emerges as a crucial technique to maximize the utility and accuracy of these models. This paper delves into both foundational and advanced methodologies of prompt engineering, including techniques like Chain of Thought, Self-consistency, and Generated Knowledge, which significantly enhance model performance. Additionally, it examines the integration of multimodal data through innovative approaches such as Multi-modal Prompt Learning (MaPLe), Conditional Prompt Learning, and Context Optimization. Critical to this discussion is the aspect of AI security, particularly adversarial attacks that exploit vulnerabilities in prompt engineering. Strategies to mitigate these risks and enhance model robustness are thoroughly reviewed. The evaluation of prompt methods is addressed through both subjective and objective metrics, ensuring a robust analysis of their efficacy. This review underscores the pivotal role of prompt engineering in advancing AI capabilities, providing a structured framework for future research and application.
- Abstract(参考訳): 本稿では,大規模言語モデル (LLMs) とマルチモーダル言語モデル (MMLMs) の領域において,プロンプトエンジニアリングの変革の可能性について考察する。
1950年代からニューラルネットワークやディープラーニングアーキテクチャの出現に至るまで、AIの開発は、GPT-4やBERTのような洗練されたLLM、DALL-EやCLIPのようなMMLMで頂点に達した。
これらのモデルは、職場の自動化、医療、教育といった様々な分野のタスクに革命をもたらした。
プロンプトエンジニアリングは、これらのモデルの実用性と精度を最大化する重要な技術として出現する。
本稿では,思考の連鎖,自己整合性,モデル性能を著しく向上させる生成知識など,素早い工学の基礎的手法と先進的手法について述べる。
さらに、マルチモーダル・プロンプト・ラーニング(MaPLe)、条件付きプロンプト・ラーニング(Conditional Prompt Learning)、コンテキスト最適化(Context Optimization)といった革新的なアプローチを通じて、マルチモーダル・データの統合を検討する。
この議論に批判的なのは、AIセキュリティの側面、特に迅速なエンジニアリングの脆弱性を悪用する敵攻撃である。
これらのリスクを軽減し、モデルの堅牢性を高めるための戦略が、徹底的にレビューされている。
プロンプト法の評価は主観的および客観的な指標の両方を通して行われ、その効果の堅牢な分析が保証される。
このレビューは、AI能力の進歩において、迅速なエンジニアリングが果たす重要な役割を強調し、将来の研究と応用のための構造化されたフレームワークを提供する。
関連論文リスト
- Tool Learning with Large Language Models: A Survey [60.733557487886635]
大規模言語モデル(LLM)を用いたツール学習は,高度に複雑な問題に対処するLLMの能力を強化するための,有望なパラダイムとして登場した。
この分野での注目と急速な進歩にもかかわらず、現存する文献は断片化され、体系的な組織が欠如している。
論文 参考訳(メタデータ) (2024-05-28T08:01:26Z) - Efficient Prompting Methods for Large Language Models: A Survey [50.171011917404485]
プロンプティングは、特定の自然言語処理タスクに大規模言語モデル(LLM)を適用するための主流パラダイムとなっている。
このアプローチは、LLMの振る舞いをガイドし、制御するために、モデル推論と人間の努力のさらなる計算負担をもたらす。
本稿では, 今後の研究の方向性を明らかにするため, 促進, 効率的な促進のための進歩を概説する。
論文 参考訳(メタデータ) (2024-04-01T12:19:08Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳(メタデータ) (2024-02-26T07:33:05Z) - An Empirical Categorization of Prompting Techniques for Large Language
Models: A Practitioner's Guide [0.34530027457862006]
本研究では,学術的,実践的両面から最もよく知られたプロンプト技術について検討する。
本稿では,それぞれのカテゴリについて概説し,その独特な貢献を明確化し,実践的応用について紹介する。
論文 参考訳(メタデータ) (2024-02-18T23:03:56Z) - A Systematic Survey of Prompt Engineering in Large Language Models:
Techniques and Applications [11.568575664316143]
本稿では,応用分野別に分類した,最近のプロンプト工学の進歩について概説する。
本稿では、プロンプト手法、その応用、関連するモデル、利用したデータセットについて詳述する。
この体系的な分析は、この急速に発展している分野をよりよく理解し、オープンな課題と迅速なエンジニアリングの機会を照明することによって将来の研究を促進する。
論文 参考訳(メタデータ) (2024-02-05T19:49:13Z) - Large Language Models for Generative Information Extraction: A Survey [89.71273968283616]
情報抽出は、平易な自然言語テキストから構造的知識を抽出することを目的としている。
生成型大規模言語モデル(LLM)は、テキストの理解と生成において顕著な能力を示した。
LLMは生成パラダイムに基づいたIEタスクに対して実行可能なソリューションを提供する。
論文 参考訳(メタデータ) (2023-12-29T14:25:22Z) - A Survey on Prompting Techniques in LLMs [0.0]
自己回帰型大規模言語モデルは自然言語処理のランドスケープに変化をもたらした。
本研究は,既存の文献の分類手法について紹介し,この分類法に基づく簡潔な調査を行う。
我々は、将来の研究の方向性として役立つ自己回帰型LSMの推進という領域において、いくつかの未解決の問題を特定した。
論文 参考訳(メタデータ) (2023-11-28T17:56:34Z) - Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
我々は、ITの一般的な方法論、ITデータセットの構築、ITモデルのトレーニング、異なるモダリティ、ドメイン、アプリケーションへのアプリケーションを含む、文献を体系的にレビューする。
また、ITの潜在的な落とし穴とそれに対する批判、および既存の戦略の現在の欠陥を指摘し、実りある研究の道筋を提案する。
論文 参考訳(メタデータ) (2023-08-21T15:35:16Z) - Revisiting Prompt Engineering via Declarative Crowdsourcing [16.624577543520093]
大規模言語モデル(LLM)は、テキスト形式でデータを解釈し、生成するのに驚くほど強力ですが、脆弱でエラーを起こします。
私たちは宣言的な急進的なエンジニアリングのビジョンを打ち出した。
ソート、実体分解、計算に関する予備的ケーススタディは、我々のアプローチの可能性を実証している。
論文 参考訳(メタデータ) (2023-08-07T18:04:12Z) - Just Tell Me: Prompt Engineering in Business Process Management [63.08166397142146]
GPT-3や他の言語モデル(LM)は、様々な自然言語処理(NLP)タスクに効果的に対処できる。
私たちは、迅速なエンジニアリングは、BPM研究にLMの能力をもたらすことができると論じています。
論文 参考訳(メタデータ) (2023-04-14T14:55:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。