論文の概要: Unleashing the potential of prompt engineering in Large Language Models: a comprehensive review
- arxiv url: http://arxiv.org/abs/2310.14735v5
- Date: Thu, 5 Sep 2024 12:00:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-07 04:41:34.196018
- Title: Unleashing the potential of prompt engineering in Large Language Models: a comprehensive review
- Title（参考訳）: 大規模言語モデルにおける素早いエンジニアリングの可能性:包括的レビュー
- Authors: Banghao Chen, Zhaofeng Zhang, Nicolas Langrené, Shengxin Zhu,
- Abstract要約: 大規模言語モデル(LLM)の能力を解き放つ上で,迅速なエンジニアリングが果たす重要な役割を概観する
自己整合性、思考の連鎖、そして生成された知識などの技術を含む、素早い工学の基礎的方法論と先進的な方法論の両方を検査する。
レビューはまた、AI能力の進歩におけるエンジニアリングの急進的な役割を反映し、将来の研究と応用のための構造化されたフレームワークを提供する。
- 参考スコア（独自算出の注目度）: 1.6006550105523192
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This comprehensive review delves into the pivotal role of prompt engineering in unleashing the capabilities of Large Language Models (LLMs). The development of Artificial Intelligence (AI), from its inception in the 1950s to the emergence of advanced neural networks and deep learning architectures, has made a breakthrough in LLMs, with models such as GPT-4o and Claude-3, and in Vision-Language Models (VLMs), with models such as CLIP and ALIGN. Prompt engineering is the process of structuring inputs, which has emerged as a crucial technique to maximize the utility and accuracy of these models. This paper explores both foundational and advanced methodologies of prompt engineering, including techniques such as self-consistency, chain-of-thought, and generated knowledge, which significantly enhance model performance. Additionally, it examines the prompt method of VLMs through innovative approaches such as Context Optimization (CoOp), Conditional Context Optimization (CoCoOp), and Multimodal Prompt Learning (MaPLe). Critical to this discussion is the aspect of AI security, particularly adversarial attacks that exploit vulnerabilities in prompt engineering. Strategies to mitigate these risks and enhance model robustness are thoroughly reviewed. The evaluation of prompt methods is also addressed, through both subjective and objective metrics, ensuring a robust analysis of their efficacy. This review also reflects the essential role of prompt engineering in advancing AI capabilities, providing a structured framework for future research and application.
- Abstract（参考訳）: この包括的なレビューは、LLM(Large Language Models)の能力を開放する上で、迅速なエンジニアリングの重要な役割を掘り下げている。
1950年代から先進的なニューラルネットワークやディープラーニングアーキテクチャの出現に至るまで、人工知能(AI)の開発は、GPT-4oやClaude-3といったモデルや、CLIPやALIGNといったモデルを使ったビジョンランゲージモデル(VLM)など、LCMにおいて画期的な成果を上げてきた。
プロンプトエンジニアリング(英: Prompt Engineering)は、入力を構造化するプロセスであり、これらのモデルの有用性と精度を最大化する重要な技術として登場した。
本稿では, 自己整合性, チェーン・オブ・思想, 生成した知識など, モデル性能を著しく向上させる技術を含む, 迅速な工学の基礎的手法と先進的手法について検討する。
さらに、コンテキスト最適化(CoOp)、条件コンテキスト最適化(CoCoOp)、マルチモーダル・プロンプト学習(MaPLe)といった革新的な手法を用いて、VLMのプロンプト手法を検討する。
この議論に批判的なのは、AIセキュリティの側面、特に迅速なエンジニアリングの脆弱性を悪用する敵攻撃である。
これらのリスクを軽減し、モデルの堅牢性を高めるための戦略が、徹底的にレビューされている。
提案手法の評価は主観的指標と客観的指標の両方を通して行われ,その有効性について頑健な分析を確実にする。
このレビューはまた、AI能力の進歩におけるエンジニアリングの急進的な役割を反映し、将来の研究と応用のための構造化されたフレームワークを提供する。
関連論文リスト
- On the role of Artificial Intelligence methods in modern force-controlled manufacturing robotic tasks [0.0]
ロボットマニピュレータの強化におけるAIの役割は、スマートマニュファクチャリングにおける重要なイノベーションに急速に結びついている。
この記事では、これらのイノベーションを実効力によって制御されたアプリケーションにまとめ、高品質な生産標準を維持する必要性を強調します。
この分析は、AI技術を検証するための共通のパフォーマンスメトリクスの必要性を強調した、将来の研究方向性の視点で締めくくっている。
論文 参考訳（メタデータ） (2024-09-25T11:29:26Z) - From Linguistic Giants to Sensory Maestros: A Survey on Cross-Modal Reasoning with Large Language Models [56.9134620424985]
クロスモーダル推論(CMR)は、より高度な人工知能システムへの進化における重要な能力として、ますます認識されている。
CMRタスクに取り組むためにLLM(Large Language Models)をデプロイする最近のトレンドは、その有効性を高めるためのアプローチの新たな主流となっている。
本調査では,LLMを用いてCMRで適用された現在の方法論を,詳細な3階層分類に分類する。
論文 参考訳（メタデータ） (2024-09-19T02:51:54Z) - Explanation, Debate, Align: A Weak-to-Strong Framework for Language Model Generalization [0.6629765271909505]
本稿では,言語モデルにおける弱強一般化によるモデルアライメントの新たなアプローチを提案する。
このファシリテーションに基づくアプローチは、モデルの性能を高めるだけでなく、モデルアライメントの性質に関する洞察も提供することを示唆している。
論文 参考訳（メタデータ） (2024-09-11T15:16:25Z) - Science based AI model certification for new operational environments with application in traffic state estimation [1.2186759689780324]
さまざまなエンジニアリング領域における人工知能(AI)の役割の拡大は、AIモデルを新たな運用環境にデプロイする際の課題を強調している。
本稿では,新しい運用環境における事前学習型データ駆動モデルの適用可能性を評価するための,科学ベースの認証手法を提案する。
論文 参考訳（メタデータ） (2024-05-13T16:28:00Z) - Human-Centered AI Product Prototyping with No-Code AutoML: Conceptual Framework, Potentials and Limitations [0.0]
本稿では,AI行動の確率的性質と,プロトタイピングツールの非専門家へのアクセシビリティの制限による課題に焦点を当てる。
デザインサイエンスリサーチ(DSR)アプローチが提示され、AIプロトタイピングプロセスの改善を目的とした概念的フレームワークが完成する。
このフレームワークは、プロトタイピング中の非専門家の入力と評価のシームレスな取り込みを記述し、アクセシビリティと解釈可能性を高めるために、ノーコードAutoMLの可能性を活用している。
論文 参考訳（メタデータ） (2024-02-06T16:00:32Z) - Machine Learning Insides OptVerse AI Solver: Design Principles and
Applications [74.67495900436728]
本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。
本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。
本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
論文 参考訳（メタデータ） (2024-01-11T15:02:15Z) - Interpretable and Explainable Machine Learning Methods for Predictive
Process Monitoring: A Systematic Literature Review [1.3812010983144802]
本稿では,機械学習モデル(ML)の予測プロセスマイニングの文脈における説明可能性と解釈可能性について,系統的に検討する。
我々は、様々なアプリケーション領域にまたがる現在の方法論とその応用の概要を概観する。
我々の研究は、プロセス分析のためのより信頼性が高く透明で効果的なインテリジェントシステムの開発と実装方法について、研究者や実践者がより深く理解することを目的としている。
論文 参考訳（メタデータ） (2023-12-29T12:43:43Z) - Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
我々は、ITの一般的な方法論、ITデータセットの構築、ITモデルのトレーニング、異なるモダリティ、ドメイン、アプリケーションへのアプリケーションを含む、文献を体系的にレビューする。
また、ITの潜在的な落とし穴とそれに対する批判、および既存の戦略の現在の欠陥を指摘し、実りある研究の道筋を提案する。
論文 参考訳（メタデータ） (2023-08-21T15:35:16Z) - Constrained Reinforcement Learning for Robotics via Scenario-Based
Programming [64.07167316957533]
DRLをベースとしたエージェントの性能を最適化し,その動作を保証することが重要である。
本稿では,ドメイン知識を制約付きDRLトレーニングループに組み込む新しい手法を提案する。
我々の実験は、専門家の知識を活用するために我々のアプローチを用いることで、エージェントの安全性と性能が劇的に向上することを示した。
論文 参考訳（メタデータ） (2022-06-20T07:19:38Z) - Holistic Adversarial Robustness of Deep Learning Models [91.34155889052786]
敵対的堅牢性は、安全性と信頼性を確保するために、機械学習モデルの最悪のケースパフォーマンスを研究する。
本稿では,深層学習モデルの対角的ロバスト性に関する研究課題の概要と研究手法の基礎原則について概説する。
論文 参考訳（メタデータ） (2022-02-15T05:30:27Z) - Technology Readiness Levels for AI & ML [79.22051549519989]
機械学習システムの開発は、現代的なツールで容易に実行できるが、プロセスは通常急いで、エンドツーエンドで実行される。
エンジニアリングシステムは、高品質で信頼性の高い結果の開発を効率化するために、明確に定義されたプロセスとテスト標準に従います。
我々は、機械学習の開発と展開のための実証されたシステムエンジニアリングアプローチを提案する。
論文 参考訳（メタデータ） (2020-06-21T17:14:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。