論文の概要: A Systematic Survey of Automatic Prompt Optimization Techniques
- arxiv url: http://arxiv.org/abs/2502.16923v1
- Date: Mon, 24 Feb 2025 07:29:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-25 15:58:21.811998
- Title: A Systematic Survey of Automatic Prompt Optimization Techniques
- Title（参考訳）: 自動プロンプト最適化手法の体系的調査
- Authors: Kiran Ramnath, Kang Zhou, Sheng Guan, Soumya Smruti Mishra, Xuan Qi, Zhengyuan Shen, Shuai Wang, Sangmin Woo, Sullam Jeoung, Yawei Wang, Haozhu Wang, Han Ding, Yuzhe Lu, Zhichao Xu, Yun Zhou, Balasubramaniam Srinivasan, Qiaojing Yan, Yueyan Chen, Haibo Ding, Panpan Xu, Lin Lee Cheong,
- Abstract要約: 本研究は,本分野における現状と今後の課題をまとめた総合的な調査である。
APOは5つの部分を統一するフレームワークであり、それに基づいて関連する作業をすべて厳格に分類する。
- 参考スコア（独自算出の注目度）: 21.95159233568761
- License:
- Abstract: Since the advent of large language models (LLMs), prompt engineering has been a crucial step for eliciting desired responses for various Natural Language Processing (NLP) tasks. However, prompt engineering remains an impediment for end users due to rapid advances in models, tasks, and associated best practices. To mitigate this, Automatic Prompt Optimization (APO) techniques have recently emerged that use various automated techniques to help improve the performance of LLMs on various tasks. In this paper, we present a comprehensive survey summarizing the current progress and remaining challenges in this field. We provide a formal definition of APO, a 5-part unifying framework, and then proceed to rigorously categorize all relevant works based on their salient features therein. We hope to spur further research guided by our framework.
- Abstract（参考訳）: 大規模言語モデル(LLMs)の出現以来、様々な自然言語処理(NLP)タスクに対して、迅速なエンジニアリングが望ましい応答を引き出すための重要なステップとなっている。
しかし、モデルやタスク、関連するベストプラクティスの急速な進歩により、迅速なエンジニアリングはエンドユーザの障害であり続けている。
これを軽減するために、最近、様々な自動化技術を用いて様々なタスクにおけるLLMの性能向上を支援するAPO(Automatic Prompt Optimization)技術が登場した。
本稿では,本分野における現状と今後の課題をまとめた総合的な調査を行う。
APOは5つの部分を統一するフレームワークであり、それに基づいて関連する作業をすべて厳格に分類する。
フレームワークによってガイドされたさらなる研究を加速したいと考えています。
関連論文リスト
- Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。
しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。
人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-17T18:49:25Z) - A Survey of Automatic Prompt Engineering: An Optimization Perspective [18.933465526053453]
本稿では,統合最適化理論レンズによる自動プロンプト工学の総合的な研究について紹介する。
我々は離散的かつ連続的でハイブリッドなプロンプト空間上の問題としてプロンプト最適化を定式化する。
制約のある最適化とエージェント指向のプロンプト設計において、未探索のフロンティアを強調した。
論文 参考訳（メタデータ） (2025-02-17T08:48:07Z) - APEER: Automatic Prompt Engineering Enhances Large Language Model Reranking [39.649879274238856]
APEERという新しい自動プロンプトエンジニアリングアルゴリズムを導入する。
APEERはフィードバックと好みの最適化を通じて改良されたプロンプトを反復的に生成する。
実験では、既存の最先端(SoTA)マニュアルプロンプトよりもAPEERの性能が大幅に向上したことを示す。
論文 参考訳（メタデータ） (2024-06-20T16:11:45Z) - PromptWizard: Task-Aware Prompt Optimization Framework [2.618253052454435]
大規模言語モデル(LLM)は、さまざまなドメインでAIを変換している。
手動プロンプトエンジニアリングは、労働集約的かつドメイン固有である。
本稿では、離散的なプロンプト最適化のための新しい完全に自動化されたフレームワークであるPromptWizardを紹介する。
論文 参考訳（メタデータ） (2024-05-28T17:08:31Z) - A Systematic Survey of Prompt Engineering in Large Language Models:
Techniques and Applications [11.568575664316143]
本稿では,応用分野別に分類した,最近のプロンプト工学の進歩について概説する。
本稿では、プロンプト手法、その応用、関連するモデル、利用したデータセットについて詳述する。
この体系的な分析は、この急速に発展している分野をよりよく理解し、オープンな課題と迅速なエンジニアリングの機会を照明することによって将来の研究を促進する。
論文 参考訳（メタデータ） (2024-02-05T19:49:13Z) - TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。
具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。
提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
論文 参考訳（メタデータ） (2023-11-30T18:02:44Z) - Automatic Engineering of Long Prompts [79.66066613717703]
大規模言語モデル(LLM)は、複雑なオープンドメインタスクを解く際、顕著な能力を示した。
本稿では,自動ロングプロンプトエンジニアリングのためのグリージーアルゴリズムと遺伝的アルゴリズムの性能について検討する。
提案アルゴリズムは,Big Bench Hardの8つのタスクにおいて,平均9.2%の精度向上を実現している。
論文 参考訳（メタデータ） (2023-11-16T07:42:46Z) - Automatically Correcting Large Language Models: Surveying the landscape
of diverse self-correction strategies [104.32199881187607]
大規模言語モデル(LLM)は、幅広いNLPタスクで顕著な性能を示した。
これらの欠陥を正すための有望なアプローチは自己補正であり、LLM自体が自身の出力で問題を修正するために誘導される。
本稿では,この新技術について概観する。
論文 参考訳（メタデータ） (2023-08-06T18:38:52Z) - Prompts Matter: Insights and Strategies for Prompt Engineering in
Automated Software Traceability [45.235173351109374]
大規模言語モデル(LLM)は、自動化トレーサビリティに革命をもたらす可能性がある。
本稿では,LLMからリンク予測を抽出するプロセスについて検討する。
論文 参考訳（メタデータ） (2023-08-01T01:56:22Z) - OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。
本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
論文 参考訳（メタデータ） (2023-05-24T10:08:04Z) - AANG: Automating Auxiliary Learning [110.36191309793135]
補助目的の集合を自動生成する手法を提案する。
我々は、新しい統合分類体系の中で既存の目的を分解し、それらの関係を識別し、発見された構造に基づいて新しい目的を創出することで、これを実現する。
これにより、生成された目的物の空間を探索し、指定されたエンドタスクに最も有用なものを見つけるための、原理的かつ効率的なアルゴリズムが導かれる。
論文 参考訳（メタデータ） (2022-05-27T16:32:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。