論文の概要: Intent-based Prompt Calibration: Enhancing prompt optimization with synthetic boundary cases

• arxiv url: http://arxiv.org/abs/2402.03099v1
• Date: Mon, 5 Feb 2024 15:28:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 15:33:27.255363
• Title: Intent-based Prompt Calibration: Enhancing prompt optimization with synthetic boundary cases
• Title（参考訳）: インテントに基づくプロンプトキャリブレーション:合成境界ケースによるプロンプト最適化の促進
• Authors: Elad Levi, Eli Brosh, Matan Friedmann
• Abstract要約: 本稿では,ユーザ意図に対するプロンプトを反復的に洗練するキャリブレーションプロセスを用いて,自動プロンプトエンジニアリングの新しい手法を提案する。 我々は,モデレーションや生成といった現実的なタスクにおいて,強力なプロプライエタリなモデルに対して,本手法の有効性を示す。
• 参考スコア（独自算出の注目度）: 2.6159111710501506
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompt engineering is a challenging and important task due to the high sensitivity of Large Language Models (LLMs) to the given prompt and the inherent ambiguity of a textual task instruction. Automatic prompt engineering is essential to achieve optimized performance from LLMs. Recent studies have demonstrated the capabilities of LLMs to automatically conduct prompt engineering by employing a meta-prompt that incorporates the outcomes of the last trials and proposes an improved prompt. However, this requires a high-quality benchmark to compare different prompts, which is difficult and expensive to acquire in many real-world use cases. In this work, we introduce a new method for automatic prompt engineering, using a calibration process that iteratively refines the prompt to the user intent. During the optimization process, the system jointly generates synthetic data of boundary use cases and optimizes the prompt according to the generated dataset. We demonstrate the effectiveness of our method with respect to strong proprietary models on real-world tasks such as moderation and generation. Our method outperforms state-of-the-art methods with a limited number of annotated samples. Furthermore, we validate the advantages of each one of the system's key components. Our system is built in a modular way, facilitating easy adaptation to other tasks. The code is available $\href{https://github.com/Eladlev/AutoPrompt}{here}$.
• Abstract（参考訳）: プロンプトエンジニアリングは、与えられたプロンプトに対するLarge Language Models(LLM)の高感度とテキストタスク命令の固有の曖昧さのため、困難で重要なタスクである。 LLMから最適化された性能を実現するためには,自動プロンプトエンジニアリングが不可欠である。 最近の研究では、前回の試行の結果を組み込んだメタプロンプトを採用し、改良プロンプトを提案することで、自動的にプロンプトエンジニアリングを行うllmの能力が実証されている。 しかし、これにはさまざまなプロンプトを比較するための高品質なベンチマークが必要である。 本研究では,ユーザ意図に対するプロンプトを反復的に洗練するキャリブレーションプロセスを用いて,自動プロンプトエンジニアリングの新しい手法を提案する。 最適化プロセスの間、システムは境界ユースケースの合成データを共同で生成し、生成されたデータセットに従ってプロンプトを最適化する。 本手法は,モデレーションや生成といった実世界のタスクにおいて,強力なプロプライエタリモデルに対して有効であることを示す。 本手法は,アノテートサンプル数に制限のある最先端の手法より優れる。 さらに,システムの重要コンポーネントの1つ1つ1つの利点を検証する。 私たちのシステムはモジュール方式で構築されており、他のタスクへの容易に適応できます。 コードは$\href{https://github.com/eladlev/autoprompt}{here}$である。

関連論文リスト

• AMPO: Automatic Multi-Branched Prompt Optimization [43.586044739174646]
  本稿では,障害事例をフィードバックとして多分岐プロンプトを反復的に開発する自動プロンプト最適化手法AMPOを提案する。 5つのタスクにわたる実験では、AMPOが常に最良の結果を達成する。
  論文  参考訳（メタデータ） (2024-10-11T10:34:28Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• GRAD-SUM: Leveraging Gradient Summarization for Optimal Prompt Engineering [0.2877502288155167]
  本稿では,自動プロンプトエンジニアリングのためのスケーラブルでフレキシブルなGRAD-SUMを紹介する。 提案手法は,ユーザ定義タスク記述と評価基準を取り入れ,新しい勾配要約モジュールを特徴とする。 この結果から, GRAD-SUMは, 様々なベンチマークにおいて, 既存の手法よりも一貫した性能を示した。
  論文  参考訳（メタデータ） (2024-07-12T19:11:21Z)
• APEER: Automatic Prompt Engineering Enhances Large Language Model Reranking [39.649879274238856]
  APEERという新しい自動プロンプトエンジニアリングアルゴリズムを導入する。 APEERはフィードバックと好みの最適化を通じて改良されたプロンプトを反復的に生成する。 実験では、既存の最先端(SoTA)マニュアルプロンプトよりもAPEERの性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2024-06-20T16:11:45Z)
• PromptWizard: Task-Aware Prompt Optimization Framework [2.618253052454435]
  大規模言語モデル(LLM)は、さまざまなドメインでAIを変換している。 手動プロンプトエンジニアリングは、労働集約的かつドメイン固有である。 本稿では、離散的なプロンプト最適化のための新しい完全に自動化されたフレームワークであるPromptWizardを紹介する。
  論文  参考訳（メタデータ） (2024-05-28T17:08:31Z)
• Efficient Prompting Methods for Large Language Models: A Survey [50.171011917404485]
  プロンプティングは、特定の自然言語処理タスクに大規模言語モデル(LLM)を適用するための主流パラダイムとなっている。 このアプローチは、LLMの振る舞いをガイドし、制御するために、モデル推論と人間の努力のさらなる計算負担をもたらす。 本稿では, 今後の研究の方向性を明らかにするため, 促進, 効率的な促進のための進歩を概説する。
  論文  参考訳（メタデータ） (2024-04-01T12:19:08Z)
• Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
  ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。 このような最適化では、以前見過ごされたクエリ依存の目的を特定します。 本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
  論文  参考訳（メタデータ） (2023-09-13T01:12:52Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)
• TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
  強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。 従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。 本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
  論文  参考訳（メタデータ） (2022-11-21T22:38:20Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。