論文の概要: Intent-based Prompt Calibration: Enhancing prompt optimization with
synthetic boundary cases
- arxiv url: http://arxiv.org/abs/2402.03099v1
- Date: Mon, 5 Feb 2024 15:28:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 15:33:27.255363
- Title: Intent-based Prompt Calibration: Enhancing prompt optimization with
synthetic boundary cases
- Title(参考訳): インテントに基づくプロンプトキャリブレーション:合成境界ケースによるプロンプト最適化の促進
- Authors: Elad Levi, Eli Brosh, Matan Friedmann
- Abstract要約: 本稿では,ユーザ意図に対するプロンプトを反復的に洗練するキャリブレーションプロセスを用いて,自動プロンプトエンジニアリングの新しい手法を提案する。
我々は,モデレーションや生成といった現実的なタスクにおいて,強力なプロプライエタリなモデルに対して,本手法の有効性を示す。
- 参考スコア(独自算出の注目度): 2.6159111710501506
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prompt engineering is a challenging and important task due to the high
sensitivity of Large Language Models (LLMs) to the given prompt and the
inherent ambiguity of a textual task instruction. Automatic prompt engineering
is essential to achieve optimized performance from LLMs. Recent studies have
demonstrated the capabilities of LLMs to automatically conduct prompt
engineering by employing a meta-prompt that incorporates the outcomes of the
last trials and proposes an improved prompt. However, this requires a
high-quality benchmark to compare different prompts, which is difficult and
expensive to acquire in many real-world use cases. In this work, we introduce a
new method for automatic prompt engineering, using a calibration process that
iteratively refines the prompt to the user intent. During the optimization
process, the system jointly generates synthetic data of boundary use cases and
optimizes the prompt according to the generated dataset. We demonstrate the
effectiveness of our method with respect to strong proprietary models on
real-world tasks such as moderation and generation. Our method outperforms
state-of-the-art methods with a limited number of annotated samples.
Furthermore, we validate the advantages of each one of the system's key
components. Our system is built in a modular way, facilitating easy adaptation
to other tasks. The code is available
$\href{https://github.com/Eladlev/AutoPrompt}{here}$.
- Abstract(参考訳): プロンプトエンジニアリングは、与えられたプロンプトに対するLarge Language Models(LLM)の高感度とテキストタスク命令の固有の曖昧さのため、困難で重要なタスクである。
LLMから最適化された性能を実現するためには,自動プロンプトエンジニアリングが不可欠である。
最近の研究では、前回の試行の結果を組み込んだメタプロンプトを採用し、改良プロンプトを提案することで、自動的にプロンプトエンジニアリングを行うllmの能力が実証されている。
しかし、これにはさまざまなプロンプトを比較するための高品質なベンチマークが必要である。
本研究では,ユーザ意図に対するプロンプトを反復的に洗練するキャリブレーションプロセスを用いて,自動プロンプトエンジニアリングの新しい手法を提案する。
最適化プロセスの間、システムは境界ユースケースの合成データを共同で生成し、生成されたデータセットに従ってプロンプトを最適化する。
本手法は,モデレーションや生成といった実世界のタスクにおいて,強力なプロプライエタリモデルに対して有効であることを示す。
本手法は,アノテートサンプル数に制限のある最先端の手法より優れる。
さらに,システムの重要コンポーネントの1つ1つ1つの利点を検証する。
私たちのシステムはモジュール方式で構築されており、他のタスクへの容易に適応できます。
コードは$\href{https://github.com/eladlev/autoprompt}{here}$である。
関連論文リスト
- PhaseEvo: Towards Unified In-Context Prompt Optimization for Large
Language Models [9.362082187605356]
本稿では、LLMの生成能力と進化アルゴリズムのグローバル検索能力を組み合わせた効率的な自動プロンプト最適化フレームワークであるPhaseEvoについて述べる。
PhaseEvoは、優れた効率を維持しながら、最先端のベースライン手法を大きなマージンで大幅に上回っている。
論文 参考訳(メタデータ) (2024-02-17T17:47:10Z) - PRompt Optimization in Multi-Step Tasks (PROMST): Integrating Human
Feedback and Preference Alignment [21.256456167260176]
マルチステップタスクのための離散的なプロンプト最適化フレームワークを新たに導入する。
我々のフレームワークは、潜在的なエラーに関する人間設計のフィードバックルールを組み込んで、改善のための直接提案を自動で提供する。
このアプローチは、人間工学的なプロンプトと、他のいくつかのプロンプト最適化手法の両方を著しく上回っている。
論文 参考訳(メタデータ) (2024-02-13T16:38:01Z) - Connecting Large Language Models with Evolutionary Algorithms Yields
Powerful Prompt Optimizers [70.18534453485849]
EvoPromptは離散的なプロンプト最適化のためのフレームワークである。
進化的アルゴリズム(EA)の概念は、優れた性能と高速収束を示すものである。
人為的なプロンプトと既存の方法で自動プロンプト生成を著しく上回っている。
論文 参考訳(メタデータ) (2023-09-15T16:50:09Z) - Query-Dependent Prompt Evaluation and Optimization with Offline Inverse
RL [62.824464372594576]
ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。
このような最適化では、以前見過ごされたクエリ依存の目的を特定します。
本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
論文 参考訳(メタデータ) (2023-09-13T01:12:52Z) - AutoHint: Automatic Prompt Optimization with Hint Generation [11.737818328656735]
本稿では,大規模言語モデル(LLM)の自動プロンプトエンジニアリングと最適化のための新しいフレームワークであるAutoHintを提案する。
本稿では,インテキスト学習とゼロショット学習の両方の利点を継承する枠組みを提案する。
エンリッチメントをヒントと呼び、ラベル付きデータからヒントを自動的に生成するフレームワークを提案する。
論文 参考訳(メタデータ) (2023-07-13T00:49:27Z) - Prompt Space Optimizing Few-shot Reasoning Success with Large Language
Models [6.280118165021093]
プロンプトエンジニアリングにより、算術的推論、質問応答、要約、関係抽出、機械翻訳、感情分析などの様々なタスクにおいて、大きな言語モデル(LLM)が優れている。
現在のアプローチでは、最適なプロンプトを決定するための確かな理論基盤が欠如している。
提案手法では,テキスト埋め込みを用いて行列分解による基底ベクトルを取得し,すべてのプロンプトを表す空間を構築する。
論文 参考訳(メタデータ) (2023-06-06T15:43:16Z) - OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。
本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
論文 参考訳(メタデータ) (2023-05-24T10:08:04Z) - TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。
従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。
本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
論文 参考訳(メタデータ) (2022-11-21T22:38:20Z) - MetaPrompting: Learning to Learn Better Prompts [52.914694884515534]
本稿では,メタプロンプトと呼ばれるソフトプロンプト手法を提案する。
大規模な実験は、MetaPromptingが4つの異なるデータセットに大きな改善をもたらすことを示している。
論文 参考訳(メタデータ) (2022-09-23T09:01:05Z) - RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。
RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。
少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-05-25T07:50:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。