論文の概要: Efficient and Accurate Prompt Optimization: the Benefit of Memory in Exemplar-Guided Reflection

• arxiv url: http://arxiv.org/abs/2411.07446v1
• Date: Tue, 12 Nov 2024 00:07:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:17:19.816622
• Title: Efficient and Accurate Prompt Optimization: the Benefit of Memory in Exemplar-Guided Reflection
• Title（参考訳）: 高速かつ高精度なプロンプト最適化:模擬誘導反射における記憶の利点
• Authors: Cilin Yan, Jingyun Wang, Lin Zhang, Ruihui Zhao, Xiaopu Wu, Kai Xiong, Qingsong Liu, Guoliang Kang, Yangyang Kang,
• Abstract要約: 本稿では,より効率的かつ正確なプロンプト最適化を実現するために,メモリ機構を備えたExemplar-Guided Reflectionを提案する。 具体的には、生成した例によってフィードバック生成がさらにガイドされるような、模擬誘導反射機構を設計する。 実験的な評価により,提案手法は従来の最先端技術よりも少ない最適化手順で優れていることが示された。
• 参考スコア（独自算出の注目度）: 19.020514286500006
• License:
• Abstract: Automatic prompt engineering aims to enhance the generation quality of large language models (LLMs). Recent works utilize feedbacks generated from erroneous cases to guide the prompt optimization. During inference, they may further retrieve several semantically-related exemplars and concatenate them to the optimized prompts to improve the performance. However, those works only utilize the feedback at the current step, ignoring historical and unseleccted feedbacks which are potentially beneficial. Moreover, the selection of exemplars only considers the general semantic relationship and may not be optimal in terms of task performance and matching with the optimized prompt. In this work, we propose an Exemplar-Guided Reflection with Memory mechanism (ERM) to realize more efficient and accurate prompt optimization. Specifically, we design an exemplar-guided reflection mechanism where the feedback generation is additionally guided by the generated exemplars. We further build two kinds of memory to fully utilize the historical feedback information and support more effective exemplar retrieval. Empirical evaluations show our method surpasses previous state-of-the-arts with less optimization steps, i.e., improving F1 score by 10.1 on LIAR dataset, and reducing half of the optimization steps on ProTeGi.
• Abstract（参考訳）: 自動プロンプトエンジニアリングは、大規模言語モデル(LLM)の生成品質を向上させることを目的としている。 最近の研究は、誤った事例から得られたフィードバックを利用して、迅速な最適化を導いている。 推論中、いくつかの意味論的に関連付けられた例を検索し、最適化されたプロンプトに結合してパフォーマンスを改善することができる。 しかし、これらの作業は現在のステップでのみフィードバックを利用することで、潜在的に有益である、歴史的、未解決のフィードバックを無視します。 さらに、模範者の選択は一般的な意味的関係のみを考慮し、タスク性能や最適化されたプロンプトとの整合性の観点からは最適ではないかもしれない。 本研究では,より効率的かつ正確なプロンプト最適化を実現するために,ERM(Exemplar-Guided Reflection with Memory mechanism)を提案する。 具体的には、生成した例によってフィードバック生成がさらにガイドされるような、模擬誘導反射機構を設計する。 さらに、過去のフィードバック情報を完全に活用し、より効果的な模範検索を支援するために、2種類のメモリを構築する。 実験により,提案手法は従来の最先端技術よりも少ない最適化ステップ,すなわちLIARデータセットのF1スコアを10.1向上させ,ProTeGiの最適化ステップの半分を削減した。

関連論文リスト

• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• Large Language Models Prompting With Episodic Memory [53.8690170372303]
  本稿では,POEM(PrOmpting with Episodic Memory)を提案する。 テストフェーズでは、各テストクエリのサンプルのシーケンスを最適化し、エピソードメモリにおけるトップkで最も類似したトレーニング例から最も高い合計報酬を得るシーケンスを選択する。 その結果,POEMはテキスト分類タスクにおいてTEMPERAやRLPromptといった最近の技術よりも5.3%向上していることがわかった。
  論文  参考訳（メタデータ） (2024-08-14T11:19:28Z)
• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• The Importance of Directional Feedback for LLM-based Optimizers [23.669705029245645]
  本研究では,自然言語と数値フィードバックを用いてテキスト空間の問題を解決する対話型言語モデル (LLM) の可能性について検討する。 我々は,過去の最適化トレースから指向性フィードバックを合成し,繰り返しよりも信頼性の高い改善を実現するLLMベースの新しい設計を行う。
  論文  参考訳（メタデータ） (2024-05-26T05:22:35Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: An Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 特に、勾配に基づく最適化から理論的な枠組みや学習手法を借用し、改良された戦略を設計する。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)
• Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
  ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。 このような最適化では、以前見過ごされたクエリ依存の目的を特定します。 本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
  論文  参考訳（メタデータ） (2023-09-13T01:12:52Z)
• Discrete Prompt Optimization via Constrained Generation for Zero-shot Re-ranker [0.2580765958706853]
  大規模言語モデル (LLM) はゼロショットリランカとして, 優れた結果が得られる。 LLMはプロンプトに大きく依存しており、ゼロショットリランカのプロンプトの影響と最適化はまだ検討されていない。 本稿では,新しい離散的プロンプト最適化手法であるConstrained Prompt Generation(Co-Prompt)を提案する。
  論文  参考訳（メタデータ） (2023-05-23T06:35:33Z)
• Preferential Batch Bayesian Optimization [16.141259199997005]
  優先バッチベイズ最適化(PBBO)は、潜在関数の最適性を見つけるための新しいフレームワークである。 本稿では,ベイズ最適化における従来の手法の一般化と拡張について述べる。
  論文  参考訳（メタデータ） (2020-03-25T14:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。