論文の概要: Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars
- arxiv url: http://arxiv.org/abs/2405.16122v2
- Date: Tue, 29 Oct 2024 11:17:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-30 13:38:34.564352
- Title: Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars
- Title（参考訳）: EASEによるプロンプト最適化 : 効率のよい注文認識による経験者の自動選択
- Authors: Zhaoxuan Wu, Xiaoqiang Lin, Zhongxiang Dai, Wenyang Hu, Yao Shu, See-Kiong Ng, Patrick Jaillet, Bryan Kian Hsiang Low,
- Abstract要約: 大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。
これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。
既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
- 参考スコア（独自算出の注目度）: 66.823588073584
- License:
- Abstract: Large language models (LLMs) have shown impressive capabilities in real-world applications. The capability of in-context learning (ICL) allows us to adapt an LLM to downstream tasks by including input-label exemplars in the prompt without model fine-tuning. However, the quality of these exemplars in the prompt greatly impacts performance, highlighting the need for an effective automated exemplar selection method. Recent studies have explored retrieval-based approaches to select exemplars tailored to individual test queries, which can be undesirable due to extra test-time computation and an increased risk of data exposure. Moreover, existing methods fail to adequately account for the impact of exemplar ordering on the performance. On the other hand, the impact of the instruction, another essential component in the prompt given to the LLM, is often overlooked in existing exemplar selection methods. To address these challenges, we propose a novel method named EASE, which leverages the hidden embedding from a pre-trained language model to represent ordered sets of exemplars and uses a neural bandit algorithm to optimize the sets of exemplars while accounting for exemplar ordering. Our EASE can efficiently find an ordered set of exemplars that performs well for all test queries from a given task, thereby eliminating test-time computation. Importantly, EASE can be readily extended to jointly optimize both the exemplars and the instruction. Through extensive empirical evaluations (including novel tasks), we demonstrate the superiority of EASE over existing methods, and reveal practical insights about the impact of exemplar selection on ICL, which may be of independent interest. Our code is available at https://github.com/ZhaoxuanWu/EASE-Prompt-Optimization.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。
In-context Learning(ICL)の能力により、モデル微調整なしでインプットラベルの例をプロンプトに含めることで、LLMを下流タスクに適応させることができる。
しかし、これらの例題の品質は性能に大きな影響を与え、効果的な自動例題選択法の必要性を強調している。
近年の研究では、個別のテストクエリに適合した例を検索ベースで選択する手法が検討されている。
さらに、既存の手法では、先行注文がパフォーマンスに与える影響を適切に説明できない。
一方、LLMに与えられたプロンプトのもう一つの重要な要素である命令の影響は、既存の模範的選択法では見過ごされがちである。
これらの課題に対処するために,事前訓練された言語モデルからの隠れ埋め込みを活用して,先行注文を考慮に入れながら,先行注文を最適化するニューラルバンディットアルゴリズムを提案する。
我々のEASEは、与えられたタスクから全てのテストクエリに対してうまく動作する順序付けられた例の集合を効率的に見つけることができ、テスト時間計算をなくすことができる。
重要な点として、EASEは前例と命令の両方を共同で最適化するために簡単に拡張できる。
実験的な評価(新規タスクを含む)を通じて、既存の方法よりもEASEの方が優れていることを実証し、独立性のあるICLに対する模範選択の影響に関する実践的な洞察を明らかにする。
私たちのコードはhttps://github.com/ZhaoxuanWu/EASE-Prompt-Optimizationで利用可能です。
関連論文リスト
- EXPLORA: Efficient Exemplar Subset Selection for Complex Reasoning [5.172620636569522]
大規模言語モデル (LLMs) は文脈内学習 (ICL) を可能にしており、LLMはいくつかの実演サンプル(例)を使って特定のタスクにおいて習熟度を取得できる。
ICLにおける重要な課題は、タスク特化(静的)またはテスト特化(動的)のいずれかが可能な最適例の選択である。
論文 参考訳（メタデータ） (2024-11-06T12:48:04Z) - Large Language Models Know What Makes Exemplary Contexts [42.90814615222177]
In-context Learning (ICL) は、Large Language Model (LLM) の発展において重要な機能であることが証明されている。
本稿では,LLMのための統合フレームワークを提案する。このフレームワークにより,影響力のあるインコンテキストのサンプルを自己選択してコンテキストを構成することができる。
論文 参考訳（メタデータ） (2024-08-14T12:32:41Z) - Large Language Models Prompting With Episodic Memory [53.8690170372303]
本稿では,POEM(PrOmpting with Episodic Memory)を提案する。
テストフェーズでは、各テストクエリのサンプルのシーケンスを最適化し、エピソードメモリにおけるトップkで最も類似したトレーニング例から最も高い合計報酬を得るシーケンスを選択する。
その結果,POEMはテキスト分類タスクにおいてTEMPERAやRLPromptといった最近の技術よりも5.3%向上していることがわかった。
論文 参考訳（メタデータ） (2024-08-14T11:19:28Z) - Instruction Tuning with Retrieval-based Examples Ranking for Aspect-based Sentiment Analysis [7.458853474864602]
アスペクトベースの感情分析(ABSA)は、特定の側面に関連する感情情報を識別し、企業や組織に対してより深い市場洞察を提供する。
近年の研究では、ABSAを生成タスクとして再構成する命令チューニングの固定例が提案されている。
本研究では,ABSAタスクの検索に基づくサンプルランキングを用いた指導学習手法を提案する。
論文 参考訳（メタデータ） (2024-05-28T10:39:10Z) - Experimental Design for Active Transductive Inference in Large Language Models [18.2671641610825]
適応的なプロンプト設計にアクティブラーニングを使用し、それをアクティブ・インコンテクスト・プロンプト・デザイン(AIPD)と呼ぶ。
テストセットの性能を最適化するために、トレーニングセットから少数ショット例を適応的に選択し、LCMプロンプトを設計する。
GOとSALの2つのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-04-12T23:27:46Z) - ParaICL: Towards Robust Parallel In-Context Learning [74.38022919598443]
大規模言語モデル(LLM)が自然言語処理の標準となっている。
インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。
パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
論文 参考訳（メタデータ） (2024-03-31T05:56:15Z) - OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。
本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
論文 参考訳（メタデータ） (2023-05-24T10:08:04Z) - RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
In-Context Learning (RetICL) のための検索式を提案する。
RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
論文 参考訳（メタデータ） (2023-05-23T20:15:56Z) - Finding Support Examples for In-Context Learning [73.90376920653507]
本稿では,この課題を2段階に解決するためのfilter-thEN-Search法であるLENSを提案する。
まず、データセットをフィルタリングして、個別に情報的インコンテキストの例を得る。
そこで本研究では,反復的に改良し,選択したサンプル順列を評価可能な多様性誘導型サンプル探索を提案する。
論文 参考訳（メタデータ） (2023-02-27T06:32:45Z) - Compositional Exemplars for In-context Learning [21.961094715261133]
大規模な事前学習言語モデル(LM)は、印象的なインコンテキスト学習(ICL)能力を示している。
本稿では,CEIL (Compositional Exemplars for In-context Learning) を提案する。
我々は、感情分析、パラフレーズ検出、自然言語推論、コモンセンス推論、オープンドメイン質問応答、コード生成、意味解析を含む7つの異なるNLPタスクから、CEILを12の分類および生成データセットで検証する。
論文 参考訳（メタデータ） (2023-02-11T14:02:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。