Fugu-MT 論文翻訳(概要): Prompt Exploration with Prompt Regression

論文の概要: Prompt Exploration with Prompt Regression

arxiv url: http://arxiv.org/abs/2405.11083v2
Date: Mon, 26 Aug 2024 20:02:16 GMT
ステータス: 処理完了
システム内更新日: 2024-08-28 19:19:38.417379
Title: Prompt Exploration with Prompt Regression
Title（参考訳）: プロンプト回帰によるプロンプト探査
Authors: Michael Feffer, Ronald Xu, Yuekai Sun, Mikhail Yurochkin,
Abstract要約: 本稿では,プロンプト回帰を用いたプロンプト探索(Pmpt Exploration with Prompt Regression,PEPR)を提案する。我々は,複数の異なるタスクに対して,異なるサイズのオープンソースLLMを用いてアプローチを評価した。
参考スコア（独自算出の注目度）: 38.847668543140315
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In the advent of democratized usage of large language models (LLMs), there is a growing desire to systematize LLM prompt creation and selection processes beyond iterative trial-and-error. Prior works majorly focus on searching the space of prompts without accounting for relations between prompt variations. Here we propose a framework, Prompt Exploration with Prompt Regression (PEPR), to predict the effect of prompt combinations given results for individual prompt elements as well as a simple method to select an effective prompt for a given use-case. We evaluate our approach with open-source LLMs of different sizes on several different tasks.
Abstract（参考訳）: 大規模言語モデル (LLMs) の民主化利用の出現では、反復的試行錯誤を超えて、LCMの迅速な作成と選択プロセスを体系化したいという願望が高まっている。先行研究は、プロンプト間の関係を考慮せずにプロンプトの空間の探索に重点を置いている。本稿では,個別のプロンプト要素に対するプロンプト組み合わせの効果を予測するためのフレームワークであるPrompt Exploration with Prompt Regression(PEPR)と,与えられたユースケースに対して有効なプロンプトを選択する簡単な方法を提案する。我々は,複数の異なるタスクに対して,異なるサイズのオープンソースLLMを用いてアプローチを評価した。

関連論文リスト

QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
論文参考訳（メタデータ） (2024-08-20T03:06:48Z)
Task Facet Learning: A Structured Approach to Prompt Optimization [14.223730629357178]
本稿では,タスクの複数の面をトレーニング例から学習するアルゴリズムを提案する。結果のアルゴリズムであるUniPromptは、各プロンプトセクションの初期候補を生成する生成モデルで構成されている。複数のデータセットと実世界のタスクに対する経験的評価は、UniPromptを使って生成されたプロンプトが、人間のチューニングしたプロンプトよりも高い精度が得られることを示している。
論文参考訳（メタデータ） (2024-06-15T04:54:26Z)
Venn Diagram Prompting : Accelerating Comprehension with Scaffolding Effect [0.0]
本稿ではVenn Diagram (VD) Promptingを紹介した。これはLLM(Large Language Models)が文書間で情報を組み合わせて合成できる革新的なプロンプト技術である。提案手法は,LLMの固有位置バイアスを除去し,入力情報のシーケンスに対する感度を除去し,回答の一貫性を高めることを目的としている。 4つの公開ベンチマークの問合せデータセットで実施された実験では、VDは連続的に一致したり、巧妙に製作された命令プロンプトのパフォーマンスを上回ります。
論文参考訳（メタデータ） (2024-06-08T06:27:26Z)
MCS-SQL: Leveraging Multiple Prompts and Multiple-Choice Selection For Text-to-SQL Generation [10.726734105960924]
大規模言語モデル(LLM)は、テキストからタスクへの微調整アプローチを大幅に上回る、ICL(In-context Learning)ベースの手法を実現している。本研究は,LLMのプロンプトに対する感受性を考察し,複数のプロンプトを活用してより広い探索空間を探索する手法を提案する。生成したクエリの精度と効率の両面から,BIRD上に新たなSOTA性能を確立する。
論文参考訳（メタデータ） (2024-05-13T04:59:32Z)
Efficient Prompting Methods for Large Language Models: A Survey [50.171011917404485]
プロンプティングは、特定の自然言語処理タスクに大規模言語モデル(LLM)を適用するための主流パラダイムとなっている。このアプローチは、LLMの振る舞いをガイドし、制御するために、モデル推論と人間の努力のさらなる計算負担をもたらす。本稿では, 今後の研究の方向性を明らかにするため, 促進, 効率的な促進のための進歩を概説する。
論文参考訳（メタデータ） (2024-04-01T12:19:08Z)
Evoke: Evoking Critical Thinking Abilities in LLMs via Reviewer-Author Prompt Editing [19.241543540941283]
大規模言語モデル(LLM)は、自然言語処理において顕著な進歩を遂げた。本稿では,自動プロンプトリファインメントフレームワークであるEvokeを提案する。一つはレビュアーとして、もう一つは現在のプロンプトをスコアし、もう一つは著者として、編集履歴とレビュアーのフィードバックを考慮してプロンプトを編集する。
論文参考訳（メタデータ） (2023-10-20T23:15:59Z)
TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
論文参考訳（メタデータ） (2022-11-21T22:38:20Z)
Interactive and Visual Prompt Engineering for Ad-hoc Task Adaptation with Large Language Models [116.25562358482962]
最先端のニューラルネットワークモデルは、教師付きトレーニングを必要とせずに、アドホックな言語タスクを解決するために使用することができる。 PromptIDEを使えば、ユーザはプロンプトのバリエーションを試すことができ、プロンプトのパフォーマンスを視覚化し、反復的にプロンプトを最適化できる。
論文参考訳（メタデータ） (2022-08-16T17:17:53Z)
Zero-shot Cross-lingual Transfer of Prompt-based Tuning with a Unified Multilingual Prompt [98.26682501616024]
我々はUniPromptと呼ばれるすべての言語に対して統一的なプロンプトを使用する新しいモデルを提案する。統一的なプロンプトは多言語 PLM による計算であり、言語に依存しない表現を生成する。提案手法は、異なる言語間で強いベースラインを著しく上回ることができる。
論文参考訳（メタデータ） (2022-02-23T11:57:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。