論文の概要: Discrete Prompt Optimization via Constrained Generation for Zero-shot
Re-ranker
- arxiv url: http://arxiv.org/abs/2305.13729v1
- Date: Tue, 23 May 2023 06:35:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 18:35:29.574007
- Title: Discrete Prompt Optimization via Constrained Generation for Zero-shot
Re-ranker
- Title(参考訳): ゼロショットリランカの制約生成による離散プロンプト最適化
- Authors: Sukmin Cho, Soyeong Jeong, Jeongyeon Seo and Jong C. Park
- Abstract要約: 大規模言語モデル (LLM) はゼロショットリランカとして, 優れた結果が得られる。
LLMはプロンプトに大きく依存しており、ゼロショットリランカのプロンプトの影響と最適化はまだ検討されていない。
本稿では,新しい離散的プロンプト最適化手法であるConstrained Prompt Generation(Co-Prompt)を提案する。
- 参考スコア(独自算出の注目度): 0.2580765958706853
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Re-rankers, which order retrieved documents with respect to the relevance
score on the given query, have gained attention for the information retrieval
(IR) task. Rather than fine-tuning the pre-trained language model (PLM), the
large-scale language model (LLM) is utilized as a zero-shot re-ranker with
excellent results. While LLM is highly dependent on the prompts, the impact and
the optimization of the prompts for the zero-shot re-ranker are not explored
yet. Along with highlighting the impact of optimization on the zero-shot
re-ranker, we propose a novel discrete prompt optimization method, Constrained
Prompt generation (Co-Prompt), with the metric estimating the optimum for
re-ranking. Co-Prompt guides the generated texts from PLM toward optimal
prompts based on the metric without parameter update. The experimental results
demonstrate that Co-Prompt leads to outstanding re-ranking performance against
the baselines. Also, Co-Prompt generates more interpretable prompts for humans
against other prompt optimization methods.
- Abstract(参考訳): 検索された文書を所定のクエリの関連点に関して注文した再ランカは、情報検索(IR)タスクに注目されている。
事前訓練された言語モデル(PLM)を微調整する代わりに、大規模言語モデル(LLM)をゼロショットリランカとして、優れた結果が得られる。
LLMはプロンプトに大きく依存するが、ゼロショット再ランカに対するプロンプトの影響と最適化はまだ検討されていない。
ゼロショット再ランカに対する最適化の影響を強調するとともに,再ランクの最適度を推定する手法として,新しい離散的なプロンプト生成手法であるConstrained Prompt(Co-Prompt)を提案する。
Co-Prompt はパラメータを更新せずにパラメータに基づいて PLM から生成されたテキストを最適なプロンプトに導く。
実験の結果,共同プロンプトは,ベースラインに対する性能向上に寄与することが示された。
また、Co-Promptは他のプロンプト最適化手法に対してより解釈可能なプロンプトを生成する。
関連論文リスト
- AdvPrompter: Fast Adaptive Adversarial Prompting for LLMs [51.217126257318924]
本稿では,AdvPrompterと呼ばれる新たな大規模言語モデルを用いて,人間可読な逆数プロンプトを数秒で生成する手法を提案する。
我々は、ターゲットLLMの勾配にアクセスする必要がない新しいアルゴリズムを用いてAdvPrompterを訓練する。
訓練されたAdvPrompterは、TargetLLMを誘引して有害な応答を与えるように、意味を変えずに入力命令を無効にする接尾辞を生成する。
論文 参考訳(メタデータ) (2024-04-21T22:18:13Z) - Superposition Prompting: Improving and Accelerating Retrieval-Augmented Generation [22.124234811959532]
大規模言語モデル(LLM)のための新しいRAGプロンプト手法を提案する。
重ね合わせプロンプトにより、LLMは入力文書を並列にプロンプトパスで処理でき、無関係と判断された後にパスを破棄する。
我々は,様々な質問応答ベンチマークにおいて,時間効率を同時に向上する手法の能力を実証する。
論文 参考訳(メタデータ) (2024-04-10T11:03:17Z) - Localized Zeroth-Order Prompt Optimization [54.964765668688806]
そこで我々は,ZOPO(Localized zeroth-order prompt optimization)という新しいアルゴリズムを提案する。
ZOPOはニューラル・タンジェント・カーネルをベースとしたガウス法を標準ゼロ階次最適化に取り入れ、高速な局所最適探索を高速化する。
注目すべきは、ZOPOは最適化性能とクエリ効率の両方の観点から、既存のベースラインを上回っていることだ。
論文 参考訳(メタデータ) (2024-03-05T14:18:15Z) - LlamaRec: Two-Stage Recommendation using Large Language Models for
Ranking [10.671747198171136]
ランキングベースレコメンデーション(LlamaRec)のための大規模言語モデルを用いた2段階フレームワークを提案する。
特に,ユーザインタラクション履歴に基づいて候補を検索するために,小規模なシーケンシャルレコメンデータを用いる。
LlamaRecは、推奨パフォーマンスと効率の両方において、データセットの優れたパフォーマンスを一貫して達成している。
論文 参考訳(メタデータ) (2023-10-25T06:23:48Z) - Revisiting Large Language Models as Zero-shot Relation Extractors [8.953462875381888]
リレーショナル抽出(RE)は、ゼロショット設定下であっても、一定のラベル付きまたはラベルなしのデータを一貫して含む。
近年の研究では、大きな言語モデル(LLM)が、単に自然言語のプロンプトを与えられただけで、新しいタスクにうまく移行していることが示されている。
本研究はゼロショット関係抽出器としてLLMを探索することに焦点を当てる。
論文 参考訳(メタデータ) (2023-10-08T06:17:39Z) - Query-Dependent Prompt Evaluation and Optimization with Offline Inverse
RL [62.824464372594576]
ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。
このような最適化では、以前見過ごされたクエリ依存の目的を特定します。
本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
論文 参考訳(メタデータ) (2023-09-13T01:12:52Z) - Robust Prompt Optimization for Large Language Models Against
Distribution Shifts [80.6757997074956]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて重要な能力を示している。
本稿では,LLMの分散シフトに対するロバストな最適化法を提案する。
この問題は、ラベル付けされたソースグループに最適化されたプロンプトを同時にラベル付けされていないターゲットグループに一般化する必要がある。
論文 参考訳(メタデータ) (2023-05-23T11:30:43Z) - Efficiently Enhancing Zero-Shot Performance of Instruction Following
Model via Retrieval of Soft Prompt [56.22456716092954]
ソフトプロンプトの検索は、ゼロショットタスクの一般化において、ハードプロンプトを効率的に支援することができる。
我々は、プロンプトチューニングを通じて各プロンプトに対するソフトプロンプト埋め込みをトレーニングし、プロンプト埋め込みにマップされたトレーニングインスタンスのサンプルを格納し、推論中にクエリインスタンスに最も近いトレーニングインスタンスの対応するプロンプト埋め込みを検索する。
0.007%の追加パラメータしか加えていないが、ソフトプロンプトの検索は、未確認タスクにおけるT0のパフォーマンスを11つのデータセットのうち10で上回り、BIG-benchベンチマークにおけるT0の平均精度を2.39%向上させる。
論文 参考訳(メタデータ) (2022-10-06T16:26:03Z) - RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。
RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。
少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-05-25T07:50:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。