論文の概要: UPRISE: Universal Prompt Retrieval for Improving Zero-Shot Evaluation

• arxiv url: http://arxiv.org/abs/2303.08518v1
• Date: Wed, 15 Mar 2023 10:53:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-16 14:10:27.476146
• Title: UPRISE: Universal Prompt Retrieval for Improving Zero-Shot Evaluation
• Title（参考訳）: UPRISE: ゼロショット評価を改善するユニバーサルプロンプト検索
• Authors: Daixuan Cheng, Shaohan Huang, Junyu Bi, Yuefeng Zhan, Jianfeng Liu, Yujing Wang, Hao Sun, Furu Wei, Denvy Deng, Qi Zhang
• Abstract要約: UPRISEは軽量で多用途なレトリバーをチューニングし、与えられたゼロショットタスク入力のプロンプトを自動的に取得する。 UPRISEはChatGPT実験における幻覚の緩和効果を示す。
• 参考スコア（独自算出の注目度）: 73.78040431681461
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) are popular for their impressive abilities, but the need for model-specific fine-tuning or task-specific prompt engineering can hinder their generalization. We propose UPRISE (Universal Prompt Retrieval for Improving zero-Shot Evaluation), which tunes a lightweight and versatile retriever that automatically retrieves prompts for a given zero-shot task input. Specifically, we demonstrate universality in a cross-task and cross-model scenario: the retriever is tuned on a diverse set of tasks, but tested on unseen task types; we use a small frozen LLM, GPT-Neo-2.7B, for tuning the retriever, but test the retriever on different LLMs of much larger scales, such as BLOOM-7.1B, OPT-66B and GPT3-175B. Additionally, we show that UPRISE mitigates the hallucination problem in our experiments with ChatGPT, suggesting its potential to improve even the strongest LLMs.
• Abstract（参考訳）: 大きな言語モデル(LLM)はその優れた能力で人気があるが、モデル固有の微調整やタスク固有のプロンプトエンジニアリングの必要性は、その一般化を妨げる可能性がある。 本稿では,与えられたゼロショットタスク入力のプロンプトを自動的に取得する軽量で多目的なレトリバーをチューニングするUPRISE(Universal Prompt Retrieval for Improving zero-Shot Evaluation)を提案する。 具体的には、クロスタスクおよびクロスモデルシナリオにおいて普遍性を実証する: 検索者は多様なタスクセットに基づいてチューニングされるが、見知らぬタスクタイプでテストされる; 小さな凍結LDM, GPT-Neo-2.7Bを使用して、検索をチューニングするが、BLOOM-7.1B, OPT-66B, GPT3-175B など、はるかに大きなスケールで検索する。 さらに, UPRISEはChatGPT実験において幻覚障害を緩和し, 最強のLDMでも改善する可能性が示唆された。

関連論文リスト

• Guiding Large Language Models via Directional Stimulus Prompting [89.64896309628232]
  Directional Stimulus Promptingは、下流タスクにおけるブラックボックス凍結大型言語モデル(LLM)のガイダンスを提供する。 Policy LMは各入力の方向刺激'として離散トークンを生成し、これは要約のための記事のキーワードのようなヒント/手がかりである。 ポリシーLMは、1)注釈付きデータからの教師付き学習、2)オフラインおよびオンライン報酬からの強化学習を通じて訓練することができる。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)
• Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [74.04014979270966]
  大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。 近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。 ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
  論文  参考訳（メタデータ） (2023-02-08T09:44:51Z)
• Ask Me Anything: A simple strategy for prompting language models [24.294416731247427]
  大規模言語モデル(LLM)は、単に自然言語のプロンプトを与えられただけである。 そこで本研究では,質問応答(QA)のプロンプトが,モデル出力を制限するプロンプトよりも優れていることを示す。 収集したプロンプトを適用して、入力の真のラベルに対していくつかのノイズの多い投票を行う。 プロンプトは、非常に異なる精度と複雑な依存関係を持つことができる。
  論文  参考訳（メタデータ） (2022-10-05T17:59:45Z)
• Promptagator: Few-shot Dense Retrieval From 8 Examples [34.78085795791609]
  Few-shot Dense Retrievalは、各タスクが短い説明といくつかの例を持ってくる設定である。 Promptagatorは生成されたデータに基づいてタスク固有のレトリバーを生成する。
  論文  参考訳（メタデータ） (2022-09-23T17:59:06Z)
• Towards Robust Ranker for Text Retrieval [83.15191578888188]
  ローダは、デファクトの'retrieval & rerank'パイプラインで必須の役割を果たす。 ローダは、デファクトの'retrieval & rerank'パイプラインで必須の役割を果たす。
  論文  参考訳（メタデータ） (2022-06-16T10:27:46Z)
• Large Language Models are Zero-Shot Reasoners [28.6899375595088]
  思考の連鎖(CoT)プロンプトは、ステップバイステップの回答例を通して複雑な多段階推論を引き出す手法である。 LLMは、各回答の前に単に「ステップバイステップ」を追加して、まともなゼロショット推論子であることを示す。 実験結果から,同一のプロンプトテンプレートを用いたZero-shot-CoTはゼロショットLLM性能を著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T09:22:26Z)
• Prompt Consistency for Zero-Shot Task Generalization [118.81196556175797]
  本稿では,ラベルのないデータを用いてゼロショット性能を向上させる手法について検討する。 具体的には,複数のプロンプトを使ってひとつのタスクを指定できることを利用して,プロンプトの一貫性を規則化する手法を提案する。 我々のアプローチは、4つのNLPタスクにまたがる11のデータセットのうち9つにおいて、最先端のゼロショット学習者であるT0を精度で最大10.6の絶対点で上回ります。
  論文  参考訳（メタデータ） (2022-04-29T19:18:37Z)
• Exploring Low-dimensional Intrinsic Task Subspace via Prompt Tuning [70.76016793057283]
  本研究では,事前学習型言語モデル(PLM)が普遍表現を学習し,異なる幅広いNLPタスクに効果的に適用する方法について検討する。 実験では,100個のランダムタスクを持つ5次元部分空間において,5つの自由パラメータをチューニングするだけで,全プロンプトチューニング性能の87%と65%を回復できることがわかった。
  論文  参考訳（メタデータ） (2021-10-15T05:43:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。