論文の概要: Universal Self-Adaptive Prompting

• arxiv url: http://arxiv.org/abs/2305.14926v2
• Date: Sat, 21 Oct 2023 02:25:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 11:33:58.588076
• Title: Universal Self-Adaptive Prompting
• Title（参考訳）: ユニバーサル・セルフアダプティブ・プロンプティング
• Authors: Xingchen Wan, Ruoxi Sun, Hootan Nakhost, Hanjun Dai, Julian Martin Eisenschlos, Sercan O. Arik, Tomas Pfister
• Abstract要約: Universal Self-Adaptive Prompting (USP) はゼロショット学習に適した自動プロンプト設計手法である。 USPは普遍的なプロンプトを達成するために、可能なNLPタスクを3つの可能なタスクタイプのうちの1つに分類する。 我々は,PaLMおよびPaLM 2モデルを用いてUSPを評価し,標準ゼロショットベースラインよりもかなり強い性能を示す。
• 参考スコア（独自算出の注目度）: 60.67460565566514
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A hallmark of modern large language models (LLMs) is their impressive general zero-shot and few-shot abilities, often elicited through in-context learning (ICL) via prompting. However, while highly coveted and being the most general, zero-shot performances in LLMs are still typically weaker due to the lack of guidance and the difficulty of applying existing automatic prompt design methods in general tasks when ground-truth labels are unavailable. In this study, we address this by presenting Universal Self-Adaptive Prompting (USP), an automatic prompt design approach specifically tailored for zero-shot learning (while compatible with few-shot). Requiring only a small amount of unlabeled data and an inference-only LLM, USP is highly versatile: to achieve universal prompting, USP categorizes a possible NLP task into one of the three possible task types and then uses a corresponding selector to select the most suitable queries and zero-shot model-generated responses as pseudo-demonstrations, thereby generalizing ICL to the zero-shot setup in a fully automated way. We evaluate USP with PaLM and PaLM 2 models and demonstrate performances that are considerably stronger than standard zero-shot baselines and often comparable to or even superior to few-shot baselines across more than 40 natural language understanding, natural language generation, and reasoning tasks.
• Abstract（参考訳）: 現代の大規模言語モデル(LLM)の目印は、その印象的なゼロショットと少数ショットの能力であり、しばしばインコンテキスト学習(ICL)を通じてプロンプトによって引き起こされる。 しかしながら、llmにおけるゼロショット性能は、高いコベットと最も一般的なものであるにもかかわらず、ガイダンスの欠如と、地上ラベルが使用できない場合の一般的なタスクに既存の自動プロンプト設計手法を適用することの難しさにより、依然として弱い。 本研究では,ゼロショット学習に特化した自動プロンプト設計手法であるuniversal self-adaptive prompting (usp) を提案する。 普遍的なプロンプトを達成するため、USPは可能なNLPタスクを3つの可能なタスクタイプのうちの1つに分類し、対応するセレクタを使用して、最も適切なクエリとゼロショットモデル生成レスポンスを擬似デモとして選択し、ICLをゼロショット設定に完全に自動で一般化する。 我々は、PaLMとPaLM 2モデルを用いてUSPを評価し、標準のゼロショットベースラインよりもかなり強く、40以上の自然言語理解、自然言語生成、推論タスクにまたがる少数ショットベースラインに匹敵する性能を示す。

関連論文リスト

• Self-prompted Chain-of-Thought on Large Language Models for Open-domain Multi-hop Reasoning [70.74928578278957]
  オープンドメイン質問回答(ODQA)では、ほとんどの既存の質問はコモンセンスのシングルホップ推論を必要とする。 大規模言語モデル(LLM)は、外部コーパスなしでODQAを促進するために重要な有用性を見出した。 高品質なCoTを大量生産する自動化フレームワークSP-CoTを提案する。
  論文  参考訳（メタデータ） (2023-10-20T14:51:10Z)
• Coupling Large Language Models with Logic Programming for Robust and General Reasoning from Text [5.532477732693001]
  大規模言語モデルは, 意味論的に非常に効果的な数ショットとして機能することを示す。 自然言語文を論理形式に変換し、応答集合プログラムの入力として機能する。 本手法は,bAbI, StepGame, CLUTRR, gSCAN など,いくつかのベンチマークにおいて最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-07-15T03:29:59Z)
• Large Language Models as General Pattern Machines [64.75501424160748]
  我々は,事前訓練された大規模言語モデル (LLM) が,複雑なトークンシーケンスを自動回帰的に完了することを示す。 驚いたことに、語彙からランダムにサンプリングされたトークンを用いてシーケンスが表現された場合でも、パターン完了の習熟度を部分的に保持することができる。 本研究では,ロボット工学における問題に対して,これらのゼロショット機能がどのように適用されるかを検討する。
  論文  参考訳（メタデータ） (2023-07-10T17:32:13Z)
• Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [67.08732962244301]
  Open-Domain Question Answering (ODQA)は、背景文書を明示的に提供せずに質問に答えることを目的としている。 このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。 本稿では,大規模言語モデルのパラメータに符号化された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-16T18:23:43Z)
• Large Language Models are Zero-Shot Reasoners [28.6899375595088]
  思考の連鎖(CoT)プロンプトは、ステップバイステップの回答例を通して複雑な多段階推論を引き出す手法である。 LLMは、各回答の前に単に「ステップバイステップ」を追加して、まともなゼロショット推論子であることを示す。 実験結果から,同一のプロンプトテンプレートを用いたZero-shot-CoTはゼロショットLLM性能を著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T09:22:26Z)
• Prompt Consistency for Zero-Shot Task Generalization [118.81196556175797]
  本稿では,ラベルのないデータを用いてゼロショット性能を向上させる手法について検討する。 具体的には,複数のプロンプトを使ってひとつのタスクを指定できることを利用して,プロンプトの一貫性を規則化する手法を提案する。 我々のアプローチは、4つのNLPタスクにまたがる11のデータセットのうち9つにおいて、最先端のゼロショット学習者であるT0を精度で最大10.6の絶対点で上回ります。
  論文  参考訳（メタデータ） (2022-04-29T19:18:37Z)
• AdaPrompt: Adaptive Model Training for Prompt-based NLP [77.12071707955889]
  PLMの継続事前学習のための外部データを適応的に検索するAdaPromptを提案する。 5つのNLPベンチマークの実験結果から、AdaPromptは数ショット設定で標準PLMよりも改善可能であることが示された。 ゼロショット設定では、標準のプロンプトベースの手法を26.35%の相対誤差削減で上回ります。
  論文  参考訳（メタデータ） (2022-02-10T04:04:57Z)
• Generating Training Data with Language Models: Towards Zero-Shot Language Understanding [35.92571138322246]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。 NLUタスクのゼロショット学習に両タイプのPLMを用いる簡単な手法を提案する。 提案手法は,GLUEベンチマークの7つの分類タスクに対して高い性能を示す。
  論文  参考訳（メタデータ） (2022-02-09T16:02:18Z)
• Prompt-Learning for Fine-Grained Entity Typing [40.983849729537795]
  完全教師付き,少数ショット,ゼロショットシナリオにおける微粒化エンティティタイピングに対するプロンプトラーニングの適用について検討する。 本稿では,エンティティタイプの情報を自動的に要約するために,プロンプトラーニングにおける分布レベルの最適化を行う自己教師型戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-24T09:39:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。