論文の概要: Evaluating Prompts Across Multiple Choice Tasks In a Zero-Shot Setting

• arxiv url: http://arxiv.org/abs/2203.15754v1
• Date: Tue, 29 Mar 2022 17:04:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-30 12:37:29.204711
• Title: Evaluating Prompts Across Multiple Choice Tasks In a Zero-Shot Setting
• Title（参考訳）: ゼロショット設定における複数選択タスク間のプロンプト評価
• Authors: Gabriel Orlanski
• Abstract要約: 大規模な言語モデルでは、自然言語のプロンプトによって、印象的なゼロショットのパフォーマンスが達成できることが示されている。 私たちは、プロンプトの品質はそのパフォーマンスにどのように影響しますか? 設計されていないタスクで使用するために、さまざまなタスクからプロンプトを収集し、標準化します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Large language models have shown that impressive zero-shot performance can be achieved through natural language prompts (Radford et al., 2019; Brown et al., 2020; Sanh et al., 2021). Creating an effective prompt, however, requires significant trial and error. That \textit{prompts} the question: how do the qualities of a prompt effects its performance? To this end, we collect and standardize prompts from a diverse range of tasks for use with tasks they were not designed for. We then evaluate these prompts across fixed multiple choice datasets for a quantitative analysis of how certain attributes of a prompt affect performance. We find that including the choices and using prompts not used during pre-training provide significant improvements. All experiments and code can be found https://github.com/gabeorlanski/zero-shot-cross-task.
• Abstract（参考訳）: 大規模な言語モデルでは、自然言語プロンプト(Radford et al., 2019; Brown et al., 2020; Sanh et al., 2021)を通じて、印象的なゼロショットのパフォーマンスが達成可能であることが示されている。 しかし、効果的なプロンプトを作成するには、かなりの試行錯誤が必要である。 その \textit{prompts} という質問は、プロンプトの品質はそのパフォーマンスにどのように影響しますか? この目的のために、設計されていないタスクで使用するさまざまなタスクからプロンプトを収集し、標準化する。 次に、固定された複数の選択データセット間でこれらのプロンプトを評価し、プロンプトの特定の属性がパフォーマンスに与える影響を定量的に分析する。 事前トレーニングで使用しない選択やプロンプトの使用を含めると、大幅な改善が期待できる。 すべての実験とコードはhttps://github.com/gabeorlanski/zero-shot-cross-taskで見ることができる。

関連論文リスト

• The language of prompting: What linguistic properties make a prompt successful? [13.034603322224548]
  LLMは、多くのNLPタスクにおいて、印象的なゼロショットまたは少数ショットのパフォーマンスを達成するよう促すことができる。 しかし、プロンプトの言語的特性がタスクのパフォーマンスとどのように関連しているかについての体系的な理解はいまだに欠けている。 モーメント,テンション,アスペクト,モダリティなどの文法的性質と,同義語の使用による語彙・意味の変化について検討する。
  論文  参考訳（メタデータ） (2023-11-03T15:03:36Z)
• Prompting the Hidden Talent of Web-Scale Speech Models for Zero-Shot Task Generalization [61.60501633397704]
  本稿では,最近提案されたWebスケール音声モデルのWhisperの創発的能力について検討する。 タスク固有のプロンプトを、別の大規模モデルを活用するか、あるいはデフォルトのプロンプトで特別なトークンを操作するだけで設計する。 実験の結果,提案手法は3つのゼロショットタスクで10%から45%向上し,SotAの教師付きモデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-05-18T16:32:58Z)
• SpeechPrompt v2: Prompt Tuning for Speech Classification Tasks [94.30385972442387]
  本稿では,多種多様な音声分類タスクを実行できるプロンプトチューニングフレームワークであるSpeechPrompt v2を提案する。 実験の結果、SpeechPrompt v2は0.15M未満のトレーニング可能なパラメータを持つ以前の作業と同等のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-03-01T18:47:41Z)
• Toward Human Readable Prompt Tuning: Kubrick's The Shining is a good movie, and a good prompt too? [84.91689960190054]
  大規模言語モデルは、自然言語のプロンプトが与えられた場合、ゼロショットで新しいタスクを実行することができる。 特にプロンプトが自然言語である場合、どの要因がプロンプトを効果的にするかは明らかにされていない。
  論文  参考訳（メタデータ） (2022-12-20T18:47:13Z)
• Demystifying Prompts in Language Models via Perplexity Estimation [109.59105230163041]
  プロンプトのパフォーマンスは、モデルが含んでいる言語に精通している範囲と結合している。 プロンプトの難易度が低ければ低いほど、プロンプトがタスクを実行することができることを示す。
  論文  参考訳（メタデータ） (2022-12-08T02:21:47Z)
• Interactive and Visual Prompt Engineering for Ad-hoc Task Adaptation with Large Language Models [116.25562358482962]
  最先端のニューラルネットワークモデルは、教師付きトレーニングを必要とせずに、アドホックな言語タスクを解決するために使用することができる。 PromptIDEを使えば、ユーザはプロンプトのバリエーションを試すことができ、プロンプトのパフォーマンスを視覚化し、反復的にプロンプトを最適化できる。
  論文  参考訳（メタデータ） (2022-08-16T17:17:53Z)
• Prompt Consistency for Zero-Shot Task Generalization [118.81196556175797]
  本稿では,ラベルのないデータを用いてゼロショット性能を向上させる手法について検討する。 具体的には,複数のプロンプトを使ってひとつのタスクを指定できることを利用して,プロンプトの一貫性を規則化する手法を提案する。 我々のアプローチは、4つのNLPタスクにまたがる11のデータセットのうち9つにおいて、最先端のゼロショット学習者であるT0を精度で最大10.6の絶対点で上回ります。
  論文  参考訳（メタデータ） (2022-04-29T19:18:37Z)
• Do Prompts Solve NLP Tasks Using Natural Language? [18.611748762251494]
  本研究では,この3種類のプロンプトを,数ショットと全教師付き設定の両方で実証的に比較する。 実験の結果,スキーマプロンプトは一般に最も有効であることがわかった。
  論文  参考訳（メタデータ） (2022-03-02T07:20:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。