論文の概要: Zero-shot Approach to Overcome Perturbation Sensitivity of Prompts

• arxiv url: http://arxiv.org/abs/2305.15689v2
• Date: Sat, 1 Jul 2023 23:02:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-04 13:12:47.851843
• Title: Zero-shot Approach to Overcome Perturbation Sensitivity of Prompts
• Title（参考訳）: プロンプトの摂動感度を克服するゼロショット法
• Authors: Mohna Chakraborty, Adithya Kulkarni, Qi Li
• Abstract要約: 近年の研究では、自然言語のプロンプトが、二項文レベルの感情分類タスクにおいて、事前学習された言語モデルによって学習された知識を活用できることが示されている。 本研究の目的は、ゼロショット設定で与えられたタスクに対する高品質なプロンプトを見つけることである。 本研究は,二分文レベルの感情分類タスクにおいて,最上位のプロンプトが高品質で,基本プロンプトと少数ショット学習を用いて生成したプロンプトを著しく上回っていることを実証的に示す。
• 参考スコア（独自算出の注目度）: 7.208567411886273
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies have demonstrated that natural-language prompts can help to leverage the knowledge learned by pre-trained language models for the binary sentence-level sentiment classification task. Specifically, these methods utilize few-shot learning settings to fine-tune the sentiment classification model using manual or automatically generated prompts. However, the performance of these methods is sensitive to the perturbations of the utilized prompts. Furthermore, these methods depend on a few labeled instances for automatic prompt generation and prompt ranking. This study aims to find high-quality prompts for the given task in a zero-shot setting. Given a base prompt, our proposed approach automatically generates multiple prompts similar to the base prompt employing positional, reasoning, and paraphrasing techniques and then ranks the prompts using a novel metric. We empirically demonstrate that the top-ranked prompts are high-quality and significantly outperform the base prompt and the prompts generated using few-shot learning for the binary sentence-level sentiment classification task.
• Abstract（参考訳）: 近年の研究では、自然言語プロンプトは、前訓練された言語モデルによって学習された知識をバイナリ文単位の感情分類タスクに活用できることが示されている。 具体的には、手動または自動生成プロンプトを用いて感情分類モデルを微調整する。 しかし,これらの手法の性能は,利用したプロンプトの摂動に敏感である。 さらに、これらの手法は、自動プロンプト生成とプロンプトランキングのためのラベル付きインスタンスに依存している。 本研究の目的は、ゼロショット設定で与えられたタスクに対する高品質なプロンプトを見つけることである。 ベースプロンプトが与えられた場合,提案手法は,位置,推論,パラフレージングを用いたベースプロンプトに類似した複数のプロンプトを自動的に生成し,新しいメトリックを用いてプロンプトをランク付けする。 本研究は,二分文レベルの感情分類タスクにおいて,最上位のプロンプトが高品質で,基本プロンプトと少数ショット学習を用いて生成したプロンプトを著しく上回っていることを実証的に示す。

関連論文リスト

• Automated Few-shot Classification with Instruction-Finetuned Language Models [76.69064714392165]
  我々は、AuT-Fewが最先端の数ショット学習方法より優れていることを示す。 AuT-Few は RAFT few-shot ベンチマークにおいて,データセット間で最高のランク付け手法であることを示す。
  論文  参考訳（メタデータ） (2023-05-21T21:50:27Z)
• A Simple Zero-shot Prompt Weighting Technique to Improve Prompt Ensembling in Text-Image Models [30.128204719490856]
  我々は,プロンプトエンジニアリングの自動化と,プロンプトアンサンブルによるゼロショット精度の向上を目指している。 我々は,事前学習およびテストデータに偏りがあるため,スコアが容易に過信されるような,素早いプロンプトスコア法において,いくつかの病理を同定する。 本手法では,提案手法を用いて平均アンサンブルを重み付けし,平均アンサンブルと手作りプロンプトとを比較検討した。
  論文  参考訳（メタデータ） (2023-02-13T10:19:58Z)
• Toward Human Readable Prompt Tuning: Kubrick's The Shining is a good movie, and a good prompt too? [84.91689960190054]
  大規模言語モデルは、自然言語のプロンプトが与えられた場合、ゼロショットで新しいタスクを実行することができる。 特にプロンプトが自然言語である場合、どの要因がプロンプトを効果的にするかは明らかにされていない。
  論文  参考訳（メタデータ） (2022-12-20T18:47:13Z)
• Demystifying Prompts in Language Models via Perplexity Estimation [109.59105230163041]
  プロンプトのパフォーマンスは、モデルが含んでいる言語に精通している範囲と結合している。 プロンプトの難易度が低ければ低いほど、プロンプトがタスクを実行することができることを示す。
  論文  参考訳（メタデータ） (2022-12-08T02:21:47Z)
• TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
  強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。 従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。 本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
  論文  参考訳（メタデータ） (2022-11-21T22:38:20Z)
• MetaPrompting: Learning to Learn Better Prompts [52.914694884515534]
  本稿では,メタプロンプトと呼ばれるソフトプロンプト手法を提案する。 大規模な実験は、MetaPromptingが4つの異なるデータセットに大きな改善をもたらすことを示している。
  論文  参考訳（メタデータ） (2022-09-23T09:01:05Z)
• Instance-aware Prompt Learning for Language Understanding and Generation [49.22899822734549]
  本稿では,インスタンス毎に異なるプロンプトを学習するインスタンス対応プロンプト学習手法を提案する。 提案手法は,SuperGLUE数ショット学習ベンチマークの最先端性を実現する。
  論文  参考訳（メタデータ） (2022-01-18T17:03:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。