論文の概要: Demystifying Prompts in Language Models via Perplexity Estimation
- arxiv url: http://arxiv.org/abs/2212.04037v1
- Date: Thu, 8 Dec 2022 02:21:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-09 15:14:06.922342
- Title: Demystifying Prompts in Language Models via Perplexity Estimation
- Title（参考訳）: 難易度推定による言語モデルにおけるデミスティフィケーションプロンプ
- Authors: Hila Gonen, Srini Iyer, Terra Blevins, Noah A. Smith, Luke Zettlemoyer
- Abstract要約: プロンプトのパフォーマンスは、モデルが含んでいる言語に精通している範囲と結合している。
プロンプトの難易度が低ければ低いほど、プロンプトがタスクを実行することができることを示す。
- 参考スコア（独自算出の注目度）: 100.43627541756524
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language models can be prompted to perform a wide variety of zero- and
few-shot learning problems. However, performance varies significantly with the
choice of prompt, and we do not yet understand why this happens or how to pick
the best prompts. In this work, we analyze the factors that contribute to this
variance and establish a new empirical hypothesis: the performance of a prompt
is coupled with the extent to which the model is familiar with the language it
contains. Over a wide range of tasks, we show that the lower the perplexity of
the prompt is, the better the prompt is able to perform the task. As a result,
we devise a method for creating prompts: (1) automatically extend a small seed
set of manually written prompts by paraphrasing using GPT3 and backtranslation
and (2) choose the lowest perplexity prompts to get significant gains in
performance.
- Abstract（参考訳）: 言語モデルは、さまざまなゼロショットと少数ショットの学習問題を実行するように促すことができる。
しかし、パフォーマンスはプロンプトの選択によって大きく異なり、なぜこれが起こっているのか、どのようにベストプロンプトを選ぶのかはまだ分かっていません。
本研究では,この分散に寄与する要因を分析し,新たな経験的仮説を定式化する。
幅広いタスクにおいて,プロンプトの複雑度が低くなればなるほど,プロンプトがタスクを実行する能力が向上することを示す。
その結果,(1)手書きプロンプトの小さなシードセットを GPT3 とバックトランスレーションを用いて言い換えることで自動的に拡張し,(2) 性能において最も低いパープレキシティプロンプトを選択して顕著な利得を得る,というプロンプトを生成する方法が考案された。
関連論文リスト
- Zero-shot Approach to Overcome Perturbation Sensitivity of Prompts [7.208567411886273]
近年の研究では、自然言語のプロンプトが、二項文レベルの感情分類タスクにおいて、事前学習された言語モデルによって学習された知識を活用できることが示されている。
本研究の目的は、ゼロショット設定で与えられたタスクに対する高品質なプロンプトを見つけることである。
本研究は,二分文レベルの感情分類タスクにおいて,最上位のプロンプトが高品質で,基本プロンプトと少数ショット学習を用いて生成したプロンプトを著しく上回っていることを実証的に示す。
論文 参考訳（メタデータ） (2023-05-25T03:36:43Z) - Prompting Large Language Model for Machine Translation: A Case Study [87.88120385000666]
我々は機械翻訳戦略の推進に関する体系的研究を行っている。
本稿では,プロンプトテンプレートと実演例選択の要因について検討する。
本稿では,モノリンガルデータの利用と,クロスリンガル,クロスドメイン,文-文書間伝達学習の実現可能性について検討する。
論文 参考訳（メタデータ） (2023-01-17T18:32:06Z) - Toward Human Readable Prompt Tuning: Kubrick's The Shining is a good
movie, and a good prompt too? [84.91689960190054]
大規模言語モデルは、自然言語のプロンプトが与えられた場合、ゼロショットで新しいタスクを実行することができる。
特にプロンプトが自然言語である場合、どの要因がプロンプトを効果的にするかは明らかにされていない。
論文 参考訳（メタデータ） (2022-12-20T18:47:13Z) - TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。
従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。
本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
論文 参考訳（メタデータ） (2022-11-21T22:38:20Z) - Do Prompts Solve NLP Tasks Using Natural Language? [18.611748762251494]
本研究では,この3種類のプロンプトを,数ショットと全教師付き設定の両方で実証的に比較する。
実験の結果,スキーマプロンプトは一般に最も有効であることがわかった。
論文 参考訳（メタデータ） (2022-03-02T07:20:59Z) - Zero-shot Cross-lingual Transfer of Prompt-based Tuning with a Unified
Multilingual Prompt [98.26682501616024]
我々はUniPromptと呼ばれるすべての言語に対して統一的なプロンプトを使用する新しいモデルを提案する。
統一的なプロンプトは多言語 PLM による計算であり、言語に依存しない表現を生成する。
提案手法は、異なる言語間で強いベースラインを著しく上回ることができる。
論文 参考訳（メタデータ） (2022-02-23T11:57:52Z) - Instance-aware Prompt Learning for Language Understanding and Generation [49.22899822734549]
本稿では,インスタンス毎に異なるプロンプトを学習するインスタンス対応プロンプト学習手法を提案する。
提案手法は,SuperGLUE数ショット学習ベンチマークの最先端性を実現する。
論文 参考訳（メタデータ） (2022-01-18T17:03:25Z) - Do Prompt-Based Models Really Understand the Meaning of their Prompts? [12.857580576554865]
モデルは、意図的に無関係で、あるいは病理学的に誤解を招く多くのプロンプトで、同じように速く学習する。
既存のプロンプトベースのモデルが与えられたプロンプトの意味を真に理解していることを示す証拠はほとんど見つからない。
論文 参考訳（メタデータ） (2021-09-02T23:46:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。