論文の概要: Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods
in Natural Language Processing
- arxiv url: http://arxiv.org/abs/2107.13586v1
- Date: Wed, 28 Jul 2021 18:09:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-31 00:58:22.681322
- Title: Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods
in Natural Language Processing
- Title（参考訳）: プレトレイン, プロンプト, 予測:自然言語処理におけるプロンプト手法の体系的研究
- Authors: Pengfei Liu, Weizhe Yuan, Jinlan Fu, Zhengbao Jiang, Hiroaki Hayashi,
Graham Neubig
- Abstract要約: 本稿では,自然言語処理における新たなパラダイムにおける研究成果の探索と整理を行う。
入力xを取り込んで出力yをP(y|x)として予測するようにモデルを訓練する従来の教師付き学習とは異なり、プロンプトベースの学習は直接テキストの確率をモデル化する言語モデルに基づいている。
- 参考スコア（独自算出の注目度）: 78.8500633981247
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: This paper surveys and organizes research works in a new paradigm in natural
language processing, which we dub "prompt-based learning". Unlike traditional
supervised learning, which trains a model to take in an input x and predict an
output y as P(y|x), prompt-based learning is based on language models that
model the probability of text directly. To use these models to perform
prediction tasks, the original input x is modified using a template into a
textual string prompt x' that has some unfilled slots, and then the language
model is used to probabilistically fill the unfilled information to obtain a
final string x, from which the final output y can be derived. This framework is
powerful and attractive for a number of reasons: it allows the language model
to be pre-trained on massive amounts of raw text, and by defining a new
prompting function the model is able to perform few-shot or even zero-shot
learning, adapting to new scenarios with few or no labeled data. In this paper
we introduce the basics of this promising paradigm, describe a unified set of
mathematical notations that can cover a wide variety of existing work, and
organize existing work along several dimensions, e.g.the choice of pre-trained
models, prompts, and tuning strategies. To make the field more accessible to
interested beginners, we not only make a systematic review of existing works
and a highly structured typology of prompt-based concepts, but also release
other resources, e.g., a website http://pretrain.nlpedia.ai/ including
constantly-updated survey, and paperlist.
- Abstract（参考訳）: 本稿では,自然言語処理における新たなパラダイムにおける研究成果の探索と整理を行う。
入力xを取り込んで出力yをp(y|x)として予測するモデルを訓練する従来の教師付き学習とは異なり、プロンプトベースの学習はテキストの確率を直接モデル化する言語モデルに基づいている。
これらのモデルを用いて予測タスクを実行するために、原入力xは、いくつかの未満のスロットを有するテキスト文字列プロンプトx’にテンプレートを用いて修正され、言語モデルは、その未満の情報を確率的に満たし、最終的な出力yを導出できる最終文字列xを得る。
このフレームワークは、多くの理由により強力で魅力的である: 言語モデルが大量の生のテキストで事前学習されることを可能にし、新しいプロンプト関数を定義することにより、モデルは、少ないデータか全くラベル付けされていない新しいシナリオに適応して、少数またはゼロショットの学習を実行することができる。
本稿では,この有望なパラダイムの基礎を紹介するとともに,多種多様な既存作業をカバーする数学的表記の統一集合を記述し,事前学習されたモデルの選択,プロンプト,チューニング戦略など,複数の次元に沿って既存の作業を整理する。
興味のある初心者にこの分野をよりわかりやすくするために、既存の作品の体系的なレビューとプロンプトベースの概念の高度に構造化された型付けを行うだけでなく、ウェブサイト http://pretrain.nlpedia.ai/ など他のリソースもリリースしている。
関連論文リスト
- A Systematic Survey of Prompt Engineering on Vision-Language Foundation
Models [43.35892536887404]
プロンプトエンジニアリングは、新しいタスクにモデルを適応させるために、プロンプトとして知られるタスク固有のヒントで、トレーニング済みの大きなモデルを拡張することを含む。
本稿では,3種類の視覚言語モデルについて,最先端の研究の総合的な調査を行うことを目的とする。
論文 参考訳（メタデータ） (2023-07-24T17:58:06Z) - FILM: How can Few-Shot Image Classification Benefit from Pre-Trained
Language Models? [14.582209994281374]
少数のサンプルしか持たない新しいクラスに一般化可能なモデルをトレーニングすることを目的としている。
コントラスト学習に基づく事前学習言語モデルを用いた新しい数発学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-07-09T08:07:43Z) - Prompt Learning for News Recommendation [2.6524289609910654]
最近のリコメンデーションレコメンデーション(NR)メソッドは、慎重に設計されたレコメンデーション固有のニューラルネットワークと客観的機能を備えたバニラ事前訓練および微調整パラダイムに従って、ニュース表現をエンコードする。
我々は,これらのモデリングパラダイムが,事前学習プロセスに埋め込まれた豊富な意味情報や言語知識を十分に活用していないことを論じる。
このフレームワークは、ユーザーが候補ニュースをクローゼスタイルのマスク予測タスクとしてクリックするかどうかを予測するタスクを変換する。
論文 参考訳（メタデータ） (2023-04-11T14:56:06Z) - Foundation Models for Natural Language Processing -- Pre-trained
Language Models Integrating Media [0.0]
ファンデーションモデルは自然言語処理のための事前訓練された言語モデルである。
画像処理やビデオ処理からロボット制御学習まで、幅広いメディアや問題領域に適用することができる。
本書は、ファンデーションモデルの研究および応用における技術の現状を概観する。
論文 参考訳（メタデータ） (2023-02-16T20:42:04Z) - Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。
実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
論文 参考訳（メタデータ） (2022-10-23T00:37:08Z) - Few-shot Prompting Towards Controllable Response Generation [49.479958672988566]
まず,モデルのパラメータにアクセスすることなく,モデル生成に対するプロンプトと強化学習(RL)の組み合わせについて検討した。
マルチタスク学習を適用して、モデルが新しいタスクをより良く一般化できるようにします。
実験の結果,提案手法はパラメータにアクセスすることなく,複数のSOTA(State-of-the-art)対話モデルを制御することができることがわかった。
論文 参考訳（メタデータ） (2022-06-08T14:48:06Z) - TextPruner: A Model Pruning Toolkit for Pre-Trained Language Models [18.49325959450621]
我々は、事前訓練された言語モデルのためのオープンソースのモデルプルーニングツールキットであるTextPrunerを紹介する。
TextPrunerは、ボキャブラリプルーニングやトランスフォーマープルーニングなどの構造化後プルーニング方法を提供する。
いくつかのNLPタスクによる実験では、モデルを再トレーニングすることなく、TextPrunerがモデルサイズを縮小できることを示した。
論文 参考訳（メタデータ） (2022-03-30T02:10:33Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳（メタデータ） (2020-10-24T11:55:28Z) - Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。
言語モデルのための完全合成出力埋め込み層を提案する。
我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
論文 参考訳（メタデータ） (2020-09-24T07:21:14Z) - How Context Affects Language Models' Factual Predictions [134.29166998377187]
検索システムからの情報を学習済みの言語モデルと純粋に教師なしの方法で統合する。
この方法で事前学習された言語モデルを拡張することで、性能が劇的に向上し、教師なしにもかかわらず、結果として得られるシステムは、教師なしの機械読解ベースラインと競合する、と報告する。
論文 参考訳（メタデータ） (2020-05-10T09:28:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。