論文の概要: ConsPrompt: Easily Exploiting Contrastive Samples for Few-shot Prompt
Learning
- arxiv url: http://arxiv.org/abs/2211.04118v1
- Date: Tue, 8 Nov 2022 09:29:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-09 15:17:50.097646
- Title: ConsPrompt: Easily Exploiting Contrastive Samples for Few-shot Prompt
Learning
- Title(参考訳): Consprompt: 簡単なプロンプト学習のためのコントラストサンプルのエクスプロイト
- Authors: Jinta Weng and Yue Hu and Zhihong Tian and Heyan Huang
- Abstract要約: 提案するモデルであるConsPromptは,プロンプト符号化ネットワーク,コントラストサンプリングモジュール,コントラストスコアリングモジュールと組み合わせて提案する。
提案したConsPromptの有効性は、5つの異なる数発学習タスクで実証される。
我々の結果は、異なる数ショット設定で、最先端のパフォーマンスと堅牢性を示す。
- 参考スコア(独自算出の注目度): 32.55086463140966
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prompt learning recently become an effective linguistic tool to motivate the
PLMs' knowledge on few-shot-setting tasks. However, studies have shown the lack
of robustness still exists in prompt learning, since suitable initialization of
continuous prompt and expert-first manual prompt are essential in fine-tuning
process. What is more, human also utilize their comparative ability to motivate
their existing knowledge for distinguishing different examples. Motivated by
this, we explore how to use contrastive samples to strengthen prompt learning.
In detail, we first propose our model ConsPrompt combining with prompt encoding
network, contrastive sampling module, and contrastive scoring module.
Subsequently, two sampling strategies, similarity-based and label-based
strategies, are introduced to realize differential contrastive learning. The
effectiveness of proposed ConsPrompt is demonstrated in five different few-shot
learning tasks and shown the similarity-based sampling strategy is more
effective than label-based in combining contrastive learning. Our results also
exhibits the state-of-the-art performance and robustness in different few-shot
settings, which proves that the ConsPrompt could be assumed as a better
knowledge probe to motivate PLMs.
- Abstract(参考訳): 最近、プロンプト・ラーニングはplmの知識を数少ない設定タスクにモチベーションづける効果的な言語ツールとなっている。
しかしながら、継続的なプロンプトの適切な初期化と専門家優先のマニュアルプロンプトが微調整プロセスに不可欠であるため、学習に堅牢性の欠如が依然として存在することが研究によって示されている。
さらに、人間は比較能力を利用して、異なる例を区別するために既存の知識を動機付けます。
そこで本研究では,コントラストサンプルを用いた即興学習の強化について検討する。
具体的には,まず,プロンプト符号化ネットワーク,コントラストサンプリングモジュール,コントラストスコアリングモジュールを組み合わせたモデルコンスプロンプトを提案する。
次に、類似性に基づく2つのサンプリング戦略とラベルベースの戦略を導入し、差分コントラスト学習を実現する。
提案手法の有効性は,5つの異なるマイズショット学習タスクにおいて実証され,類似性に基づくサンプリング戦略が対照学習の組合せにおいてラベルベースよりも有効であることを示した。
また,この結果から,plmを動機づける優れた知識プローブとしてコンスプロンプトを想定できることが証明された。
関連論文リスト
- Prompting Large Language Model for Machine Translation: A Case Study [87.88120385000666]
我々は機械翻訳戦略の推進に関する体系的研究を行っている。
本稿では,プロンプトテンプレートと実演例選択の要因について検討する。
本稿では,モノリンガルデータの利用と,クロスリンガル,クロスドメイン,文-文書間伝達学習の実現可能性について検討する。
論文 参考訳(メタデータ) (2023-01-17T18:32:06Z) - TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。
従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。
本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
論文 参考訳(メタデータ) (2022-11-21T22:38:20Z) - CPL: Counterfactual Prompt Learning for Vision and Language Models [76.18024920393245]
本稿では、視覚と言語モデルのための新しいアンダーラインテキストbfCounterfactual underlinetextbfPrompt underlinetextbfLearning (CPL)法を提案する。
CPLは、共同最適化フレームワークにおいて、反ファクト生成とコントラスト学習を同時に採用している。
実験により、CPLは異なるビジョンと言語タスクにおいて優れた数ショットのパフォーマンスを得ることができることが示された。
論文 参考訳(メタデータ) (2022-10-19T08:06:39Z) - Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。
提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。
ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
論文 参考訳(メタデータ) (2022-10-05T17:05:56Z) - Instance-aware Prompt Learning for Language Understanding and Generation [49.22899822734549]
本稿では,インスタンス毎に異なるプロンプトを学習するインスタンス対応プロンプト学習手法を提案する。
提案手法は,SuperGLUE数ショット学習ベンチマークの最先端性を実現する。
論文 参考訳(メタデータ) (2022-01-18T17:03:25Z) - Reordering Examples Helps during Priming-based Few-Shot Learning [6.579039107070663]
PERO は 10 個の例から効率よく一般化できることを示す。
提案手法が感情分類,自然言語推論,事実検索のタスクに与える影響を実証する。
論文 参考訳(メタデータ) (2021-06-03T11:02:36Z) - Constructing Contrastive samples via Summarization for Text
Classification with limited annotations [46.53641181501143]
テキスト要約を用いた言語タスクのコントラストサンプル構築のための新しい手法を提案する。
我々はこれらのサンプルを教師付きコントラスト学習に使用し、アノテーションを限定したより良いテキスト表現を得る。
実世界のテキスト分類データセット(Amazon-5、Yelp-5、AG News)の実験では、提案したコントラスト学習フレームワークの有効性が示されている。
論文 参考訳(メタデータ) (2021-04-11T20:13:24Z) - Disentangled Contrastive Learning for Learning Robust Textual
Representations [13.880693856907037]
運動量表現一貫性の概念を導入し,特徴を整合させ,一様性に適合しながらパワー正規化を活用する。
NLPベンチマークの実験結果から,本手法はベースラインよりも優れた結果が得られることが示された。
論文 参考訳(メタデータ) (2021-04-11T03:32:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。