論文の概要: ConsPrompt: Easily Exploiting Contrastive Samples for Few-shot Prompt Learning

• arxiv url: http://arxiv.org/abs/2211.04118v1
• Date: Tue, 8 Nov 2022 09:29:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 15:17:50.097646
• Title: ConsPrompt: Easily Exploiting Contrastive Samples for Few-shot Prompt Learning
• Title（参考訳）: Consprompt: 簡単なプロンプト学習のためのコントラストサンプルのエクスプロイト
• Authors: Jinta Weng and Yue Hu and Zhihong Tian and Heyan Huang
• Abstract要約: 提案するモデルであるConsPromptは,プロンプト符号化ネットワーク,コントラストサンプリングモジュール,コントラストスコアリングモジュールと組み合わせて提案する。 提案したConsPromptの有効性は、5つの異なる数発学習タスクで実証される。 我々の結果は、異なる数ショット設定で、最先端のパフォーマンスと堅牢性を示す。
• 参考スコア（独自算出の注目度）: 32.55086463140966
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompt learning recently become an effective linguistic tool to motivate the PLMs' knowledge on few-shot-setting tasks. However, studies have shown the lack of robustness still exists in prompt learning, since suitable initialization of continuous prompt and expert-first manual prompt are essential in fine-tuning process. What is more, human also utilize their comparative ability to motivate their existing knowledge for distinguishing different examples. Motivated by this, we explore how to use contrastive samples to strengthen prompt learning. In detail, we first propose our model ConsPrompt combining with prompt encoding network, contrastive sampling module, and contrastive scoring module. Subsequently, two sampling strategies, similarity-based and label-based strategies, are introduced to realize differential contrastive learning. The effectiveness of proposed ConsPrompt is demonstrated in five different few-shot learning tasks and shown the similarity-based sampling strategy is more effective than label-based in combining contrastive learning. Our results also exhibits the state-of-the-art performance and robustness in different few-shot settings, which proves that the ConsPrompt could be assumed as a better knowledge probe to motivate PLMs.
• Abstract（参考訳）: 最近、プロンプト・ラーニングはplmの知識を数少ない設定タスクにモチベーションづける効果的な言語ツールとなっている。 しかしながら、継続的なプロンプトの適切な初期化と専門家優先のマニュアルプロンプトが微調整プロセスに不可欠であるため、学習に堅牢性の欠如が依然として存在することが研究によって示されている。 さらに、人間は比較能力を利用して、異なる例を区別するために既存の知識を動機付けます。 そこで本研究では,コントラストサンプルを用いた即興学習の強化について検討する。 具体的には,まず,プロンプト符号化ネットワーク,コントラストサンプリングモジュール,コントラストスコアリングモジュールを組み合わせたモデルコンスプロンプトを提案する。 次に、類似性に基づく2つのサンプリング戦略とラベルベースの戦略を導入し、差分コントラスト学習を実現する。 提案手法の有効性は,5つの異なるマイズショット学習タスクにおいて実証され,類似性に基づくサンプリング戦略が対照学習の組合せにおいてラベルベースよりも有効であることを示した。 また,この結果から,plmを動機づける優れた知識プローブとしてコンスプロンプトを想定できることが証明された。

関連論文リスト

• ParaICL: Towards Robust Parallel In-Context Learning [74.38022919598443]
  大規模言語モデル(LLM)が自然言語処理の標準となっている。 インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。 パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-31T05:56:15Z)
• KDMCSE: Knowledge Distillation Multimodal Sentence Embeddings with Adaptive Angular margin Contrastive Learning [31.139620652818838]
  マルチモーダル表現の識別と一般化性を高める新しい手法であるKDMCSEを提案する。 我々はまた、角空間内のマージンを強化することにより差別的表現を強化する新しいコントラスト的目的であるAdapACSEを導入する。
  論文  参考訳（メタデータ） (2024-03-26T08:32:39Z)
• In-context Prompt Learning for Test-time Vision Recognition with Frozen Vision-language Model [13.983810804606264]
  In-Context Prompt Learning (InCPL) を提案する。 InCPLは、コンテキスト情報としてラベル付き例がほとんどない新しいテストサンプルを関連付けている。 テストサンプルに適した視覚的プロンプトを最適化するために、コンテキスト対応の教師なし損失を導入する。
  論文  参考訳（メタデータ） (2024-03-10T08:15:51Z)
• TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
  強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。 従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。 本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
  論文  参考訳（メタデータ） (2022-11-21T22:38:20Z)
• CPL: Counterfactual Prompt Learning for Vision and Language Models [76.18024920393245]
  本稿では、視覚と言語モデルのための新しいアンダーラインテキストbfCounterfactual underlinetextbfPrompt underlinetextbfLearning (CPL)法を提案する。 CPLは、共同最適化フレームワークにおいて、反ファクト生成とコントラスト学習を同時に採用している。 実験により、CPLは異なるビジョンと言語タスクにおいて優れた数ショットのパフォーマンスを得ることができることが示された。
  論文  参考訳（メタデータ） (2022-10-19T08:06:39Z)
• Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
  我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。 提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。 ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
  論文  参考訳（メタデータ） (2022-10-05T17:05:56Z)
• Instance-aware Prompt Learning for Language Understanding and Generation [49.22899822734549]
  本稿では,インスタンス毎に異なるプロンプトを学習するインスタンス対応プロンプト学習手法を提案する。 提案手法は,SuperGLUE数ショット学習ベンチマークの最先端性を実現する。
  論文  参考訳（メタデータ） (2022-01-18T17:03:25Z)
• Constructing Contrastive samples via Summarization for Text Classification with limited annotations [46.53641181501143]
  テキスト要約を用いた言語タスクのコントラストサンプル構築のための新しい手法を提案する。 我々はこれらのサンプルを教師付きコントラスト学習に使用し、アノテーションを限定したより良いテキスト表現を得る。 実世界のテキスト分類データセット(Amazon-5、Yelp-5、AG News)の実験では、提案したコントラスト学習フレームワークの有効性が示されている。
  論文  参考訳（メタデータ） (2021-04-11T20:13:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。