論文の概要: ConsPrompt: Exploiting Contrastive Samples for Fewshot Prompt Learning

• arxiv url: http://arxiv.org/abs/2211.04118v2
• Date: Wed, 13 Dec 2023 10:40:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-14 21:20:53.533417
• Title: ConsPrompt: Exploiting Contrastive Samples for Fewshot Prompt Learning
• Title（参考訳）: ConsPrompt:Fewshot Prompt Learningのためのコントラストサンプルのエクスプロイト
• Authors: Jinta Weng and Yifan Deng and d Donghao Li and Hao You and Yue Hu and Heyan Huang
• Abstract要約: 我々は、より堅牢なプロンプト表現を実現するために、コントラスト的サンプルと複数のコントラスト的学習手法を活用する方法について検討する。 以上の結果から,数ショットの異なる環境での最先端性能を示すとともに,アブレーション実験により,プロンプトベースファインタニングプロセスにおける多自由度コントラスト学習の有効性を検証した。
• 参考スコア（独自算出の注目度）: 37.219617741198334
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Prompt recently have become an effective linguistic tool on utilizing the pre-trained language models. However, in few-shot scenarios, subtle changes of prompt's design always make the result widely different, and the prompt design is also easy to overfit the current limited samples. To alleviate this, we explore how to utilize suitable contrastive samples and multiple contrastive learning methods to realize a more robust prompt's representation. Therefore, the contrastive prompt model ConsPrompt combining with prompt encoding network, contrastive sampling modules, and contrastive scoring modules are introduced to realize differential contrastive learning. Our results exhibit the state-of-the-art performance in different few-shot settings, and the ablation experiments also certificate the effectiveness in utilizing multi-degree contrastive learning in prompt-based fine-tuning process.
• Abstract（参考訳）: 近年,事前学習された言語モデルを活用するための効果的な言語ツールが提案されている。 しかし、少数のシナリオでは、プロンプトの設計の微妙な変更が常に結果を大きく変え、プロンプトデザインは現在の限られたサンプルをオーバーフィットさせるのも容易である。 そこで本研究では,よりロバストなプロンプト表現を実現するために,適切なコントラストサンプルと複数のコントラスト学習手法をどのように活用するかを検討する。 したがって、コントラストプロンプトモデルとプロンプト符号化ネットワーク、コントラストサンプリングモジュール、コントラストスコアリングモジュールを組み合わせることで、差分コントラスト学習を実現する。 以上の結果から,数ショットの異なる環境での最先端性能を示すとともに,アブレーション実験により,プロンプトベースファインタニングプロセスにおける多自由度コントラスト学習の有効性を検証した。

関連論文リスト

• ParaICL: Towards Robust Parallel In-Context Learning [74.38022919598443]
  大規模言語モデル(LLM)が自然言語処理の標準となっている。 インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。 パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-31T05:56:15Z)
• KDMCSE: Knowledge Distillation Multimodal Sentence Embeddings with Adaptive Angular margin Contrastive Learning [31.139620652818838]
  マルチモーダル表現の識別と一般化性を高める新しい手法であるKDMCSEを提案する。 我々はまた、角空間内のマージンを強化することにより差別的表現を強化する新しいコントラスト的目的であるAdapACSEを導入する。
  論文  参考訳（メタデータ） (2024-03-26T08:32:39Z)
• In-context Prompt Learning for Test-time Vision Recognition with Frozen Vision-language Model [13.983810804606264]
  In-Context Prompt Learning (InCPL) を提案する。 InCPLは、コンテキスト情報としてラベル付き例がほとんどない新しいテストサンプルを関連付けている。 テストサンプルに適した視覚的プロンプトを最適化するために、コンテキスト対応の教師なし損失を導入する。
  論文  参考訳（メタデータ） (2024-03-10T08:15:51Z)
• TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
  強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。 従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。 本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
  論文  参考訳（メタデータ） (2022-11-21T22:38:20Z)
• CPL: Counterfactual Prompt Learning for Vision and Language Models [76.18024920393245]
  本稿では、視覚と言語モデルのための新しいアンダーラインテキストbfCounterfactual underlinetextbfPrompt underlinetextbfLearning (CPL)法を提案する。 CPLは、共同最適化フレームワークにおいて、反ファクト生成とコントラスト学習を同時に採用している。 実験により、CPLは異なるビジョンと言語タスクにおいて優れた数ショットのパフォーマンスを得ることができることが示された。
  論文  参考訳（メタデータ） (2022-10-19T08:06:39Z)
• Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
  我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。 提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。 ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
  論文  参考訳（メタデータ） (2022-10-05T17:05:56Z)
• Instance-aware Prompt Learning for Language Understanding and Generation [49.22899822734549]
  本稿では,インスタンス毎に異なるプロンプトを学習するインスタンス対応プロンプト学習手法を提案する。 提案手法は,SuperGLUE数ショット学習ベンチマークの最先端性を実現する。
  論文  参考訳（メタデータ） (2022-01-18T17:03:25Z)
• Constructing Contrastive samples via Summarization for Text Classification with limited annotations [46.53641181501143]
  テキスト要約を用いた言語タスクのコントラストサンプル構築のための新しい手法を提案する。 我々はこれらのサンプルを教師付きコントラスト学習に使用し、アノテーションを限定したより良いテキスト表現を得る。 実世界のテキスト分類データセット(Amazon-5、Yelp-5、AG News)の実験では、提案したコントラスト学習フレームワークの有効性が示されている。
  論文  参考訳（メタデータ） (2021-04-11T20:13:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。