論文の概要: STPrompt: Semantic-guided and Task-driven prompts for Effective Few-shot Classification

• arxiv url: http://arxiv.org/abs/2210.16489v1
• Date: Sat, 29 Oct 2022 04:42:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 15:13:27.797746
• Title: STPrompt: Semantic-guided and Task-driven prompts for Effective Few-shot Classification
• Title（参考訳）: stprompt:semantic-guidedおよびtask-driven promptsによる効果的な少数ショット分類
• Authors: Jinta Weng and Yue Hu and Jing Qiu and Heyan Huan
• Abstract要約: 本稿ではSTPrompt-Semantic-GuidedおよびTask-driven Promptモデルを提案する。 提案モデルでは,テキスト分類タスクの5つの異なるデータセットにおいて,最先端の性能を実現する。
• 参考スコア（独自算出の注目度）: 5.6205035780719275
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The effectiveness of prompt learning has been demonstrated in different pre-trained language models. By formulating suitable template and choosing representative label mapping, prompt learning can be used as an efficient knowledge probe. However, finding suitable prompt in existing methods requires multiple experimental attempts or appropriate vector initialization on formulating suitable template and choosing representative label mapping, which it is more common in few-shot learning tasks. Motivating by PLM working process, we try to construct the prompt from task semantic perspective and thus propose the STPrompt -Semantic-guided and Task-driven Prompt model. Specifically, two novel prompts generated from the semantic dependency tree (Dep-prompt) and task-specific metadata description (Meta-prompt), are firstly constructed in a prompt augmented pool, and the proposed model would automatically select a suitable semantic prompt to motivating the prompt learning process. Our results show that the proposed model achieves the state-of-the-art performance in five different datasets of few-shot text classification tasks, which prove that more semantic and significant prompts could assume as a better knowledge proving tool.
• Abstract（参考訳）: 素早い学習の有効性は、様々な事前学習言語モデルで実証されている。 適切なテンプレートを定式化し、代表ラベルマッピングを選択することで、効率的な知識プローブとして即興学習が利用できる。 しかし、既存の手法で適切なプロンプトを見つけるためには、適切なテンプレートを定式化し、代表ラベルマッピングを選択するために、複数の実験的試みや適切なベクトル初期化が必要である。 PLM作業プロセスにより、タスク意味の観点からプロンプトを構築し、STPrompt-Semantic-GuidedおよびTask-driven Promptモデルを提案する。 具体的には、セマンティック依存ツリー(Dep-prompt)とタスク固有のメタデータ記述(Meta-prompt)から生成される2つの新しいプロンプトを、まず、即時的な拡張プールに構築し、提案モデルは、即時学習プロセスの動機付けに最適なセマンティックプロンプトを自動的に選択する。 これらの結果から,提案手法は5つの異なるデータセットのテキスト分類タスクにおいて最先端のパフォーマンスを達成し,より意味的かつ有意義なプロンプトがよりよい知識証明ツールとして想定できることを示す。

関連論文リスト

• Helping Language Models Learn More: Multi-dimensional Task Prompt for Few-shot Tuning [36.14688633670085]
  本稿では,タスク関連オブジェクト,要約,タスク記述情報に基づく多次元タスクプロンプト学習手法MTPromptを提案する。 提案するMTPromptは,適切なプロンプトを自動構築し,検索することで,いくつかのサンプル設定と5つの異なるデータセットに対して最適な結果が得られる。
  論文  参考訳（メタデータ） (2023-12-13T10:00:44Z)
• MetricPrompt: Prompting Model as a Relevance Metric for Few-shot Text Classification [65.51149771074944]
  MetricPromptは、数発のテキスト分類タスクをテキストペア関連性推定タスクに書き換えることで、言語設計の難易度を緩和する。 広範に使われている3つのテキスト分類データセットを4つのショット・セッティングで実験する。 結果から,MetricPromptは,手動弁証法や自動弁証法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-06-15T06:51:35Z)
• Automated Few-shot Classification with Instruction-Finetuned Language Models [76.69064714392165]
  我々は、AuT-Fewが最先端の数ショット学習方法より優れていることを示す。 AuT-Few は RAFT few-shot ベンチマークにおいて,データセット間で最高のランク付け手法であることを示す。
  論文  参考訳（メタデータ） (2023-05-21T21:50:27Z)
• TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
  強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。 従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。 本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
  論文  参考訳（メタデータ） (2022-11-21T22:38:20Z)
• MetaPrompting: Learning to Learn Better Prompts [52.914694884515534]
  本稿では,メタプロンプトと呼ばれるソフトプロンプト手法を提案する。 大規模な実験は、MetaPromptingが4つの異なるデータセットに大きな改善をもたらすことを示している。
  論文  参考訳（メタデータ） (2022-09-23T09:01:05Z)
• Interactive and Visual Prompt Engineering for Ad-hoc Task Adaptation with Large Language Models [116.25562358482962]
  最先端のニューラルネットワークモデルは、教師付きトレーニングを必要とせずに、アドホックな言語タスクを解決するために使用することができる。 PromptIDEを使えば、ユーザはプロンプトのバリエーションを試すことができ、プロンプトのパフォーマンスを視覚化し、反復的にプロンプトを最適化できる。
  論文  参考訳（メタデータ） (2022-08-16T17:17:53Z)
• Towards Unified Prompt Tuning for Few-shot Text Classification [47.71344780587704]
  We present the Unified Prompt Tuning (UPT) framework that to improve few-shot text classification for BERT-style model。 UPTでは、異なるNLPタスク間での協調学習のために、新しいパラダイムであるPrompt-Options-Verbalizerを提案する。 また, PLMの一般化能力を向上させるために, 知識向上型選択マスケッド言語モデリングという自己教師型タスクを設計する。
  論文  参考訳（メタデータ） (2022-05-11T07:40:45Z)
• Automatic Multi-Label Prompting: Simple and Interpretable Few-Shot Classification [15.575483080819563]
  本稿では,自動マルチラベルプロンプト(AMuLaP)を提案する。 提案手法は,1対多のラベルマッピングと統計に基づくアルゴリズムを用いて,プロンプトテンプレートを付与したラベルマッピングを選択する。 実験の結果,AMuLaPは人的労力や外部リソースを使わずにGLUEベンチマーク上での競合性能を実証した。
  論文  参考訳（メタデータ） (2022-04-13T11:15:52Z)
• KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction [111.74812895391672]
  シナジスティック最適化(KnowPrompt)を用いた知識認識型Promptチューニング手法を提案する。 関係ラベルに含まれる潜在知識をインジェクトして,学習可能な仮想型語と解答語で構築する。
  論文  参考訳（メタデータ） (2021-04-15T17:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。