論文の概要: Effective Structured Prompting by Meta-Learning and Representative Verbalizer

• arxiv url: http://arxiv.org/abs/2306.00618v2
• Date: Thu, 21 Mar 2024 13:37:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-22 20:29:39.910824
• Title: Effective Structured Prompting by Meta-Learning and Representative Verbalizer
• Title（参考訳）: メタラーニングと代表バーバリザーによる効果的な構造化プロンプト
• Authors: Weisen Jiang, Yu Zhang, James T. Kwok,
• Abstract要約: 効果的な構造化プロンプトのためのメタプロンプターを提案する。 本稿では,特徴埋め込みから直接ラベル埋め込みを構築する新しいソフトな動詞変換器(RepVerb)を提案する。 実験の結果,MetaPrompterは最近の最先端技術よりも優れた性能を示した。
• 参考スコア（独自算出の注目度）: 27.64413828719264
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompt tuning for pre-trained masked language models (MLM) has shown promising performance in natural language processing tasks with few labeled examples. It tunes a prompt for the downstream task, and a verbalizer is used to bridge the predicted token and label prediction. Due to the limited training data, prompt initialization is crucial for prompt tuning. Recently, MetaPrompting (Hou et al., 2022) uses meta-learning to learn a shared initialization for all task-specific prompts. However, a single initialization is insufficient to obtain good prompts for all tasks and samples when the tasks are complex. Moreover, MetaPrompting requires tuning the whole MLM, causing a heavy burden on computation and memory as the MLM is usually large. To address these issues, we use a prompt pool to extract more task knowledge and construct instance-dependent prompts via attention. We further propose a novel soft verbalizer (RepVerb) which constructs label embedding from feature embeddings directly. Combining meta-learning the prompt pool and RepVerb, we propose MetaPrompter for effective structured prompting. MetaPrompter is parameter-efficient as only the pool is required to be tuned. Experimental results demonstrate that MetaPrompter performs better than the recent state-of-the-arts and RepVerb outperforms existing soft verbalizers.
• Abstract（参考訳）: MLM(Prompt tuning for pre-trained masked language model)は、ラベル付き例が少ない自然言語処理タスクにおいて有望な性能を示す。 下流タスクのプロンプトをチューニングし、予測トークンとラベル予測をブリッジするために動詞化子を使用する。 訓練データに制限があるため、即時初期化は即時チューニングに不可欠である。 近年,メタプロンプティング(Hou et al ,2022)はメタラーニングを用いて,タスク固有のプロンプトの共有初期化を学習している。 しかし、タスクが複雑である場合、すべてのタスクやサンプルに対して適切なプロンプトを得るには、単一の初期化が不十分である。 さらに、MetaPromptingは、MLM全体をチューニングする必要があるため、MLMが通常大きいため、計算とメモリに大きな負担がかかる。 これらの問題に対処するために、プロンプトプールを使用して、より多くのタスク知識を抽出し、注意を通してインスタンスに依存したプロンプトを構築します。 さらに,特徴埋め込みから直接ラベル埋め込みを構築する新しいソフトな動詞変換器(RepVerb)を提案する。 本稿では,プロンプトプールとRepVerbを組み合わせたメタプロンプターを提案する。 MetaPrompterは、調整が必要なプールのみであるため、パラメータ効率がよい。 実験結果から,MetaPrompterは最近の最先端言語よりも優れた性能を示し,RepVerbは既存のソフトな動詞処理器よりも優れていた。

関連論文リスト

• Promptriever: Instruction-Trained Retrievers Can Be Prompted Like Language Models [54.272894325370956]
  本稿では,LMのように誘導できる最初の検索モデルであるPromptrieverを紹介する。 Promptrieverは、標準的な検索タスクで高いパフォーマンスを達成し、命令に従う。
  論文  参考訳（メタデータ） (2024-09-17T12:42:55Z)
• On Meta-Prompting [18.949285430843695]
  これらのアプローチをメタプロンプトと呼ぶか、あるいはプロンプトを得るよう促す。 本稿では,圏論に基づく理論的枠組みを提案し,それらを一般化し記述する。
  論文  参考訳（メタデータ） (2023-12-11T17:46:44Z)
• STPrompt: Semantic-guided and Task-driven prompts for Effective Few-shot Classification [5.6205035780719275]
  本稿ではSTPrompt-Semantic-GuidedおよびTask-driven Promptモデルを提案する。 提案モデルでは,テキスト分類タスクの5つの異なるデータセットにおいて,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-10-29T04:42:30Z)
• MetaPrompting: Learning to Learn Better Prompts [52.914694884515534]
  本稿では,メタプロンプトと呼ばれるソフトプロンプト手法を提案する。 大規模な実験は、MetaPromptingが4つの異なるデータセットに大きな改善をもたらすことを示している。
  論文  参考訳（メタデータ） (2022-09-23T09:01:05Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• Learning a Better Initialization for Soft Prompts via Meta-Learning [58.53984967461313]
  本稿では,プロンプトチューニングを改善するメタPT(Meta-learned Prompt Tuning)を提案する。 まず、事前学習したデータを異なる補助タスクにクラスタリングすることで、その構造を導入する。 これらのタスクをメタ学習アルゴリズムでプロンプトの事前学習に使用する。
  論文  参考訳（メタデータ） (2022-05-25T03:50:23Z)
• PromptDA: Label-guided Data Augmentation for Prompt-based Few-shot Learners [15.130992223266734]
  本稿では,データ拡張のためのラベルの豊富なセマンティック情報を利用する新しいラベル誘導型データ拡張フレームワークであるPromptDAを提案する。 本研究は, 提案フレームワークの優れた性能を示すために, テキスト分類タスクを数ショットで行う実験である。
  論文  参考訳（メタデータ） (2022-05-18T22:15:20Z)
• IDPG: An Instance-Dependent Prompt Generation Method [58.45110542003139]
  Prompt tuningは、モデルトレーニング段階で各入力インスタンスにタスク固有のプロンプトを追加する、新しい、効率的なNLP転送学習パラダイムである。 本稿では,各入力インスタンスのプロンプトを生成する条件付きプロンプト生成手法を提案する。
  論文  参考訳（メタデータ） (2022-04-09T15:45:27Z)
• OpenPrompt: An Open-source Framework for Prompt-learning [59.17869696803559]
  PLM上でのプロンプト学習を行うための統一的な使いやすさツールキットであるOpenPromptを提案する。 OpenPromptは、効率性、モジュール性、拡張性を備えた、リサーチフレンドリーなフレームワークである。
  論文  参考訳（メタデータ） (2021-11-03T03:31:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。