論文の概要: Meta-augmented Prompt Tuning for Better Few-shot Learning

• arxiv url: http://arxiv.org/abs/2303.12314v2
• Date: Tue, 28 Mar 2023 13:56:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 18:14:07.466250
• Title: Meta-augmented Prompt Tuning for Better Few-shot Learning
• Title（参考訳）: マイナショット学習を改善するためのメタ推論プロンプトチューニング
• Authors: Kaihang Pan, Juncheng Li, Hongye Song, Jun Lin, Xiaozhong Liu, Siliang Tang
• Abstract要約: 本稿では,数ショット一般化のためのメタグラディエント正規化を用いた自己改善メタプロンプト学習フレームワークを提案する。 我々は,自己指導型メタ学習を活用し,ソフトプロンプトの創発性を向上し,メタタスク分布の充実を図るためにカリキュラムベースのタスク拡張を提案する。 実験により、SUMMERは、異なる数ショットダウンストリームタスクに対してより良いパフォーマンスを達成し、また、より強力なドメイン一般化能力を示すことが示された。
• 参考スコア（独自算出の注目度）: 35.2294715440036
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt tuning is a parameter-efficient method, which freezes all PLM parameters and only prepends some additional tunable tokens called soft prompts to the input text. However, soft prompts heavily rely on a better initialization and may easily result in overfitting under few-shot settings, which causes prompt-tuning performing much worse than fine-tuning. To address the above issues, this paper proposes a novel Self-sUpervised Meta-prompt learning framework with MEtagradient Regularization for few shot generalization (SUMMER). We leverage self-supervised meta-learning to better initialize soft prompts and curriculum-based task augmentation is further proposed to enrich the meta-task distribution. Besides, a novel meta-gradient regularization method is integrated into the meta-prompt learning framework, which meta-learns to transform the raw gradient during few-shot learning into a domain-generalizable direction, thus alleviating the problem of overfitting. Extensive experiments show that SUMMER achieves better performance for different few-shot downstream tasks, and also exhibits a stronger domain generalization ability.
• Abstract（参考訳）: プロンプトチューニングはパラメータ効率のよい手法であり、全てのPLMパラメータを凍結し、入力テキストにソフトプロンプトと呼ばれる追加の調整可能なトークンのみをプリペイドする。 しかし、ソフトプロンプトはイニシャライズに強く依存しており、数ショット設定でオーバーフィットする可能性があるため、微調整よりもプロンプトチューニングの実行がはるかに悪くなる。 上記の課題に対処するために,数ショット一般化(SUMMER)のためのMetagradient Regularizationを用いた自己改善メタプロンプト学習フレームワークを提案する。 我々は,自己教師付きメタラーニングを利用してソフトプロンプトをより早く初期化し,カリキュラムに基づくタスク拡張によりメタタスク分布を豊かにする。 また,メタプロンプト学習フレームワークにメタグラディエント正規化手法を組み込んだメタプロンプト学習手法により,数ショット学習時に生勾配をドメイン一般化可能な方向に変換し,オーバーフィッティングの問題を緩和する。 広範囲な実験により、サマーは異なるマイナショットダウンストリームタスクのパフォーマンスが向上し、ドメインの一般化能力も向上することが示された。

関連論文リスト

• FREE: Faster and Better Data-Free Meta-Learning [77.90126669914324]
  Data-Free Meta-Learning (DFML) は、トレーニング済みモデルのコレクションから、元のデータを必要としない知識を抽出することを目的としている。 i)事前訓練されたモデルからトレーニングタスクを迅速に回復するためのメタジェネレータ,(ii)新しい未知のタスクに一般化するためのメタラーナーを含む、より高速で優れたデータフリーなメタラーニングフレームワークを紹介する。
  論文  参考訳（メタデータ） (2024-05-02T03:43:19Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• Gradient-Regulated Meta-Prompt Learning for Generalizable Vision-Language Models [137.74524357614285]
  グラディエント・レグルアテッドメタプロンプト学習フレームワークについて紹介する。 パラメーターとデータ -- 効率的な方法で下流タスクにモデルを適応させるのに役立つ。 GRAMはモデルに依存しない方法で様々なプロンプトチューニング手法に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2023-03-12T05:03:37Z)
• Learning a Better Initialization for Soft Prompts via Meta-Learning [58.53984967461313]
  本稿では,プロンプトチューニングを改善するメタPT(Meta-learned Prompt Tuning)を提案する。 まず、事前学習したデータを異なる補助タスクにクラスタリングすることで、その構造を導入する。 これらのタスクをメタ学習アルゴリズムでプロンプトの事前学習に使用する。
  論文  参考訳（メタデータ） (2022-05-25T03:50:23Z)
• Self-Supervised Meta-Learning for Few-Shot Natural Language Classification Tasks [40.97125791174191]
  ラベルのないテキストから大規模でリッチなメタ学習タスク分布を生成するための自己教師型手法を提案する。 このメタトレーニングは、言語モデル事前学習の後に微調整を行うよりも、数ショットの一般化に繋がることを示す。
  論文  参考訳（メタデータ） (2020-09-17T17:53:59Z)
• Improving Generalization in Meta-learning via Task Augmentation [69.83677015207527]
  本稿ではMetaMixとChannel Shuffleの2つのタスク拡張手法を提案する。 MetaMixとChannel Shuffleはどちらも、多くのデータセットにまたがる大きなマージンによって、最先端の結果を上回っている。
  論文  参考訳（メタデータ） (2020-07-26T01:50:42Z)
• TaskNorm: Rethinking Batch Normalization for Meta-Learning [43.01116858195183]
  メタラーニングシナリオに対するバッチ正規化に対する様々なアプローチを評価し、TaskNormと呼ばれる新しいアプローチを開発します。 14のデータセットの実験により、バッチ正規化の選択は、分類精度とトレーニング時間の両方に劇的な影響を及ぼすことが示された。 メタ学習アルゴリズムを公平に比較するための,正規化のためのベストプラクティスのセットを提供する。
  論文  参考訳（メタデータ） (2020-03-06T15:43:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。