論文の概要: Self-supervised Meta-Prompt Learning with Meta-Gradient Regularization for Few-shot Generalization

• arxiv url: http://arxiv.org/abs/2303.12314v1
• Date: Wed, 22 Mar 2023 05:04:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-23 15:09:07.105602
• Title: Self-supervised Meta-Prompt Learning with Meta-Gradient Regularization for Few-shot Generalization
• Title（参考訳）: ファウショット一般化のためのメタグラディエント正規化を用いた自己教師型メタプロンプト学習
• Authors: Kaihang Pan, Juncheng Li, Hongye Song, Jun Lin, Xiaozhong Liu, Siliang Tang
• Abstract要約: プロンプトチューニングはパラメータ効率のよい手法であり、特定の下流タスクを実行するためにソフトプロンプトと条件フリーズ言語モデルを学ぶ。 既存の作業では、事前学習や教師付きメタ学習を利用してソフトプロンプトを初期化するが、データ効率で下流のタスクに一般化することはできない。 本稿では, マルチショット一般化のためのメタ段階正規化による自己改善型メタプロンプト学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 35.2294715440036
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt tuning is a parameter-efficient method, which learns soft prompts and conditions frozen language models to perform specific downstream tasks. Though effective, prompt tuning under few-shot settings on the one hand heavily relies on a good initialization of soft prompts. On the other hand, it can easily result in overfitting. Existing works leverage pre-training or supervised meta-learning to initialize soft prompts but they cannot data-efficiently generalize to unseen downstream tasks. To address the above problems, this paper proposes a novel Self-sUpervised meta-Prompt learning framework with meta-gradient Regularization for few-shot generalization (SUPMER). We first design a set of self-supervised anchor meta-training tasks with different task formats and further enrich the task distribution with curriculum-based task augmentation. Then a novel meta-gradient regularization method is integrated into meta-prompt learning. It meta-learns to transform the raw gradients during few-shot learning into a domain-generalizable direction, thus alleviating the problem of overfitting. Extensive experiments show that SUPMER achieves better performance for different few-shot downstream tasks, and also exhibits a stronger domain generalization ability.
• Abstract（参考訳）: プロンプトチューニングはパラメータ効率のよい手法であり、ソフトプロンプトと条件凍結言語モデルを学び、特定の下流タスクを実行する。 効果はあるものの、数ショット設定でのプロンプトチューニングはソフトプロンプトの優れた初期化に大きく依存している。 一方で、オーバーフィッティングが発生する可能性がある。 既存の作業では、事前学習や教師付きメタ学習を利用してソフトプロンプトを初期化するが、データ効率で下流のタスクに一般化することはできない。 上記の問題に対処するため,本論文では,数ショットの一般化のためのメタ段階的正規化(SUPMER)を備えた自己改善メタプロンプト学習フレームワークを提案する。 まず,タスク形式が異なる自己教師付きアンカーメタトレーニングタスクのセットを設計し,カリキュラムベースのタスク拡張によるタスク分散をさらに強化する。 そして、メタプロンプト学習に新しいメタ段階正規化手法を統合する。 数ショット学習中に生の勾配をドメイン一般化可能な方向に変換することで、オーバーフィットの問題を緩和する。 大規模な実験により、SUPMERは、異なる数ショットダウンストリームタスクに対してより良いパフォーマンスを実現し、さらに強力なドメイン一般化能力を示すことが示された。

関連論文リスト

• FREE: Faster and Better Data-Free Meta-Learning [77.90126669914324]
  Data-Free Meta-Learning (DFML) は、トレーニング済みモデルのコレクションから、元のデータを必要としない知識を抽出することを目的としている。 i)事前訓練されたモデルからトレーニングタスクを迅速に回復するためのメタジェネレータ,(ii)新しい未知のタスクに一般化するためのメタラーナーを含む、より高速で優れたデータフリーなメタラーニングフレームワークを紹介する。
  論文  参考訳（メタデータ） (2024-05-02T03:43:19Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• Gradient-Regulated Meta-Prompt Learning for Generalizable Vision-Language Models [137.74524357614285]
  グラディエント・レグルアテッドメタプロンプト学習フレームワークについて紹介する。 パラメーターとデータ -- 効率的な方法で下流タスクにモデルを適応させるのに役立つ。 GRAMはモデルに依存しない方法で様々なプロンプトチューニング手法に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2023-03-12T05:03:37Z)
• Learning a Better Initialization for Soft Prompts via Meta-Learning [58.53984967461313]
  本稿では,プロンプトチューニングを改善するメタPT(Meta-learned Prompt Tuning)を提案する。 まず、事前学習したデータを異なる補助タスクにクラスタリングすることで、その構造を導入する。 これらのタスクをメタ学習アルゴリズムでプロンプトの事前学習に使用する。
  論文  参考訳（メタデータ） (2022-05-25T03:50:23Z)
• Self-Supervised Meta-Learning for Few-Shot Natural Language Classification Tasks [40.97125791174191]
  ラベルのないテキストから大規模でリッチなメタ学習タスク分布を生成するための自己教師型手法を提案する。 このメタトレーニングは、言語モデル事前学習の後に微調整を行うよりも、数ショットの一般化に繋がることを示す。
  論文  参考訳（メタデータ） (2020-09-17T17:53:59Z)
• Improving Generalization in Meta-learning via Task Augmentation [69.83677015207527]
  本稿ではMetaMixとChannel Shuffleの2つのタスク拡張手法を提案する。 MetaMixとChannel Shuffleはどちらも、多くのデータセットにまたがる大きなマージンによって、最先端の結果を上回っている。
  論文  参考訳（メタデータ） (2020-07-26T01:50:42Z)
• TaskNorm: Rethinking Batch Normalization for Meta-Learning [43.01116858195183]
  メタラーニングシナリオに対するバッチ正規化に対する様々なアプローチを評価し、TaskNormと呼ばれる新しいアプローチを開発します。 14のデータセットの実験により、バッチ正規化の選択は、分類精度とトレーニング時間の両方に劇的な影響を及ぼすことが示された。 メタ学習アルゴリズムを公平に比較するための,正規化のためのベストプラクティスのセットを提供する。
  論文  参考訳（メタデータ） (2020-03-06T15:43:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。