論文の概要: Learning to Initialize: Can Meta Learning Improve Cross-task Generalization in Prompt Tuning?

• arxiv url: http://arxiv.org/abs/2302.08143v3
• Date: Sun, 19 Nov 2023 14:31:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-22 20:24:50.179997
• Title: Learning to Initialize: Can Meta Learning Improve Cross-task Generalization in Prompt Tuning?
• Title（参考訳）: 初期化学習: メタ学習はプロンプトチューニングにおけるクロスタスクの一般化を改善するか?
• Authors: Chengwei Qin, Qian Li, Ruochen Zhao, Shafiq Joty
• Abstract要約: タスク毎に追加のトークン列の埋め込みをチューニングするプロンプトチューニング(PT)は、数ショット学習において顕著なパフォーマンスを示している。 我々はメタプロンプト・チューニング(MPT)について研究し、メタ学習が(可能であれば)クロスタスクの一般化にどう役立つかを探る。
• 参考スコア（独自算出の注目度）: 37.522581151997734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt tuning (PT) which only tunes the embeddings of an additional sequence of tokens per task, keeping the pre-trained language model (PLM) frozen, has shown remarkable performance in few-shot learning. Despite this, PT has been shown to rely heavily on good initialization of the prompt embeddings. In this work, we study meta prompt tuning (MPT) to systematically explore how meta-learning can help improve (if it can) cross-task generalization in PT through learning to initialize the prompt embeddings from other relevant tasks. We empirically analyze a representative set of meta learning algorithms in a wide range of adaptation settings with different source/target task configurations on a large set of few-shot tasks. With extensive experiments and analysis, we demonstrate the effectiveness of MPT. We find the improvement to be significant particularly on classification tasks. For other kinds of tasks such as question answering, we observe that while MPT can outperform PT in most cases, it does not always outperform multi-task learning. We further provide an in-depth analysis from the perspective of task similarity.
• Abstract（参考訳）: タスク毎に追加のトークンの埋め込みのみをチューニングし、事前学習された言語モデル(plm)を凍結しておくプロンプトチューニング(pt)は、わずかな学習で驚くべきパフォーマンスを示している。 それにもかかわらず、PTは迅速な埋め込みの良好な初期化に大きく依存していることが示されている。 本研究では,メタプロンプト・チューニング(MPT)について検討し,メタ学習がPTにおけるクロスタスクの一般化を(可能ならば)改善し,他の関連するタスクからのプロンプト埋め込みを初期化することで,体系的に研究する。 我々は,多種多様なソース/ターゲットタスク設定を用いて,多種多様な適応設定において,メタ学習アルゴリズムの代表セットを経験的に分析する。 広範囲な実験と分析により,MPTの有効性を実証した。 この改善は特に分類タスクにおいて重要である。 質問応答など他のタスクでは、MPTはPTより優れているが、マルチタスク学習では必ずしも優れているとは限らない。 さらに,タスクの類似性の観点から,詳細な分析を行う。

関連論文リスト

• Boosting Natural Language Generation from Instructions with Meta-Learning [43.64522457686405]
  最近の研究によると、言語モデル(LM)はマルチタスクで訓練されている。 Textitinstructional Learning (MTIL) は多様なNLPを解くことができる。 即時チューニングよりもパフォーマンスが向上したタスク。 本稿では,MTILに適用したメタラーニングが,ゼロショット設定における未確認タスクへの一般化をさらに改善できるかどうかを検討する。
  論文  参考訳（メタデータ） (2022-10-20T22:23:23Z)
• On the Effectiveness of Fine-tuning Versus Meta-reinforcement Learning [71.55412580325743]
  本稿では,新しいタスクを微調整したマルチタスク事前学習がメタテスト時間適応によるメタ事前学習と同等かそれ以上に機能することを示す。 マルチタスク事前学習はメタRLよりもシンプルで計算的に安価である傾向があるため、これは将来の研究を奨励している。
  論文  参考訳（メタデータ） (2022-06-07T13:24:00Z)
• Learning a Better Initialization for Soft Prompts via Meta-Learning [58.53984967461313]
  本稿では,プロンプトチューニングを改善するメタPT(Meta-learned Prompt Tuning)を提案する。 まず、事前学習したデータを異なる補助タスクにクラスタリングすることで、その構造を導入する。 これらのタスクをメタ学習アルゴリズムでプロンプトの事前学習に使用する。
  論文  参考訳（メタデータ） (2022-05-25T03:50:23Z)
• On Steering Multi-Annotations per Sample for Multi-Task Learning [79.98259057711044]
  マルチタスク学習の研究はコミュニティから大きな注目を集めている。 目覚ましい進歩にもかかわらず、異なるタスクを同時に学習するという課題はまだ検討されていない。 従来の研究は、異なるタスクから勾配を修正しようとするが、これらの手法はタスク間の関係の主観的な仮定を与え、修正された勾配はより正確でないかもしれない。 本稿では,タスク割り当てアプローチによってこの問題に対処する機構であるタスク割当(STA)を紹介し,各サンプルをランダムにタスクのサブセットに割り当てる。 さらなる進展のために、我々は全てのタスクを反復的に割り当てるためにInterleaved Task Allocation(ISTA)を提案する。
  論文  参考訳（メタデータ） (2022-03-06T11:57:18Z)
• Improving Generalization in Meta-learning via Task Augmentation [69.83677015207527]
  本稿ではMetaMixとChannel Shuffleの2つのタスク拡張手法を提案する。 MetaMixとChannel Shuffleはどちらも、多くのデータセットにまたがる大きなマージンによって、最先端の結果を上回っている。
  論文  参考訳（メタデータ） (2020-07-26T01:50:42Z)
• Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
  マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。 我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
  論文  参考訳（メタデータ） (2020-04-28T09:15:50Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)
• The Sample Complexity of Meta Sparse Regression [38.092179552223364]
  本稿では,無限タスクによる疎線形回帰におけるメタラーニング問題に対処する。 T in O ((k log(p) ) /l ) タスクが全タスクの共通サポートを回復するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-02-22T00:59:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。