論文の概要: MetaPrompting: Learning to Learn Better Prompts

• arxiv url: http://arxiv.org/abs/2209.11486v1
• Date: Fri, 23 Sep 2022 09:01:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-26 13:59:57.183989
• Title: MetaPrompting: Learning to Learn Better Prompts
• Title（参考訳）: Meta Prompting: プロンプトを改善するための学習
• Authors: Yutai Hou, Hongyuan Dong, Xinghao Wang, Bohan Li, Wanxiang Che
• Abstract要約: 本稿では,メタプロンプトと呼ばれるソフトプロンプト手法を提案する。 大規模な実験は、MetaPromptingが4つの異なるデータセットに大きな改善をもたらすことを示している。
• 参考スコア（独自算出の注目度）: 52.914694884515534
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompting method is regarded as one of the crucial progress for few-shot nature language processing. Recent research on prompting moves from discrete tokens based ``hard prompts'' to continuous ``soft prompts'', which employ learnable vectors as pseudo prompt tokens and achieve better performance. Though showing promising prospects, these soft-prompting methods are observed to rely heavily on good initialization to take effect. Unfortunately, obtaining a perfect initialization for soft prompts requires understanding of inner language models working and elaborate design, which is no easy task and has to restart from scratch for each new task. To remedy this, we propose a generalized soft prompting method called MetaPrompting, which adopts the well-recognized model-agnostic meta-learning algorithm to automatically find better prompt initialization that facilitates fast adaptation to new prompting tasks.Extensive experiments show MetaPrompting tackles soft prompt initialization problem and brings significant improvement on four different datasets (over 6 points improvement in accuracy for 1-shot setting), achieving new state-of-the-art performance.
• Abstract（参考訳）: プロンプト法は,数発の自然言語処理において重要な進歩の1つである。 離散トークンをベースとした ``hard prompts'' から連続 ``soft prompts' への移行の促進に関する最近の研究は、学習可能なベクトルを擬似プロンプトとして使用し、より良い性能を達成する。 有望な見通しを示すが、これらのソフトプロポーティング手法は効果を得るために良い初期化に大きく依存している。 残念ながら、ソフトプロンプトの完全な初期化を得るためには、内部言語モデルの動作と精巧な設計を理解する必要があり、これは簡単なタスクではなく、新しいタスクごとにスクラッチから再起動する必要がある。 To remedy this, we propose a generalized soft prompting method called MetaPrompting, which adopts the well-recognized model-agnostic meta-learning algorithm to automatically find better prompt initialization that facilitates fast adaptation to new prompting tasks.Extensive experiments show MetaPrompting tackles soft prompt initialization problem and brings significant improvement on four different datasets (over 6 points improvement in accuracy for 1-shot setting), achieving new state-of-the-art performance.

関連論文リスト

• Mixture of Prompt Learning for Vision Language Models [12.828490399811376]
  ルーティングモジュールを組み込んだソフトプロンプト学習手法の混合を提案する。 このモジュールはデータセットのさまざまなスタイルをキャプチャし、インスタンス毎に最も適切なプロンプトを動的に選択することができる。 また、意味的にグループ化されたテキストレベルの監視を実装し、各ソフトプロンプトを、そのグループから手動で設計されたテンプレートのトークン埋め込みで初期化する。
  論文  参考訳（メタデータ） (2024-09-18T14:25:02Z)
• InfoPrompt: Information-Theoretic Soft Prompt Tuning for Natural Language Understanding [51.48361798508375]
  我々は,プロンプトと他のモデルパラメータ間の相互情報の最大化として,ソフトプロンプトチューニングを定式化する情報理論フレームワークを開発する。 本稿では,インフォプロンプトがプロンプトチューニングの収束を著しく加速し,従来のプロンプトチューニング手法よりも優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-06-08T04:31:48Z)
• Effective Structured Prompting by Meta-Learning and Representative Verbalizer [27.64413828719264]
  効果的な構造化プロンプトのためのメタプロンプターを提案する。 本稿では,特徴埋め込みから直接ラベル埋め込みを構築する新しいソフトな動詞変換器(RepVerb)を提案する。 実験の結果,MetaPrompterは最近の最先端技術よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-06-01T12:44:33Z)
• Gradient-Regulated Meta-Prompt Learning for Generalizable Vision-Language Models [137.74524357614285]
  グラディエント・レグルアテッドメタプロンプト学習フレームワークについて紹介する。 パラメーターとデータ -- 効率的な方法で下流タスクにモデルを適応させるのに役立つ。 GRAMはモデルに依存しない方法で様々なプロンプトチューニング手法に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2023-03-12T05:03:37Z)
• TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
  強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。 従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。 本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
  論文  参考訳（メタデータ） (2022-11-21T22:38:20Z)
• STPrompt: Semantic-guided and Task-driven prompts for Effective Few-shot Classification [5.6205035780719275]
  本稿ではSTPrompt-Semantic-GuidedおよびTask-driven Promptモデルを提案する。 提案モデルでは,テキスト分類タスクの5つの異なるデータセットにおいて,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-10-29T04:42:30Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)
• Instance-aware Prompt Learning for Language Understanding and Generation [49.22899822734549]
  本稿では,インスタンス毎に異なるプロンプトを学習するインスタンス対応プロンプト学習手法を提案する。 提案手法は,SuperGLUE数ショット学習ベンチマークの最先端性を実現する。
  論文  参考訳（メタデータ） (2022-01-18T17:03:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。