論文の概要: Global Prompt Cell: A Portable Control Module for Effective Prompt

• arxiv url: http://arxiv.org/abs/2304.05642v1
• Date: Wed, 12 Apr 2023 06:46:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-13 15:59:20.241630
• Title: Global Prompt Cell: A Portable Control Module for Effective Prompt
• Title（参考訳）: Global Prompt Cell: 効率的なPromptのためのポータブルコントロールモジュール
• Authors: Chi Liu, Haochun Wang, Nuwa Xi, Sendong Zhao, Bing Qin
• Abstract要約: 本稿では,GPC(Global Prompt Cell)について紹介する。 実験の結果,バニラプロンプトチューニングと比較して,SuperGLUEデータセットは5.8%改善した。
• 参考スコア（独自算出の注目度）: 16.76984489127912
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As a novel approach to tuning pre-trained models, prompt tuning involves freezing the parameters in downstream tasks while inserting trainable embeddings into inputs in the first layer.However,previous methods have mainly focused on the initialization of prompt embeddings. The question of how to train and utilize prompt embeddings in a reasonable way has become aa limiting factor in the effectiveness of prompt tuning. To address this issue, we introduce the Global Prompt Cell (GPC), a portable control module for prompt tuning that selectively preserves prompt information across all encoder layers. Our experimental results demonstrate a 5.8% improvement on SuperGLUE datasets compared to vanilla prompt tuning.
• Abstract（参考訳）: 事前学習されたモデルのチューニングにおける新しいアプローチとして、プロンプトチューニングは、第1層の入力にトレーニング可能な埋め込みを挿入しながら、下流タスクのパラメータを凍結する。 適切な方法でプロンプト埋め込みを訓練し活用する方法に関する問題は、プロンプトチューニングの有効性の制限要因となっている。 この問題に対処するために,すべてのエンコーダ層にまたがるプロンプト情報を選択的に保存するプロンプトチューニングモジュールであるGPC(Global Prompt Cell)を導入する。 実験の結果,バニラプロンプトチューニングと比較して,SuperGLUEデータセットは5.8%改善した。

関連論文リスト

• Attention Prompt Tuning: Parameter-efficient Adaptation of Pre-trained Models for Spatiotemporal Modeling [32.603558214472265]
  本稿では,アクション認識などのビデオベースアプリケーションに対して,Attention Prompt Tuning(APT)を導入する。 APTは、バックボーンを凍結させながら微調整中にデータトークンとともに学習可能なプロンプトのセットを注入する。 提案手法は,FLOPとレイテンシを著しく低減するとともに,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-03-11T17:59:41Z)
• Improving Prompt Tuning with Learned Prompting Layers [12.46460062708119]
  我々は、新しいフレームワーク、 UnderlineSelective UnderlinePrompt UnderlineTuning (SPT)を提案する。 学習可能な確率ゲートによって制御されるプロンプトを各中間層に挿入することで、適切なプロンプト層を選択することを学ぶ。 フルデータと数ショットのシナリオの下で、10のベンチマークデータセットで広範な実験を行います。
  論文  参考訳（メタデータ） (2023-10-31T02:07:51Z)
• Gradient-Regulated Meta-Prompt Learning for Generalizable Vision-Language Models [137.74524357614285]
  グラディエント・レグルアテッドメタプロンプト学習フレームワークについて紹介する。 パラメーターとデータ -- 効率的な方法で下流タスクにモデルを適応させるのに役立つ。 GRAMはモデルに依存しない方法で様々なプロンプトチューニング手法に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2023-03-12T05:03:37Z)
• Late Prompt Tuning: A Late Prompt Could Be Better Than Many Prompts [97.20933523766182]
  プロンプトチューニングは、事前訓練モデル(PTM)を利用するためのパラメータ効率チューニング(PETuning)手法である 我々は、入力層やすべての層の代わりに遅延プロンプトをPTMの中間層に挿入するLatlas Prompt Tuning()を提案する。 フルデータおよび少数ショットの両方のシナリオで、フルモデルチューニングや他のPETuningメソッドと競合する性能を実現できることを示す。
  論文  参考訳（メタデータ） (2022-10-20T14:23:52Z)
• Multitask Pre-training of Modular Prompt for Chinese Few-Shot Learning [83.10861551885321]
  本稿では,マルチタスク事前学習型モジュール・プロンプト(MP2)を提案する。 MP2は38の中国語タスクで事前訓練された組み合わせ可能なプロンプトのセットである。 我々は,MP2がプロンプトチューニング,フルモデルチューニング,事前プロンプト事前学習の手法を,数ショット設定で大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-10-14T06:43:42Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• IDPG: An Instance-Dependent Prompt Generation Method [58.45110542003139]
  Prompt tuningは、モデルトレーニング段階で各入力インスタンスにタスク固有のプロンプトを追加する、新しい、効率的なNLP転送学習パラダイムである。 本稿では,各入力インスタンスのプロンプトを生成する条件付きプロンプト生成手法を提案する。
  論文  参考訳（メタデータ） (2022-04-09T15:45:27Z)
• PPT: Pre-trained Prompt Tuning for Few-shot Learning [47.05554619258627]
  事前学習された言語モデル(PLM)のプロンプトは、事前学習タスクと様々な下流タスクのギャップを埋めることで、顕著な性能を示している。 これらの手法のうち、PLMを凍結し、ソフトプロンプトのみをチューニングするプロンプトチューニングは、大規模PLMを下流タスクに適用するための効率的かつ効果的なソリューションを提供する。 本研究では,下流データで十分である場合,従来のフルモデルファインチューニングと相容れない性能が得られた。
  論文  参考訳（メタデータ） (2021-09-09T15:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。