論文の概要: Structured Prompt Tuning

• arxiv url: http://arxiv.org/abs/2205.12309v1
• Date: Tue, 24 May 2022 18:36:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-29 04:05:33.234650
• Title: Structured Prompt Tuning
• Title（参考訳）: 構造化プロンプトチューニング
• Authors: Chi-Liang Liu, Hung-yi Lee, Wen-tau Yih
• Abstract要約: 入力に調整可能な埋め込み列を前もって予測するのではなく、ハイパーネットワークを通してソフトプロンプト埋め込みを生成する。 我々のアプローチは標準のプロンプトチューニングを仮定し、モデル設計の柔軟性を高め、シングルタスクとマルチタスクの両方のトレーニング設定に適用できる。
• 参考スコア（独自算出の注目度）: 83.71253868369999
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose structured prompt tuning, a simple and effective method to improve prompt tuning. Instead of prepending a sequence of tunable embeddings to the input, we generate the soft prompt embeddings through a hypernetwork. Our approach subsumes the standard prompt tuning, allows more flexibility in model design and can be applied to both single-task and multi-task training settings. Empirically, structured prompt tuning shows a gain of +1.2$~1.5 points on the GLUE benchmark and is less sensitive to the change of learning rate, compared to standard prompt tuning.
• Abstract（参考訳）: 本稿では,プロンプトチューニングを改善するための簡易かつ効果的な手法である構造化プロンプトチューニングを提案する。 入力にチューニング可能な埋め込みのシーケンスを事前に設定するのではなく、ハイパーネットワークを通じてソフトなプロンプト埋め込みを生成します。 我々のアプローチは標準のプロンプトチューニングを仮定し、モデル設計の柔軟性を高め、シングルタスクとマルチタスクの両方のトレーニング設定に適用できる。 経験的に、構造化されたプロンプトチューニングはGLUEベンチマークで+1.2$~1.5ポイントのゲインを示し、標準のプロンプトチューニングに比べて学習率の変化に敏感ではない。

関連論文リスト

• Improving Prompt Tuning with Learned Prompting Layers [12.46460062708119]
  我々は、新しいフレームワーク、 UnderlineSelective UnderlinePrompt UnderlineTuning (SPT)を提案する。 学習可能な確率ゲートによって制御されるプロンプトを各中間層に挿入することで、適切なプロンプト層を選択することを学ぶ。 フルデータと数ショットのシナリオの下で、10のベンチマークデータセットで広範な実験を行います。
  論文  参考訳（メタデータ） (2023-10-31T02:07:51Z)
• InfoPrompt: Information-Theoretic Soft Prompt Tuning for Natural Language Understanding [51.48361798508375]
  我々は,プロンプトと他のモデルパラメータ間の相互情報の最大化として,ソフトプロンプトチューニングを定式化する情報理論フレームワークを開発する。 本稿では,インフォプロンプトがプロンプトチューニングの収束を著しく加速し,従来のプロンプトチューニング手法よりも優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-06-08T04:31:48Z)
• Residual Prompt Tuning: Improving Prompt Tuning with Residual Reparameterization [57.379285443780894]
  Residual Prompt Tuningは,プロンプトチューニングの性能と安定性を大幅に向上させる,シンプルで効率的な手法である。 提案手法は,T5-Baseによるプロンプトチューニングよりも+7ポイント向上し,パフォーマンスを損なうことなく,プロンプト長を10倍短縮できることを示す。
  論文  参考訳（メタデータ） (2023-05-06T05:35:14Z)
• PTP: Boosting Stability and Performance of Prompt Tuning with Perturbation-Based Regularizer [94.23904400441957]
  損失景観を平滑化できる摂動型正規化器を即時チューニングに導入する。 我々は乱数ノイズベースと逆数ベースを含む2種類の摂動型正規化器を設計する。 我々の新しいアルゴリズムは,SuperGLUEベンチマークとFewGLUEベンチマークでそれぞれ1.94%,2.34%の最先端のプロンプトチューニング手法を改善した。
  論文  参考訳（メタデータ） (2023-05-03T20:30:51Z)
• Multitask Pre-training of Modular Prompt for Chinese Few-Shot Learning [83.10861551885321]
  本稿では,マルチタスク事前学習型モジュール・プロンプト(MP2)を提案する。 MP2は38の中国語タスクで事前訓練された組み合わせ可能なプロンプトのセットである。 我々は,MP2がプロンプトチューニング,フルモデルチューニング,事前プロンプト事前学習の手法を,数ショット設定で大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-10-14T06:43:42Z)
• Prompt Tuning for Generative Multimodal Pretrained Models [75.44457974275154]
  我々は、理解タスクと生成タスクの両方に適応した統合シーケンス・ツー・シーケンス事前学習モデルに、即時チューニングを実装した。 実験結果から,軽量なプロンプトチューニングはファインタニングで同等の性能を発揮することが示された。 微調整モデルと比較して、プロンプト調整モデルでは敵攻撃に対する堅牢性が改善されている。
  論文  参考訳（メタデータ） (2022-08-04T08:56:38Z)
• PPT: Pre-trained Prompt Tuning for Few-shot Learning [47.05554619258627]
  事前学習された言語モデル(PLM)のプロンプトは、事前学習タスクと様々な下流タスクのギャップを埋めることで、顕著な性能を示している。 これらの手法のうち、PLMを凍結し、ソフトプロンプトのみをチューニングするプロンプトチューニングは、大規模PLMを下流タスクに適用するための効率的かつ効果的なソリューションを提供する。 本研究では,下流データで十分である場合,従来のフルモデルファインチューニングと相容れない性能が得られた。
  論文  参考訳（メタデータ） (2021-09-09T15:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。