論文の概要: SuperPos-Prompt: Enhancing Soft Prompt Tuning of Language Models with Superposition of Multi Token Embeddings

• arxiv url: http://arxiv.org/abs/2406.05279v1
• Date: Fri, 7 Jun 2024 22:18:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 20:34:04.675638
• Title: SuperPos-Prompt: Enhancing Soft Prompt Tuning of Language Models with Superposition of Multi Token Embeddings
• Title（参考訳）: SuperPos-Prompt: マルチトークン埋め込みの重ね合わせによる言語モデルのソフトプロンプトチューニングの強化
• Authors: MohammadAli SadraeiJavaeri, Ehsaneddin Asgari, Alice Carolyn McHardy, Hamid Reza Rabiee,
• Abstract要約: 事前訓練された言語モデルのパラメータ効率チューニングに有効な手法として,ソフトプロンプトチューニング技術が注目を集めている。 ソフトプロンプトの学習を改善するために,複数の事前学習語彙の埋め込みを重畳した新しい再パラメータ化手法であるSuperPos-Promptを導入する。 我々の実験は、Residual Promptチューニングに対するSuperPos-Promptの優位性を常に強調しており、平均スコアはT5-Smallで$6.4$、T5-Baseで$5.0$である。 驚くべきことに、SuperPos-Promptは時々、完全な微調整方法よりも優れています。
• 参考スコア（独自算出の注目度）: 0.7349727826230863
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Soft prompt tuning techniques have recently gained traction as an effective strategy for the parameter-efficient tuning of pretrained language models, particularly minimizing the required adjustment of model parameters. Despite their growing use, achieving optimal tuning with soft prompts, especially for smaller datasets, remains a substantial challenge. This study makes two contributions in this domain: (i) we introduce SuperPos-Prompt, a new reparameterization technique employing the superposition of multiple pretrained vocabulary embeddings to improve the learning of soft prompts. Our experiments across several GLUE and SuperGLUE benchmarks consistently highlight SuperPos-Prompt's superiority over Residual Prompt tuning, exhibiting an average score increase of $+6.4$ in T5-Small and $+5.0$ in T5-Base along with a faster convergence. Remarkably, SuperPos-Prompt occasionally outperforms even full fine-tuning methods. (ii) Additionally, we demonstrate enhanced performance and rapid convergence by omitting dropouts from the frozen network, yielding consistent improvements across various scenarios and tuning methods.
• Abstract（参考訳）: 近年、事前訓練された言語モデルのパラメータ効率チューニングに有効な手法として、特にモデルのパラメータの調整を最小化するために、ソフトプロンプトチューニング技術が注目を集めている。 使用が増加しているにもかかわらず、ソフトプロンプトによる最適なチューニング、特に小さなデータセットの達成は、依然として大きな課題である。 本研究はこの領域に2つの貢献をする。 ソフトプロンプトの学習を改善するために,複数の事前学習語彙の埋め込みを重畳した新しいパラメータ化手法であるSuperPos-Promptを導入する。 いくつかのGLUEおよびSuperGLUEベンチマークによる実験では、Residual Promptチューニングに対するSuperPos-Promptの優位性が一貫して強調され、T5-Smallでは平均スコアが$6.4$、T5-Baseでは$5.0$となり、より高速な収束が見られた。 驚くべきことに、SuperPos-Promptは時々、完全な微調整方法よりも優れています。 さらに,凍結したネットワークからのドロップアウトを省略し,様々なシナリオやチューニング手法に一貫した改善をもたらすことにより,性能の向上と迅速な収束を実証した。

関連論文リスト

• Large Language Models Prompting With Episodic Memory [53.8690170372303]
  本稿では,POEM(PrOmpting with Episodic Memory)を提案する。 テストフェーズでは、各テストクエリのサンプルのシーケンスを最適化し、エピソードメモリにおけるトップkで最も類似したトレーニング例から最も高い合計報酬を得るシーケンスを選択する。 その結果,POEMはテキスト分類タスクにおいてTEMPERAやRLPromptといった最近の技術よりも5.3%向上していることがわかった。
  論文  参考訳（メタデータ） (2024-08-14T11:19:28Z)
• MoPE: Parameter-Efficient and Scalable Multimodal Fusion via Mixture of Prompt Experts [29.46189153751869]
  本稿では,プロンプトチューニングの表現性を高めるために,プロンプトエキスパート(MoPE)技法の混合を導入する。 本手法は, ファインチューニングの性能を即時融合, マッチング, あるいは超越する技術結果を得る。
  論文  参考訳（メタデータ） (2024-03-14T17:47:10Z)
• E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
  新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。 本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。 提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-07-25T19:03:21Z)
• Parameter-efficient Tuning of Large-scale Multimodal Foundation Model [68.24510810095802]
  我々はこれらの課題を克服するために、クロスモーダル転送(Aurora)のための優雅なプロンプトフレームワークを提案する。 既存のアーキテクチャの冗長性を考慮すると、まずモード近似を用いて0.1Mのトレーニング可能なパラメータを生成し、マルチモーダルプロンプトチューニングを実装する。 6つのクロスモーダルベンチマークの徹底的な評価は、最先端のベンチマークを上回るだけでなく、完全な微調整アプローチよりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-05-15T06:40:56Z)
• Residual Prompt Tuning: Improving Prompt Tuning with Residual Reparameterization [57.379285443780894]
  Residual Prompt Tuningは,プロンプトチューニングの性能と安定性を大幅に向上させる,シンプルで効率的な手法である。 提案手法は,T5-Baseによるプロンプトチューニングよりも+7ポイント向上し,パフォーマンスを損なうことなく,プロンプト長を10倍短縮できることを示す。
  論文  参考訳（メタデータ） (2023-05-06T05:35:14Z)
• Unified Vision and Language Prompt Learning [86.1530128487077]
  本稿では,テキストプロンプトチューニングと視覚的プロンプトチューニングという,2つの代表的プロンプトチューニング手法に関する体系的研究を行う。 主要な発見は、テキストプロンプトチューニングは、高いクラス内の視覚的ばらつきを持つデータでは失敗する一方で、視覚的プロンプトチューニングはクラス間のばらつきを低く扱えないことである。 両世界から最高のものを組み合わせるために、我々はUnified Prompt Tuning (UPT)と呼ばれる単純なアプローチを提案する。
  論文  参考訳（メタデータ） (2022-10-13T17:50:24Z)
• Simple and Effective Gradient-Based Tuning of Sequence-to-Sequence Models [8.370770440898454]
  より大きな言語モデルをトレーニングする膨大なコストは、チューニングを違法に高価にする可能性がある。 本稿では,勾配に基づくハイパーパラメータ最適化をシーケンシャル・ツー・シーケンス・タスクに初めて適用する。 ニューラルネットワーク翻訳と自然言語理解(NLU)の両タスクにおいて,強いベースラインに対する効率性と性能の向上を示す。
  論文  参考訳（メタデータ） (2022-09-10T14:52:41Z)
• Prompt Tuning for Generative Multimodal Pretrained Models [75.44457974275154]
  我々は、理解タスクと生成タスクの両方に適応した統合シーケンス・ツー・シーケンス事前学習モデルに、即時チューニングを実装した。 実験結果から,軽量なプロンプトチューニングはファインタニングで同等の性能を発揮することが示された。 微調整モデルと比較して、プロンプト調整モデルでは敵攻撃に対する堅牢性が改善されている。
  論文  参考訳（メタデータ） (2022-08-04T08:56:38Z)
• The Power of Prompt Tuning for Low-Resource Semantic Parsing [10.37371743879877]
  意味解析のためのプロンプトチューニングについて検討する。 大規模なT5モデルの場合(つまり、チューニングの速さが低いデータ構造において微調整を著しく上回っている)。 この最後の結果は、大きなT5モデルが事前学習された分布から遠く離れた配列を生成するように変調できることを示唆している。
  論文  参考訳（メタデータ） (2021-10-16T09:33:09Z)
• The Power of Scale for Parameter-Efficient Prompt Tuning [4.481348281462904]
  プロンプトチューニング」は、特定の下流タスクを実行するために、凍結した言語モデルに「ソフトプロンプト」を学習するための単純なメカニズムである。 我々のエンドツーエンドの学習アプローチは、GPT-3の「ファウショット」学習を大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2021-04-18T03:19:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。