論文の概要: Retrieval of Soft Prompt Enhances Zero-Shot Task Generalization

• arxiv url: http://arxiv.org/abs/2210.03029v1
• Date: Thu, 6 Oct 2022 16:26:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 15:25:28.801996
• Title: Retrieval of Soft Prompt Enhances Zero-Shot Task Generalization
• Title（参考訳）: ゼロショットタスクの一般化を促すソフトプロンプトの検索
• Authors: Seonghyeon Ye, Joel Jang, Doyoung Kim, Yongrae Jo, Minjoon Seo
• Abstract要約: 我々は,各プロンプトに対するソフトなプロンプト埋め込みを,プロンプトチューニングを通じて訓練する。 推論中に、クエリインスタンスに最も近いトレーニングインスタンスの対応するプロンプト埋め込みを検索する。 結果は、この単純なアプローチにより、目に見えないタスクにおけるT0の性能が向上することを示している。
• 参考スコア（独自算出の注目度）: 20.489236529379983
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: During zero-shot inference with language models (LMs), using hard prompts alone may not be able to fully describe the target task. In this paper, we explore how the retrieval of soft prompts obtained through prompt tuning can assist hard prompts in zero-shot task generalization. Specifically, we train soft prompt embeddings for each prompt through prompt tuning, store the samples of the training instances (hard prompt + input instances) mapped with the prompt embeddings, and retrieve the corresponding prompt embedding of the training instance closest to the query instance during inference. Results show this simple approach enhances the performance of T0 on unseen tasks by outperforming it on 10 out of 11 datasets as well as improving the mean accuracy of T0 on BIG-bench benchmark by 2.39% points while adding only 0.007% additional parameters. Also, using interpolation of multiple embeddings and variance-based ranking further improve accuracy and robustness to different evaluation prompts, widening the performance gap. Finally, we find that retrieving source embeddings trained on similar answer choice formats is more important than those on similar task types. Model checkpoints and code implementation are available at https://github.com/seonghyeonye/RoSPr.
• Abstract（参考訳）: 言語モデル(LM)によるゼロショット推論では、ハードプロンプトだけでターゲットタスクを完全に記述することはできない。 本稿では,ゼロショットタスクの一般化において,プロンプトチューニングによって得られるソフトプロンプトの検索がハードプロンプトにどのように役立つかを検討する。 具体的には、プロンプトチューニングを通じて各プロンプトに対するソフトプロンプト埋め込みをトレーニングし、プロンプト埋め込みにマップされたトレーニングインスタンス(ハードプロンプト+インプットインスタンス)のサンプルを格納し、推論中にクエリインスタンスに最も近いトレーニングインスタンスの対応するプロンプト埋め込みを検索する。 その結果、この単純なアプローチは、11のデータセットのうち10のデータセットでパフォーマンスを向上し、BIG-benchベンチマークでのT0の平均精度を2.39%改善し、0.007%の追加パラメータしか追加しなかった。 また、複数埋め込みの補間と分散に基づくランク付けにより、異なる評価プロンプトに対する精度と堅牢性が向上し、性能ギャップが拡大する。 最後に、類似の回答選択フォーマットで訓練されたソース埋め込みの検索が、類似のタスクタイプよりも重要であることを発見した。 モデルチェックポイントとコードの実装はhttps://github.com/seonghyeonye/RoSPr.comで公開されている。

関連論文リスト

• Revisiting the Power of Prompt for Visual Tuning [50.11465784194896]
  本研究では,プロンプトとパッチトークンの相互関係について検討した。 プロンプトトークンはパッチトークンと高い相互情報を共有する傾向にあるという観測から着想を得て,下流トークンのプロトタイプを用いた初期化プロンプトを提案する。 本手法は, 自己指導型プレトレーニングの適応性を著しく向上させ, 少なくとも10%から30%のタスク性能向上を実現した。
  論文  参考訳（メタデータ） (2024-02-04T07:49:02Z)
• InfoPrompt: Information-Theoretic Soft Prompt Tuning for Natural Language Understanding [51.48361798508375]
  我々は,プロンプトと他のモデルパラメータ間の相互情報の最大化として,ソフトプロンプトチューニングを定式化する情報理論フレームワークを開発する。 本稿では,インフォプロンプトがプロンプトチューニングの収束を著しく加速し,従来のプロンプトチューニング手法よりも優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-06-08T04:31:48Z)
• Test-Time Prompt Tuning for Zero-Shot Generalization in Vision-Language Models [107.05966685291067]
  テスト時間プロンプトチューニング (TPT) を提案し, 適応的なプロンプトを1つのテストサンプルで学習する。 TPTはCLIPのゼロショットトップ1の精度を平均3.6%改善する。 クロスデータセットの一般化を目に見えないカテゴリで評価する際、PTは追加のトレーニングデータを使用する最先端のアプローチと同等に機能する。
  論文  参考訳（メタデータ） (2022-09-15T17:55:11Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• Prompt Consistency for Zero-Shot Task Generalization [118.81196556175797]
  本稿では,ラベルのないデータを用いてゼロショット性能を向上させる手法について検討する。 具体的には,複数のプロンプトを使ってひとつのタスクを指定できることを利用して,プロンプトの一貫性を規則化する手法を提案する。 我々のアプローチは、4つのNLPタスクにまたがる11のデータセットのうち9つにおいて、最先端のゼロショット学習者であるT0を精度で最大10.6の絶対点で上回ります。
  論文  参考訳（メタデータ） (2022-04-29T19:18:37Z)
• ZeroPrompt: Scaling Prompt-Based Pretraining to 1,000 Tasks Improves Zero-Shot Generalization [15.28478657477945]
  タスクスケーリングとゼロショットプロンプトに着目し,ゼロショット一般化のためのZeroPromptを提案する。 FLOPでは,タスクスケーリングによってトレーニング効率が30倍向上することを示す。 また、遺伝的アルゴリズムを組み込んだプロンプト手法を提案し、未知のタスクに対して最適なプロンプトを自動検索する。
  論文  参考訳（メタデータ） (2022-01-18T12:30:17Z)
• PPT: Pre-trained Prompt Tuning for Few-shot Learning [47.05554619258627]
  事前学習された言語モデル(PLM)のプロンプトは、事前学習タスクと様々な下流タスクのギャップを埋めることで、顕著な性能を示している。 これらの手法のうち、PLMを凍結し、ソフトプロンプトのみをチューニングするプロンプトチューニングは、大規模PLMを下流タスクに適用するための効率的かつ効果的なソリューションを提供する。 本研究では,下流データで十分である場合,従来のフルモデルファインチューニングと相容れない性能が得られた。
  論文  参考訳（メタデータ） (2021-09-09T15:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。