論文の概要: On Transferability of Prompt Tuning for Natural Language Understanding
- arxiv url: http://arxiv.org/abs/2111.06719v1
- Date: Fri, 12 Nov 2021 13:39:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-15 19:24:20.280544
- Title: On Transferability of Prompt Tuning for Natural Language Understanding
- Title（参考訳）: 自然言語理解のためのプロンプトチューニングの伝達性について
- Authors: Yusheng Su, Xiaozhi Wang, Yujia Qin, Chi-Min Chan, Yankai Lin, Zhiyuan
Liu, Peng Li, Juanzi Li, Lei Hou, Maosong Sun, Jie Zhou
- Abstract要約: タスクやモデル間でのソフトプロンプトの転送可能性について検討する。
訓練されたソフトプロンプトは、同様のタスクにうまく移行し、PTを初期化してトレーニングを加速し、パフォーマンスを向上させることができる。
以上の結果から,知識伝達によるPTの改善は可能で有望であり,プロンプトのクロスタスク転送性はクロスモデル転送性よりも良好であることが示唆された。
- 参考スコア（独自算出の注目度）: 63.29235426932978
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prompt tuning (PT) is a promising parameter-efficient method to utilize
extremely large pre-trained language models (PLMs), which could achieve
comparable performance to full-parameter fine-tuning by only tuning a few soft
prompts. However, compared to fine-tuning, PT empirically requires much more
training steps. To explore whether we can improve the efficiency of PT by
reusing trained soft prompts and sharing learned knowledge, we empirically
investigate the transferability of soft prompts across different tasks and
models. In cross-task transfer, we find that trained soft prompts can well
transfer to similar tasks and initialize PT for them to accelerate training and
improve performance. Moreover, to explore what factors influence prompts'
transferability across tasks, we investigate how to measure the prompt
similarity and find that the overlapping rate of activated neurons highly
correlates to the transferability. In cross-model transfer, we explore how to
project the prompts of a PLM to another PLM and successfully train a kind of
projector which can achieve non-trivial transfer performance on similar tasks.
However, initializing PT with the projected prompts does not work well, which
may be caused by optimization preferences and PLMs' high redundancy. Our
findings show that improving PT with knowledge transfer is possible and
promising, while prompts' cross-task transferability is generally better than
the cross-model transferability.
- Abstract（参考訳）: プロンプトチューニング(pt)は、非常に大きな事前学習言語モデル(plm)を活用するためのパラメータ効率の高い手法であり、いくつかのソフトプロンプトをチューニングするだけで、フルパラメータの微調整と同等の性能を達成できる。
しかし、微調整に比べ、PTは経験的により多くのトレーニングステップを必要とする。
訓練されたソフトプロンプトを再利用し、学習知識を共有することによってPTの効率を向上させることができるかを検討するため、異なるタスクやモデル間でのソフトプロンプトの転送可能性について実験的に検討する。
クロスタスク転送では、訓練されたソフトプロンプトが同様のタスクにうまく移行し、PTを初期化してトレーニングを加速し、パフォーマンスを向上させることができる。
さらに,タスク間の伝達可能性にどのような影響を及ぼすかを検討するために,アクティベートニューロンの重なり合う速度が伝達可能性に大きく相関していることを確認する。
クロスモデル転送では、PLMのプロンプトを他のPLMに投影する方法を探索し、同様のタスクで非自明な転送性能を達成できるようなプロジェクタの訓練に成功した。
しかし、PTをプロンプトで初期化することはうまく機能せず、最適化の好みやPLMの高冗長性によって引き起こされる可能性がある。
以上の結果から,知識伝達によるPTの改善は可能で有望であり,プロンプトのクロスタスク転送性はクロスモデル転送性よりも良好であることが示唆された。
関連論文リスト
- Soft Prompt Tuning for Cross-Lingual Transfer: When Less is More [9.230338573494622]
SPT(Soft Prompt Tuning)は、事前訓練された言語モデルを特定のタスクに適応するためのパラメータ効率のよい手法である。
本稿では,言語間移動におけるSPTの可能性について検討する。
論文 参考訳（メタデータ） (2024-02-06T07:52:30Z) - Beyond Anti-Forgetting: Multimodal Continual Instruction Tuning with Positive Forward Transfer [21.57847333976567]
MCIT(Multimodal Continual Instruction Tuning)は、Multimodal Large Language Models(MLLM)が、高価なリトレーニングなしで継続的な要求を満たすことを可能にする。
MCITは、破滅的な忘れ(古い知識が忘れられている)と負の転送という2つの大きな障害に直面している。
本稿では,これらの問題に対処するため,Pwd-Prompt Forward Transfer(Pwd-Prompt)を用いたPrompt Tuningを提案する。
論文 参考訳（メタデータ） (2024-01-17T12:44:17Z) - Efficient Cross-Task Prompt Tuning for Few-Shot Conversational Emotion
Recognition [6.988000604392974]
Emotion Recognition in Conversation (ERC) は感情認識型共感機械の開発において重要であるため、広く研究されている。
対話型感情認識のためのCTPT(Cross-Task Prompt Tuning)と呼ばれる微分自由度最適化手法を提案する。
論文 参考訳（メタデータ） (2023-10-23T06:46:03Z) - DePT: Decomposed Prompt Tuning for Parameter-Efficient Fine-tuning [14.975436239088312]
ソフトプロンプトを短いソフトプロンプトと2つの異なる学習率で最適化された低ランク行列に分解するDePTを提案する。
DePTは、いくつかのシナリオにおいて、完全な微調整ベースラインを含む最先端のPEFTアプローチよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-09-11T00:02:05Z) - Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。
本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
論文 参考訳（メタデータ） (2023-06-27T05:43:47Z) - How Does In-Context Learning Help Prompt Tuning? [55.78535874154915]
微調整された大きな言語モデルは、急速に拡大するスケールのために、ますます実用的ではないものになりつつある。
これはプロンプトチューニング(PT)のようなパラメータ効率のよい適応手法の使用を動機付け、凍ったモデルに少数のチューナブルな埋め込みを追加する。
近年,Singhalら (2022) はPTとICLを組み合わせた命令プロンプトチューニング (IPT) を提案している。
論文 参考訳（メタデータ） (2023-02-22T17:45:12Z) - FPT: Improving Prompt Tuning Efficiency via Progressive Training [84.25195519945215]
本稿では,即時チューニングの訓練効率を向上させるために,Fast Prompt Tuningを提案する。
我々は、FPTが30%以上のトレーニング計算を節約し、同等のパフォーマンスを実現することを示した。
論文 参考訳（メタデータ） (2022-11-13T08:00:29Z) - Identifying Suitable Tasks for Inductive Transfer Through the Analysis
of Feature Attributions [78.55044112903148]
我々は、単一タスクモデル間のニューラルネットワークアクティベーションの比較を通じて、タスクペアが相補的になるかどうかを予測するために、説明可能性技術を使用する。
提案手法により,TREC-IS 2020-Aデータセットでは,正のクラスF1の0.034の削減に留まらず,最大83.5%のトレーニング時間を短縮することが可能である。
論文 参考訳（メタデータ） (2022-02-02T15:51:07Z) - Frustratingly Easy Transferability Estimation [64.42879325144439]
本稿では,TransRate という,シンプルで効率的かつ効果的な転送可能性尺度を提案する。
TransRateは、事前訓練されたモデルによって抽出された対象サンプルの特徴とそれらのラベルとの間の相互情報として、転送可能性を測定する。
10行のコードで並外れた単純さにもかかわらず、TransRateは、22の事前訓練されたモデルと16のダウンストリームタスクに対する広範囲な評価において、非常にうまく機能している。
論文 参考訳（メタデータ） (2021-06-17T10:27:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。