論文の概要: DePT: Decoupled Prompt Tuning
- arxiv url: http://arxiv.org/abs/2309.07439v1
- Date: Thu, 14 Sep 2023 05:45:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-15 16:09:24.767206
- Title: DePT: Decoupled Prompt Tuning
- Title(参考訳): DePT: 切り離されたプロンプトチューニング
- Authors: Ji Zhang, Shihan Wu, Lianli Gao, Hengtao Shen, Jingkuan Song
- Abstract要約: この作業は、即時チューニングにおいてBase-New Tradeoff (BNT)ジレンマを突破する。
チューニングされたモデルがベースタスクに一般化されるほど、それが新しいタスクに一般化される。
提案するDecoupled Prompt Tuning (DePT) フレームワークは,プロンプトチューニング中に特徴チャネルから独立した特徴空間へベース固有の知識を分離する。
- 参考スコア(独自算出の注目度): 133.66456658498961
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This work breaks through the Base-New Tradeoff (BNT)dilemma in prompt tuning,
i.e., the better the tuned model generalizes to the base (or target) task, the
worse it generalizes to new tasks, and vice versa. Specifically, through an
in-depth analysis of the learned features of the base and new tasks, we observe
that the BNT stems from a channel bias issue, i.e., the vast majority of
feature channels are occupied by base-specific knowledge, resulting in the
collapse of taskshared knowledge important to new tasks. To address this, we
propose the Decoupled Prompt Tuning (DePT) framework, which decouples
base-specific knowledge from feature channels into an isolated feature space
during prompt tuning, so as to maximally preserve task-shared knowledge in the
original feature space for achieving better zero-shot generalization on new
tasks. Importantly, our DePT is orthogonal to existing prompt tuning methods,
hence it can improve all of them. Extensive experiments on 11 datasets show the
strong flexibility and effectiveness of DePT. Our code and pretrained models
are available at https://github.com/Koorye/DePT.
- Abstract(参考訳): この作業は、プロンプトチューニングにおけるベース・ニュー・トレードオフ(bnt)のジレンマ、すなわち、チューニングされたモデルがベース(またはターゲット)タスクに一般化するほど、新しいタスクに一般化するほど、そしてその逆である。
具体的には、基礎の学習した特徴と新しいタスクの詳細な分析を通して、BNTはチャネルバイアスの問題、すなわち、ほとんどの特徴チャネルがベース固有の知識によって占められていることから、新しいタスクにとって重要なタスクハザード知識が崩壊するのを観察する。
そこで本稿では,新しいタスクのゼロショット一般化を実現するために,タスク共有知識を元の機能空間に最大に保存するため,プロンプトチューニング中に,機能チャネルから独立した機能空間へベース固有の知識を分離するdept(decoupled prompt tuning)フレームワークを提案する。
重要なことは、DePTは既存のプロンプトチューニング手法と直交しているため、それらすべてを改善することができる。
11のデータセットに関する広範な実験は、deptの柔軟性と有効性を示している。
私たちのコードと事前トレーニングされたモデルは、https://github.com/koorye/dept.comで利用可能です。
関連論文リスト
- Learning to Initialize: Can Meta Learning Improve Cross-task
Generalization in Prompt Tuning? [37.522581151997734]
タスク毎に追加のトークン列の埋め込みをチューニングするプロンプトチューニング(PT)は、数ショット学習において顕著なパフォーマンスを示している。
我々はメタプロンプト・チューニング(MPT)について研究し、メタ学習が(可能であれば)クロスタスクの一般化にどう役立つかを探る。
論文 参考訳(メタデータ) (2023-02-16T08:37:22Z) - Exploring Efficient Few-shot Adaptation for Vision Transformers [70.91692521825405]
そこで本稿では,Few-shot LearningタスクにおけるVTの微調整を容易にするトランスフォーマーチューニング(eTT)手法を提案する。
新しく発表されたAttentive Prefix Tuning(APT)とDomain Residual Adapter(DRA)の主な新機能
我々は,我々のモデルの有効性を示す広範囲な実験を行った。
論文 参考訳(メタデータ) (2023-01-06T08:42:05Z) - Task Residual for Tuning Vision-Language Models [69.22958802711017]
タスク残差調整(TaskRes)と呼ばれる視覚言語モデル(VLM)のための新しい効率的なチューニング手法を提案する。
TaskResは、トレーニング済みモデルの事前知識とターゲットタスクに関する新たな知識を明示的に分離する。
提案されたTaskResは単純だが有効であり、11のベンチマークデータセットで以前のメソッドよりも大幅に上回っている。
論文 参考訳(メタデータ) (2022-11-18T15:09:03Z) - Test-Time Prompt Tuning for Zero-Shot Generalization in Vision-Language
Models [107.05966685291067]
テスト時間プロンプトチューニング (TPT) を提案し, 適応的なプロンプトを1つのテストサンプルで学習する。
TPTはCLIPのゼロショットトップ1の精度を平均3.6%改善する。
クロスデータセットの一般化を目に見えないカテゴリで評価する際、PTは追加のトレーニングデータを使用する最先端のアプローチと同等に機能する。
論文 参考訳(メタデータ) (2022-09-15T17:55:11Z) - No More Fine-Tuning? An Experimental Evaluation of Prompt Tuning in Code
Intelligence [33.438384268490815]
本稿では,コードインテリジェンスタスクにおける即時チューニングの使用と効果を実証的に評価する。
本結果から,3つのタスクの微調整性能は,逐次チューニングが連続的に向上していることが示唆された。
我々の結果は、微調整の代わりに、コードインテリジェンスタスクの迅速なチューニングに適応して、より良いパフォーマンスを実現することができることを示唆している。
論文 参考訳(メタデータ) (2022-07-24T07:29:17Z) - Exploring Low-dimensional Intrinsic Task Subspace via Prompt Tuning [70.76016793057283]
本研究では,事前学習型言語モデル(PLM)が普遍表現を学習し,異なる幅広いNLPタスクに効果的に適用する方法について検討する。
実験では,100個のランダムタスクを持つ5次元部分空間において,5つの自由パラメータをチューニングするだけで,全プロンプトチューニング性能の87%と65%を回復できることがわかった。
論文 参考訳(メタデータ) (2021-10-15T05:43:59Z) - Iterative Network Pruning with Uncertainty Regularization for Lifelong
Sentiment Classification [25.13885692629219]
ディープラーニングにとって、生涯学習は簡単ではない。
本稿では,生涯的感情分類のための不確実性正則化手法を用いた新しい反復型ネットワークプルーニングを提案する。
論文 参考訳(メタデータ) (2021-06-21T15:34:13Z) - Generalized Hindsight for Reinforcement Learning [154.0545226284078]
1つのタスクを解決しようとするときに収集された低リワードデータは、そのタスクを解決するための信号をほとんど、あるいは全く提供しない、と我々は主張する。
本稿では,動作を適切なタスクで再現するための近似逆強化学習手法であるGeneralized Hindsightを提案する。
論文 参考訳(メタデータ) (2020-02-26T18:57:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。