論文の概要: DePT: Decoupled Prompt Tuning

• arxiv url: http://arxiv.org/abs/2309.07439v2
• Date: Tue, 19 Mar 2024 11:51:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 00:50:27.536196
• Title: DePT: Decoupled Prompt Tuning
• Title（参考訳）: DePT: 切り離されたプロンプトチューニング
• Authors: Ji Zhang, Shihan Wu, Lianli Gao, Heng Tao Shen, Jingkuan Song,
• Abstract要約: この作業は、即時チューニングにおいてBase-New Tradeoff (BNT)ジレンマを突破する。 チューニングされたモデルがベースタスクに一般化されるほど、それが新しいタスクに一般化される。 提案するDecoupled Prompt Tuning (DePT) フレームワークは,プロンプトチューニング中に特徴チャネルから独立した特徴空間へベース固有の知識を分離する。
• 参考スコア（独自算出の注目度）: 124.58877816753824
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work breaks through the Base-New Tradeoff (BNT)dilemma in prompt tuning, i.e., the better the tuned model generalizes to the base (or target) task, the worse it generalizes to new tasks, and vice versa. Specifically, through an in-depth analysis of the learned features of the base and new tasks, we observe that the BNT stems from a channel bias issue, i.e., the vast majority of feature channels are occupied by base-specific knowledge, resulting in the collapse of taskshared knowledge important to new tasks. To address this, we propose the Decoupled Prompt Tuning (DePT) framework, which decouples base-specific knowledge from feature channels into an isolated feature space during prompt tuning, so as to maximally preserve task-shared knowledge in the original feature space for achieving better zero-shot generalization on new tasks. Importantly, our DePT is orthogonal to existing prompt tuning methods, hence it can improve all of them. Extensive experiments on 11 datasets show the strong flexibility and effectiveness of DePT. Our code and pretrained models are available at https://github.com/Koorye/DePT.
• Abstract（参考訳）: この作業は、即時チューニングにおいてベース・ニュートレードオフ(BNT)ジレンマ(英語版)を突破し、すなわち、チューニングされたモデルがベース(またはターゲット)タスクに一般化するほど、それが新しいタスクに一般化されるほど、その逆である。 具体的には、基礎の学習した特徴と新しいタスクの詳細な分析を通して、BNTはチャネルバイアスの問題、すなわち、ほとんどの特徴チャネルがベース固有の知識によって占められていることから、新しいタスクにとって重要なタスクハザード知識が崩壊するのを観察する。 これを解決するために,Decoupled Prompt Tuning (DePT) フレームワークを提案する。これは,特徴チャネルからのベース固有知識を即時チューニング中に分離された特徴空間に分離することで,タスク共有知識を元の特徴空間に最大に保存し,新しいタスクのゼロショットの一般化を向上する。 重要なことは、DePTは既存のプロンプトチューニング手法と直交しているため、それらすべてを改善することができる。 11のデータセットに対する大規模な実験は、DePTの柔軟性と有効性を示している。 私たちのコードと事前訓練されたモデルはhttps://github.com/Koorye/DePT.orgで公開されています。

関連論文リスト

• DeCoOp: Robust Prompt Tuning with Out-of-Distribution Detection [52.100335904875614]
  そこで我々は,新しいクラス検出器とサブクラス化器を導入し,基本クラスと新クラスの識別性をさらに向上させる,新しいプロンプトチューニング手法であるDecomposed Context Optimization(DeCoOp)を提案する。 11のベンチマークデータセットによる実験結果から、DePTの有効性が検証され、DeCoOpが現在の最先端手法よりも優れており、平均精度が2%向上していることが示された。
  論文  参考訳（メタデータ） (2024-06-01T07:46:42Z)
• NC-TTT: A Noise Contrastive Approach for Test-Time Training [19.0284321951354]
  ノイズコントラストテストタイムトレーニング(NC-TTT)は,ノイズの特徴マップの識別に基づく非教師なしTTT技術である。 予測された特徴写像のノイズの多いビューを分類し、新しい領域に応じてモデルを適応させることで、分類性能を重要なマージンで回復させることができる。
  論文  参考訳（メタデータ） (2024-04-12T10:54:11Z)
• Exploring Efficient Few-shot Adaptation for Vision Transformers [70.91692521825405]
  そこで本稿では,Few-shot LearningタスクにおけるVTの微調整を容易にするトランスフォーマーチューニング(eTT)手法を提案する。 新しく発表されたAttentive Prefix Tuning(APT)とDomain Residual Adapter(DRA)の主な新機能 我々は,我々のモデルの有効性を示す広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-01-06T08:42:05Z)
• Task Residual for Tuning Vision-Language Models [69.22958802711017]
  タスク残差調整(TaskRes)と呼ばれる視覚言語モデル(VLM)のための新しい効率的なチューニング手法を提案する。 TaskResは、トレーニング済みモデルの事前知識とターゲットタスクに関する新たな知識を明示的に分離する。 提案されたTaskResは単純だが有効であり、11のベンチマークデータセットで以前のメソッドよりも大幅に上回っている。
  論文  参考訳（メタデータ） (2022-11-18T15:09:03Z)
• No More Fine-Tuning? An Experimental Evaluation of Prompt Tuning in Code Intelligence [33.438384268490815]
  本稿では,コードインテリジェンスタスクにおける即時チューニングの使用と効果を実証的に評価する。 本結果から,3つのタスクの微調整性能は,逐次チューニングが連続的に向上していることが示唆された。 我々の結果は、微調整の代わりに、コードインテリジェンスタスクの迅速なチューニングに適応して、より良いパフォーマンスを実現することができることを示唆している。
  論文  参考訳（メタデータ） (2022-07-24T07:29:17Z)
• Exploring Low-dimensional Intrinsic Task Subspace via Prompt Tuning [70.76016793057283]
  本研究では,事前学習型言語モデル(PLM)が普遍表現を学習し,異なる幅広いNLPタスクに効果的に適用する方法について検討する。 実験では,100個のランダムタスクを持つ5次元部分空間において,5つの自由パラメータをチューニングするだけで,全プロンプトチューニング性能の87%と65%を回復できることがわかった。
  論文  参考訳（メタデータ） (2021-10-15T05:43:59Z)
• Iterative Network Pruning with Uncertainty Regularization for Lifelong Sentiment Classification [25.13885692629219]
  ディープラーニングにとって、生涯学習は簡単ではない。 本稿では,生涯的感情分類のための不確実性正則化手法を用いた新しい反復型ネットワークプルーニングを提案する。
  論文  参考訳（メタデータ） (2021-06-21T15:34:13Z)
• Generalized Hindsight for Reinforcement Learning [154.0545226284078]
  1つのタスクを解決しようとするときに収集された低リワードデータは、そのタスクを解決するための信号をほとんど、あるいは全く提供しない、と我々は主張する。 本稿では,動作を適切なタスクで再現するための近似逆強化学習手法であるGeneralized Hindsightを提案する。
  論文  参考訳（メタデータ） (2020-02-26T18:57:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。