論文の概要: Improving the Sample Efficiency of Prompt Tuning with Domain Adaptation

• arxiv url: http://arxiv.org/abs/2210.02952v1
• Date: Thu, 6 Oct 2022 14:44:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 16:26:18.891044
• Title: Improving the Sample Efficiency of Prompt Tuning with Domain Adaptation
• Title（参考訳）: ドメイン適応によるプロンプトチューニングのサンプル効率の改善
• Authors: Xu Guo, Boyang Li, Han Yu
• Abstract要約: 本研究では,ソースとターゲットデータ分布が類似した領域を中心に,決定境界をスムーズに調整するdoMain Adaptation (OPTIMA)を提案する。 OPTIMAは、強いベースラインと比較して、プロンプトチューニングの転送性とサンプル効率を著しく向上させる。
• 参考スコア（独自算出の注目度）: 15.388175691903252
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt tuning, or the conditioning of a frozen pretrained language model (PLM) with soft prompts learned from data, has demonstrated impressive performance on a wide range of NLP tasks. However, prompt tuning requires a large training dataset to be effective and is outperformed by finetuning the entire PLM in data-scarce regimes. Previous work \citep{gu-etal-2022-ppt,vu-etal-2022-spot} proposed to transfer soft prompts pretrained on the source domain to the target domain. In this paper, we explore domain adaptation for prompt tuning, a problem setting where unlabeled data from the target domain are available during pretraining. We propose bOosting Prompt TunIng with doMain Adaptation (OPTIMA), which regularizes the decision boundary to be smooth around regions where source and target data distributions are similar. Extensive experiments demonstrate that OPTIMA significantly enhances the transferability and sample-efficiency of prompt tuning compared to strong baselines. Moreover, in few-shot settings, OPTIMA exceeds full-model tuning by a large margin.
• Abstract（参考訳）: データから学習したソフトプロンプトを備えたフリーズプレトレーニング言語モデル(PLM)のプロンプトチューニング(Prompt tuning)は、幅広いNLPタスクにおいて印象的なパフォーマンスを示す。 しかし、プロンプトチューニングでは、大規模なトレーニングデータセットを有効にし、データスカース方式でPLM全体を微調整することで性能が向上する。 以前の研究 \citep{gu-etal-2022-ppt,vu-etal-2022-spot} では、ソースドメイン上で事前訓練されたソフトプロンプトをターゲットドメインに転送することを提案した。 本稿では,事前学習中に対象領域からラベルなしのデータが得られる問題設定であるプロンプトチューニングのためのドメイン適応について検討する。 本稿では,ソースとターゲットデータ分布が類似する領域をスムースに決定境界を定式化する,ドメイン適応によるプロンプトチューニング(optima)を提案する。 広汎な実験により,OPTIMAは強いベースラインと比較して,プロンプトチューニングの伝達性と試料効率を著しく向上することが示された。 さらに、数ショット設定では、OPTIMAはフルモデルのチューニングを大きなマージンで上回る。

関連論文リスト

• Generating Synthetic Datasets for Few-shot Prompt Tuning [48.10054761841462]
  数ショットの学習設定では、フルモデルの微調整よりもはるかに遅れて、アプリケーションのスコープが制限される。 本稿では,ソフトプロンプトを学習するために,強力なLCMを用いてタスク固有のラベル付きデータを合成する。 我々は、勾配手術アプローチを用いて、合成データセットと実データセットの両方でソフトプロンプトを訓練する。
  論文  参考訳（メタデータ） (2024-10-08T01:00:02Z)
• Test-Time Low Rank Adaptation via Confidence Maximization for Zero-Shot Generalization of Vision-Language Models [4.655740975414312]
  本稿では,大規模視覚言語モデル(VLM)のゼロショット一般化のための高速チューニングの代替として,テスト時間低ランク適応(TTL)を提案する。 TTLは、予測信頼度を最大化することにより、変圧器の注意重みを更新するテスト時間効率適応手法を提供する。
  論文  参考訳（メタデータ） (2024-07-22T17:59:19Z)
• Better Practices for Domain Adaptation [62.70267990659201]
  ドメイン適応(DA)は、ラベルを使わずに、モデルを配置データに適用するためのフレームワークを提供することを目的としている。 DAの明確な検証プロトコルは、文献の悪い実践につながっている。 ドメイン適応手法の3つの分野にまたがる課題を示す。
  論文  参考訳（メタデータ） (2023-09-07T17:44:18Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• Automatic Data Augmentation for Domain Adapted Fine-Tuning of Self-Supervised Speech Representations [21.423349835589793]
  SSL(Self-Supervised Learning)は、大量のラベルのない音声データを活用して音声認識モデルの性能を向上させる。 これにもかかわらず、プレトレーニングとターゲットデータセットの音響ミスマッチに直面しながら、音声SSL表現が失敗する可能性がある。 音響領域におけるそのようなミスマッチを示すケースを対象とした,新しい教師付きドメイン適応手法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T09:30:49Z)
• Active Finetuning: Exploiting Annotation Budget in the Pretraining-Finetuning Paradigm [132.9949120482274]
  本稿では,事前学習ファインタニングパラダイムにおけるアノテーションのためのサンプルの選択に焦点を当てる。 本研究では,アクティブな微調整タスクのためのActiveFTと呼ばれる新しい手法を提案する。 画像分類とセマンティックセグメンテーションの両方に基づくベースラインよりも優れたActiveFTの先行性能と高効率性を示す。
  論文  参考訳（メタデータ） (2023-03-25T07:17:03Z)
• MADAv2: Advanced Multi-Anchor Based Active Domain Adaptation Segmentation [98.09845149258972]
  セマンティックセグメンテーションタスクに関するドメイン適応を支援するために,アクティブなサンプル選択を導入する。 これらのサンプルを手動でアノテートする作業量が少ないため、ターゲット領域分布の歪みを効果的に緩和することができる。 長期分布問題を緩和するために、強力な半教師付きドメイン適応戦略を提案する。
  論文  参考訳（メタデータ） (2023-01-18T07:55:22Z)
• Visual Prompt Tuning for Test-time Domain Adaptation [48.16620171809511]
  本稿では,2つの重要な要素を持つデータ効率・プロンプト・チューニング(DePT)と呼ばれる簡単なレシピを提案する。 このようなパラメータ効率の良い微調整は,学習対象の雑音に過度に適応することなく,モデル表現を対象領域に効率よく適応させることができる。 パラメータがはるかに少ないため、DePTは主要な適応ベンチマークにおける最先端のパフォーマンスだけでなく、優れたデータ効率を示す。
  論文  参考訳（メタデータ） (2022-10-10T16:45:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。