論文の概要: FEUDA: Frustratingly Easy Prompt Based Unsupervised Domain Adaptation
- arxiv url: http://arxiv.org/abs/2401.17514v1
- Date: Wed, 31 Jan 2024 00:15:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-01 16:05:06.062758
- Title: FEUDA: Frustratingly Easy Prompt Based Unsupervised Domain Adaptation
- Title(参考訳): FEUDA: フラストレーションやすいプロンプトベースの教師なしドメイン適応
- Authors: Rheeya Uppaal, Yixuan Li, Junjie Hu
- Abstract要約: ラベル付きおよびラベル付きの両方の例で自己回帰的LMを訓練する,フラストレーションに易しいUDA法(FEUDA)を提案する。
我々は,24個の実世界のドメインペアに対して,強力なドメイン不変学習法に対する提案手法の有効性を示す広範囲な実験を行った。
- 参考スコア(独自算出の注目度): 26.360118193761643
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A major thread of unsupervised domain adaptation (UDA) methods uses unlabeled
data from both source and target domains to learn domain-invariant
representations for adaptation. However, these methods showcase certain
limitations, encouraging the use of self-supervised learning through continued
pre-training. The necessity of continued pre-training or learning
domain-invariant representations is still unclear in the prompt-based
classification framework, where an input example is modified by a template and
then fed into a language model (LM) to generate a label string. To examine this
new paradigm of UDA in the prompt-based setup, we propose a frustratingly easy
UDA method (FEUDA) that trains an autoregressive LM on both unlabeled and
labeled examples using two different instruction-tuning tasks. Specifically,
the first task trains the LM on unlabeled texts from both domains via masked
language modeling (MLM), and the other uses supervised instruction-tuning on
source-labeled data for classification. We conduct extensive experiments on 24
real-world domain pairs to show the effectiveness of our method over strong
domain-invariant learning methods. Our analysis sheds light on why masked
language modeling improves target-domain classification performance in
prompt-based UDA. We discover that MLM helps the model learn both semantic and
background knowledge of a domain, which are both beneficial for downstream
classification.
- Abstract(参考訳): unsupervised domain adaptation(uda)メソッドの主要なスレッドは、ソースとターゲットの両方のドメインからのラベルなしデータを使用して、適応のためのドメイン不変表現を学習する。
しかし、これらの手法には一定の制限があり、継続した事前学習を通じて自己指導型学習を奨励している。
入力例をテンプレートで修正し、言語モデル(LM)に入力してラベル文字列を生成する、プロンプトベースの分類フレームワークでは、継続した事前トレーニングやドメイン不変表現の学習の必要性はまだ不明である。
本稿では,このUDAの新たなパラダイムを即時設定で検証するために,2つの異なる命令チューニングタスクを用いて,ラベル付きおよびラベル付きの両方で自己回帰的LMをトレーニングする,フラストレーションに簡単なUDA手法(FEUDA)を提案する。
特に、最初のタスクは、マスク言語モデリング(mlm)を介して両方のドメインのラベルなしテキストでlmを訓練し、もう一方は分類のためにソースラベルデータに対する教師付き命令チューニングを使用する。
我々は,24個の実世界のドメインペアに対して,強力なドメイン不変学習法に対する提案手法の有効性を示す広範な実験を行った。
本分析では,プロンプトベースUDAにおいて,マスキング言語モデリングがターゲットドメイン分類性能を向上させる理由を考察した。
MLMはドメインのセマンティック知識と背景知識の両方を学ぶのに役立ち、どちらも下流の分類に役立ちます。
関連論文リスト
- UDApter -- Efficient Domain Adaptation Using Adapters [29.70751969196527]
教師なし領域適応をより効率的にするための2つの手法を提案する。
最初のメソッドは、UDAを2段階のプロセスに分解する。
私たちは、完全なモデルパラメータのごく一部を微調整することで、自然言語推論タスクの0.85% F1以内です。
論文 参考訳(メタデータ) (2023-02-07T02:04:17Z) - Decorate the Newcomers: Visual Domain Prompt for Continual Test Time
Adaptation [14.473807945791132]
Continual Test-Time Adaptation (CTTA) は、ソースデータにアクセスすることなく、ラベルなしのターゲットドメインを継続的に変更することを目的としている。
そこで本論文では,NLPにおける素早い学習によって動機づけられた画像レベルの視覚領域プロンプトを,ソースモデルパラメータを凍結させながら学習することを提案する。
論文 参考訳(メタデータ) (2022-12-08T08:56:02Z) - Prior Knowledge Guided Unsupervised Domain Adaptation [82.9977759320565]
本稿では,対象とするクラス分布に関する事前知識を利用できる知識誘導型非教師付きドメイン適応(KUDA)設定を提案する。
特に,対象領域におけるクラス分布に関する2種類の事前知識について考察する。
このような事前知識を用いて生成した擬似ラベルを精査する修正モジュールを提案する。
論文 参考訳(メタデータ) (2022-07-18T18:41:36Z) - Boosting Cross-Domain Speech Recognition with Self-Supervision [35.01508881708751]
自動音声認識(ASR)のクロスドメイン性能は,トレーニングとテストのミスマッチにより著しく損なわれる可能性がある。
従来, 自己監督学習 (SSL) や擬似ラベル学習 (PL) は, 未ラベルデータの自己監督を利用してUDAに有効であることが示された。
この研究は、事前学習および微調整のパラダイムにおいて、ラベルなしデータを完全に活用する体系的なUDAフレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-20T14:02:53Z) - Target and Task specific Source-Free Domain Adaptive Image Segmentation [73.78898054277538]
ソースフリー領域適応画像分割のための2段階のアプローチを提案する。
我々は,高エントロピー領域を抑えつつ,ターゲット固有の擬似ラベルを生成することに注力する。
第2段階では、タスク固有の表現にネットワークを適用することに重点を置いている。
論文 参考訳(メタデータ) (2022-03-29T17:50:22Z) - Domain Adaptation via Prompt Learning [39.97105851723885]
Unsupervised Domain Adaption (UDA) は、十分にアノテーションされたソースドメインから学習したモデルをターゲットドメインに適応させることを目的としている。
我々は,Prompt Learning (DAPL) によるドメイン適応という,UDAのための新しいプロンプト学習パラダイムを導入する。
論文 参考訳(メタデータ) (2022-02-14T13:25:46Z) - Cross-domain Contrastive Learning for Unsupervised Domain Adaptation [108.63914324182984]
教師なしドメイン適応(Unsupervised domain adapt、UDA)は、完全にラベル付けされたソースドメインから異なるラベル付けされていないターゲットドメインに学習した知識を転送することを目的としている。
対照的な自己教師型学習に基づいて、トレーニングとテストセット間のドメインの相違を低減するために、機能を整列させます。
論文 参考訳(メタデータ) (2021-06-10T06:32:30Z) - Contrastive Learning and Self-Training for Unsupervised Domain
Adaptation in Semantic Segmentation [71.77083272602525]
UDAはラベル付きソースドメインからラベルなしターゲットドメインへの効率的な知識伝達を試みている。
本稿では,領域にまたがるカテゴリ別センタロイドを適応させるコントラスト学習手法を提案する。
提案手法を自己学習で拡張し,メモリ効率の良い時間アンサンブルを用いて一貫性と信頼性の高い擬似ラベルを生成する。
論文 参考訳(メタデータ) (2021-05-05T11:55:53Z) - Your Classifier can Secretly Suffice Multi-Source Domain Adaptation [72.47706604261992]
マルチソースドメイン適応(MSDA)は、複数のラベル付きソースドメインからラベルなしターゲットドメインへのタスク知識の転送を扱う。
ラベル管理下のドメインを暗黙的に整列させる深層モデルが観察されるMSDAに対して、異なる視点を提示する。
論文 参考訳(メタデータ) (2021-03-20T12:44:13Z) - Class-Incremental Domain Adaptation [56.72064953133832]
私たちは、CIDA(Class-Incremental Domain Adaptation)と呼ばれる実践的ドメイン適応(DA)パラダイムを導入します。
既存のDAメソッドはドメインシフトに取り組むが、新しいターゲットドメインクラスを学ぶのには適さない。
提案手法は,CIDAパラダイムにおけるDAメソッドとCIメソッドの両方と比較して,優れた性能が得られる。
論文 参考訳(メタデータ) (2020-08-04T07:55:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。