論文の概要: FEUDA: Frustratingly Easy Prompt Based Unsupervised Domain Adaptation

• arxiv url: http://arxiv.org/abs/2401.17514v1
• Date: Wed, 31 Jan 2024 00:15:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-01 16:05:06.062758
• Title: FEUDA: Frustratingly Easy Prompt Based Unsupervised Domain Adaptation
• Title（参考訳）: FEUDA: フラストレーションやすいプロンプトベースの教師なしドメイン適応
• Authors: Rheeya Uppaal, Yixuan Li, Junjie Hu
• Abstract要約: ラベル付きおよびラベル付きの両方の例で自己回帰的LMを訓練する,フラストレーションに易しいUDA法(FEUDA)を提案する。 我々は,24個の実世界のドメインペアに対して,強力なドメイン不変学習法に対する提案手法の有効性を示す広範囲な実験を行った。
• 参考スコア（独自算出の注目度）: 26.360118193761643
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A major thread of unsupervised domain adaptation (UDA) methods uses unlabeled data from both source and target domains to learn domain-invariant representations for adaptation. However, these methods showcase certain limitations, encouraging the use of self-supervised learning through continued pre-training. The necessity of continued pre-training or learning domain-invariant representations is still unclear in the prompt-based classification framework, where an input example is modified by a template and then fed into a language model (LM) to generate a label string. To examine this new paradigm of UDA in the prompt-based setup, we propose a frustratingly easy UDA method (FEUDA) that trains an autoregressive LM on both unlabeled and labeled examples using two different instruction-tuning tasks. Specifically, the first task trains the LM on unlabeled texts from both domains via masked language modeling (MLM), and the other uses supervised instruction-tuning on source-labeled data for classification. We conduct extensive experiments on 24 real-world domain pairs to show the effectiveness of our method over strong domain-invariant learning methods. Our analysis sheds light on why masked language modeling improves target-domain classification performance in prompt-based UDA. We discover that MLM helps the model learn both semantic and background knowledge of a domain, which are both beneficial for downstream classification.
• Abstract（参考訳）: unsupervised domain adaptation(uda)メソッドの主要なスレッドは、ソースとターゲットの両方のドメインからのラベルなしデータを使用して、適応のためのドメイン不変表現を学習する。 しかし、これらの手法には一定の制限があり、継続した事前学習を通じて自己指導型学習を奨励している。 入力例をテンプレートで修正し、言語モデル(LM)に入力してラベル文字列を生成する、プロンプトベースの分類フレームワークでは、継続した事前トレーニングやドメイン不変表現の学習の必要性はまだ不明である。 本稿では,このUDAの新たなパラダイムを即時設定で検証するために,2つの異なる命令チューニングタスクを用いて,ラベル付きおよびラベル付きの両方で自己回帰的LMをトレーニングする,フラストレーションに簡単なUDA手法(FEUDA)を提案する。 特に、最初のタスクは、マスク言語モデリング(mlm)を介して両方のドメインのラベルなしテキストでlmを訓練し、もう一方は分類のためにソースラベルデータに対する教師付き命令チューニングを使用する。 我々は,24個の実世界のドメインペアに対して,強力なドメイン不変学習法に対する提案手法の有効性を示す広範な実験を行った。 本分析では,プロンプトベースUDAにおいて,マスキング言語モデリングがターゲットドメイン分類性能を向上させる理由を考察した。 MLMはドメインのセマンティック知識と背景知識の両方を学ぶのに役立ち、どちらも下流の分類に役立ちます。

関連論文リスト

• Enhancing Domain Adaptation through Prompt Gradient Alignment [16.618313165111793]
  我々は、ドメイン不変性と特定の特徴の両方を学ぶために、素早い学習に基づく一連の作品を開発する。 我々は、UDAを、各目的がドメイン損失で表される多重目的最適化問題とみなした。 提案手法は,異なるUDAベンチマークにおいて,他のプロンプトベースベースラインをはるかに上回っている。
  論文  参考訳（メタデータ） (2024-06-13T17:40:15Z)
• Open-Set Domain Adaptation with Visual-Language Foundation Models [51.49854335102149]
  非教師なしドメイン適応(UDA)は、ソースドメインからラベルのないデータを持つターゲットドメインへの知識の転送に非常に効果的であることが証明されている。 オープンセットドメイン適応(ODA)は、トレーニングフェーズ中にこれらのクラスを識別する潜在的なソリューションとして登場した。
  論文  参考訳（メタデータ） (2023-07-30T11:38:46Z)
• Domain Adaptation with Adversarial Training on Penultimate Activations [82.9977759320565]
  教師なし領域適応(Unsupervised Domain Adaptation, UDA)の重要な目的は、ラベルなし対象データに対するモデル予測の信頼性を高めることである。 我々は,この戦略が,入力画像や中間特徴に対する敵対的訓練よりも予測信頼性を高める目的と,より効率的で相関性が高いことを示す。
  論文  参考訳（メタデータ） (2022-08-26T19:50:46Z)
• Prior Knowledge Guided Unsupervised Domain Adaptation [82.9977759320565]
  本稿では,対象とするクラス分布に関する事前知識を利用できる知識誘導型非教師付きドメイン適応(KUDA)設定を提案する。 特に,対象領域におけるクラス分布に関する2種類の事前知識について考察する。 このような事前知識を用いて生成した擬似ラベルを精査する修正モジュールを提案する。
  論文  参考訳（メタデータ） (2022-07-18T18:41:36Z)
• Connect, Not Collapse: Explaining Contrastive Learning for Unsupervised Domain Adaptation [88.5448806952394]
  我々は、対象ドメインのラベル付きデータと対象ドメインのラベルなしデータを用いて、対象ドメインの分類器を学習する、教師なしドメイン適応(UDA)を考える。 ラベル付きソースとターゲットデータの特徴を学習し,ラベル付きソースデータに微調整を行うコントラスト事前学習は,強いUDA手法と競合することを示す。
  論文  参考訳（メタデータ） (2022-04-01T16:56:26Z)
• Domain Adaptation via Prompt Learning [39.97105851723885]
  Unsupervised Domain Adaption (UDA) は、十分にアノテーションされたソースドメインから学習したモデルをターゲットドメインに適応させることを目的としている。 我々は,Prompt Learning (DAPL) によるドメイン適応という,UDAのための新しいプロンプト学習パラダイムを導入する。
  論文  参考訳（メタデータ） (2022-02-14T13:25:46Z)
• RefRec: Pseudo-labels Refinement via Shape Reconstruction for Unsupervised 3D Domain Adaptation [23.275638060852067]
  RefRecは、ポイントクラウドのためのUDAにおける擬似ラベルと自己学習を調査するための最初のアプローチである。 我々は3Dデータに自己学習を効果的にするための2つの主要なイノベーションを提示する。
  論文  参考訳（メタデータ） (2021-10-21T10:24:05Z)
• Self-Domain Adaptation for Face Anti-Spoofing [31.441928816043536]
  推論時にラベルのないテストドメインデータを利用するための自己ドメイン適応フレームワークを提案する。 トレーニングステップで複数のソースドメインのデータを用いて,メタラーニングに基づく適応学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-24T08:46:39Z)
• Effective Label Propagation for Discriminative Semi-Supervised Domain Adaptation [76.41664929948607]
  半教師付き領域適応(SSDA)法は,大規模な画像分類タスクにおいて大きな可能性を示している。 本稿では、ドメイン間およびドメイン内セマンティック情報を効果的に伝達することにより、この問題に対処する新しい効果的な方法を提案する。 ソースコードと事前訓練されたモデルも間もなくリリースされる予定です。
  論文  参考訳（メタデータ） (2020-12-04T14:28:19Z)
• Class-Incremental Domain Adaptation [56.72064953133832]
  私たちは、CIDA(Class-Incremental Domain Adaptation)と呼ばれる実践的ドメイン適応(DA)パラダイムを導入します。 既存のDAメソッドはドメインシフトに取り組むが、新しいターゲットドメインクラスを学ぶのには適さない。 提案手法は,CIDAパラダイムにおけるDAメソッドとCIメソッドの両方と比較して,優れた性能が得られる。
  論文  参考訳（メタデータ） (2020-08-04T07:55:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。