論文の概要: How Useful is Continued Pre-Training for Generative Unsupervised Domain Adaptation?

• arxiv url: http://arxiv.org/abs/2401.17514v2
• Date: Mon, 1 Apr 2024 20:40:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 08:49:40.032135
• Title: How Useful is Continued Pre-Training for Generative Unsupervised Domain Adaptation?
• Title（参考訳）: 生成的非教師付きドメイン適応のための事前学習はどの程度有用か?
• Authors: Rheeya Uppaal, Yixuan Li, Junjie Hu,
• Abstract要約: 生成型UDAにおけるCPT(Continuoused Pre-Training)の有用性について検討した。 以上の結果から,下流の課題を暗黙的に学習し,その課題に有意なマスク付き単語を予測できることが示唆された。
• 参考スコア（独自算出の注目度）: 23.454153602068786
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent breakthroughs in scale have enabled the emergence of powerful generative language models, and the ability to fine-tune these models on various tasks by casting them into prompts or instructions. In this landscape, the problem of Unsupervised Domain Adaptation (UDA), or the problem of leveraging knowledge from a labeled source domain to an unlabeled target domain, has been left behind, with recent UDA methods still addressing discriminative classification. In particular, two popular UDA approaches, involving Continued Pre-Training (CPT) and learning domain invariant representations, have been under-explored in the generative setting, signaling a gap. In this work, we evaluate the utility of CPT for generative UDA. We first perform an empirical evaluation to measure the trade-offs between CPT and strong methods promoting domain invariance. We further evaluate how well the benefits of CPT extend to different architectures, tuning methods and data regimes. We then motivate the use of CPT by studying to what degree it benefits classification performance on the target domain. Finally, we attempt to understand the mechanism behind which CPT improves classification performance on the unlabeled target domain. Our findings suggest that a implicitly learns the downstream task while predicting masked words informative to that task. Our work connects the body of UDA research with that of instruction tuning, enabling an initial step towards a wider applicability of modern language models.
• Abstract（参考訳）: 近年の大規模なブレークスルーにより、強力な生成言語モデルの出現と、これらのモデルをプロンプトや命令に投入することで、様々なタスクで微調整することが可能になった。 この状況では、Unsupervised Domain Adaptation(UDA)の問題や、ラベル付きソースドメインからラベル付きターゲットドメインへの知識活用の問題が残されており、近年のUDA法は差別的分類に対処している。 特に、CPT(Continuoused Pre-Training)と学習領域不変表現(Learning Domain Invariant representations)を含む2つの人気のあるUDAアプローチは、生成環境において未探索であり、ギャップを示唆している。 本研究は, 生成型UDAにおけるCPTの有用性を評価するものである。 まず、CPTとドメインの分散を促進する強力な手法のトレードオフを測定する実験的な評価を行う。 さらに、CPTの利点が、異なるアーキテクチャ、チューニング方法、データレシスタンスにいかに優れているかを評価する。 次に、対象領域における分類性能のどの程度に有用かを研究することによって、CPTの使用を動機づける。 最後に、CPTが未ラベルのターゲットドメインの分類性能を改善するメカニズムを理解することを試みる。 以上の結果から,下流の課題を暗黙的に学習し,その課題に有意なマスク付き単語を予測できることが示唆された。 我々の研究は、UDA研究の本体と命令チューニングの身体を結びつけ、現代の言語モデルのより広範な適用性に向けた最初のステップを可能にする。

関連論文リスト

• Enhancing Domain Adaptation through Prompt Gradient Alignment [16.618313165111793]
  我々は、ドメイン不変性と特定の特徴の両方を学ぶために、素早い学習に基づく一連の作品を開発する。 我々は、UDAを、各目的がドメイン損失で表される多重目的最適化問題とみなした。 提案手法は,異なるUDAベンチマークにおいて,他のプロンプトベースベースラインをはるかに上回っている。
  論文  参考訳（メタデータ） (2024-06-13T17:40:15Z)
• Open-Set Domain Adaptation with Visual-Language Foundation Models [51.49854335102149]
  非教師なしドメイン適応(UDA)は、ソースドメインからラベルのないデータを持つターゲットドメインへの知識の転送に非常に効果的であることが証明されている。 オープンセットドメイン適応(ODA)は、トレーニングフェーズ中にこれらのクラスを識別する潜在的なソリューションとして登場した。
  論文  参考訳（メタデータ） (2023-07-30T11:38:46Z)
• Domain Adaptation with Adversarial Training on Penultimate Activations [82.9977759320565]
  教師なし領域適応(Unsupervised Domain Adaptation, UDA)の重要な目的は、ラベルなし対象データに対するモデル予測の信頼性を高めることである。 我々は,この戦略が,入力画像や中間特徴に対する敵対的訓練よりも予測信頼性を高める目的と,より効率的で相関性が高いことを示す。
  論文  参考訳（メタデータ） (2022-08-26T19:50:46Z)
• Prior Knowledge Guided Unsupervised Domain Adaptation [82.9977759320565]
  本稿では,対象とするクラス分布に関する事前知識を利用できる知識誘導型非教師付きドメイン適応(KUDA)設定を提案する。 特に,対象領域におけるクラス分布に関する2種類の事前知識について考察する。 このような事前知識を用いて生成した擬似ラベルを精査する修正モジュールを提案する。
  論文  参考訳（メタデータ） (2022-07-18T18:41:36Z)
• Connect, Not Collapse: Explaining Contrastive Learning for Unsupervised Domain Adaptation [88.5448806952394]
  我々は、対象ドメインのラベル付きデータと対象ドメインのラベルなしデータを用いて、対象ドメインの分類器を学習する、教師なしドメイン適応(UDA)を考える。 ラベル付きソースとターゲットデータの特徴を学習し,ラベル付きソースデータに微調整を行うコントラスト事前学習は,強いUDA手法と競合することを示す。
  論文  参考訳（メタデータ） (2022-04-01T16:56:26Z)
• Domain Adaptation via Prompt Learning [39.97105851723885]
  Unsupervised Domain Adaption (UDA) は、十分にアノテーションされたソースドメインから学習したモデルをターゲットドメインに適応させることを目的としている。 我々は,Prompt Learning (DAPL) によるドメイン適応という,UDAのための新しいプロンプト学習パラダイムを導入する。
  論文  参考訳（メタデータ） (2022-02-14T13:25:46Z)
• RefRec: Pseudo-labels Refinement via Shape Reconstruction for Unsupervised 3D Domain Adaptation [23.275638060852067]
  RefRecは、ポイントクラウドのためのUDAにおける擬似ラベルと自己学習を調査するための最初のアプローチである。 我々は3Dデータに自己学習を効果的にするための2つの主要なイノベーションを提示する。
  論文  参考訳（メタデータ） (2021-10-21T10:24:05Z)
• Self-Domain Adaptation for Face Anti-Spoofing [31.441928816043536]
  推論時にラベルのないテストドメインデータを利用するための自己ドメイン適応フレームワークを提案する。 トレーニングステップで複数のソースドメインのデータを用いて,メタラーニングに基づく適応学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-24T08:46:39Z)
• Effective Label Propagation for Discriminative Semi-Supervised Domain Adaptation [76.41664929948607]
  半教師付き領域適応(SSDA)法は,大規模な画像分類タスクにおいて大きな可能性を示している。 本稿では、ドメイン間およびドメイン内セマンティック情報を効果的に伝達することにより、この問題に対処する新しい効果的な方法を提案する。 ソースコードと事前訓練されたモデルも間もなくリリースされる予定です。
  論文  参考訳（メタデータ） (2020-12-04T14:28:19Z)
• Class-Incremental Domain Adaptation [56.72064953133832]
  私たちは、CIDA(Class-Incremental Domain Adaptation)と呼ばれる実践的ドメイン適応(DA)パラダイムを導入します。 既存のDAメソッドはドメインシフトに取り組むが、新しいターゲットドメインクラスを学ぶのには適さない。 提案手法は,CIDAパラダイムにおけるDAメソッドとCIメソッドの両方と比較して,優れた性能が得られる。
  論文  参考訳（メタデータ） (2020-08-04T07:55:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。