論文の概要: Confounder Balancing in Adversarial Domain Adaptation for Pre-Trained Large Models Fine-Tuning

• arxiv url: http://arxiv.org/abs/2310.16062v1
• Date: Tue, 24 Oct 2023 09:11:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 18:58:41.404454
• Title: Confounder Balancing in Adversarial Domain Adaptation for Pre-Trained Large Models Fine-Tuning
• Title（参考訳）: 調整済み大規模モデルの逆行領域適応における共同設立者のバランシング
• Authors: Shuoran Jiang, Qingcai Chen, Yang Xiang, Youcheng Pan, Xiangping Wu
• Abstract要約: 本研究では, PLMsファインチューニングのための共創バランシングを用いた対向領域適応法を提案する。 ADA-CBFはドメイン不変の特徴の共創者を正しく識別し、PLMから抽出した特徴の共創者のバイアスを取り除く。 自然言語処理とコンピュータビジョンダウンストリームタスクの実証結果は、ADA-CBFが最新のGPT-4, LLaMA2, ViT, ADAメソッドより優れていることを示している。
• 参考スコア（独自算出の注目度）: 21.88495039089532
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The excellent generalization, contextual learning, and emergence abilities in the pre-trained large models (PLMs) handle specific tasks without direct training data, making them the better foundation models in the adversarial domain adaptation (ADA) methods to transfer knowledge learned from the source domain to target domains. However, existing ADA methods fail to account for the confounder properly, which is the root cause of the source data distribution that differs from the target domains. This study proposes an adversarial domain adaptation with confounder balancing for PLMs fine-tuning (ADA-CBF). The ADA-CBF includes a PLM as the foundation model for a feature extractor, a domain classifier and a confounder classifier, and they are jointly trained with an adversarial loss. This loss is designed to improve the domain-invariant representation learning by diluting the discrimination in the domain classifier. At the same time, the adversarial loss also balances the confounder distribution among source and unmeasured domains in training. Compared to existing ADA methods, ADA-CBF can correctly identify confounders in domain-invariant features, thereby eliminating the confounder biases in the extracted features from PLMs. The confounder classifier in ADA-CBF is designed as a plug-and-play and can be applied in the confounder measurable, unmeasurable, or partially measurable environments. Empirical results on natural language processing and computer vision downstream tasks show that ADA-CBF outperforms the newest GPT-4, LLaMA2, ViT and ADA methods.
• Abstract（参考訳）: プレトレーニング済みの大規模モデル(PLM)における優れた一般化、文脈学習、および出現能力は、直接トレーニングデータなしで特定のタスクを処理し、ソースドメインから学習した知識をターゲットドメインに転送するために、敵対的ドメイン適応(ADA)手法のより良い基礎モデルとなる。 しかし、既存のadaメソッドは、ターゲットドメインと異なるソースデータ分散の根本原因である、confounderを適切に考慮していない。 本研究では, PLMs fine-tuning (ADA-CBF) のための共創バランシングを用いた対向ドメイン適応を提案する。 ADA−CBFは、特徴抽出器、ドメイン分類器及び共同分類器の基盤モデルとしてPLMを含み、対向的損失で共同訓練される。 この損失は、ドメイン分類器の識別を希釈することで、ドメイン不変表現学習を改善するために設計されている。 同時に、敵対的損失は、トレーニング中のソースドメインと未測定ドメインの共作者分布のバランスをとる。 既存のADA法と比較して、ADA-CBFはドメイン不変の特徴の共創者を正しく識別し、PLMから抽出した特徴の共創バイアスを取り除くことができる。 ADA-CBFの共創者分類器はプラグアンドプレイとして設計されており、共創者計測可能、測定不能、または部分的に測定可能な環境に適用することができる。 自然言語処理とコンピュータビジョンダウンストリームタスクの実証結果は、ADA-CBFが最新のGPT-4, LLaMA2, ViT, ADAメソッドより優れていることを示している。

関連論文リスト

• Open-Set Domain Adaptation with Visual-Language Foundation Models [51.49854335102149]
  非教師なしドメイン適応(UDA)は、ソースドメインからラベルのないデータを持つターゲットドメインへの知識の転送に非常に効果的であることが証明されている。 オープンセットドメイン適応(ODA)は、トレーニングフェーズ中にこれらのクラスを識別する潜在的なソリューションとして登場した。
  論文  参考訳（メタデータ） (2023-07-30T11:38:46Z)
• Divide and Adapt: Active Domain Adaptation via Customized Learning [56.79144758380419]
  対象インスタンスを成層化可能な4つのカテゴリに分割する新しいADAフレームワークであるDiaNA(Divide-and-Adapt)を提案する。 不確実性とドメイン性に基づく新しいデータ分割プロトコルにより、DiaNAは最も有利なサンプルを正確に認識することができる。 の精神のおかげで、DiaNAはドメインギャップの大きなバリエーションでデータを処理できる。
  論文  参考訳（メタデータ） (2023-07-21T14:37:17Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)
• Source-Free Domain Adaptation via Distribution Estimation [106.48277721860036]
  ドメイン適応は、ラベル付きソースドメインから学んだ知識を、データ分散が異なるラベル付きターゲットドメインに転送することを目的としています。 近年,ソースフリードメイン適応 (Source-Free Domain Adaptation, SFDA) が注目されている。 本研究では,SFDA-DEと呼ばれる新しいフレームワークを提案し,ソース分布推定によるSFDAタスクに対処する。
  論文  参考訳（メタデータ） (2022-04-24T12:22:19Z)
• KALA: Knowledge-Augmented Language Model Adaptation [65.92457495576141]
  プレトレーニング言語モデル(PLM)のための新しいドメイン適応フレームワークを提案する。 知識拡張言語モデル適応(英: Knowledge-Augmented Language Model Adaptation, KALA)は、PLMの中間的隠れ表現をドメイン知識で修飾する。 計算効率は高いが,我々のKALAは適応型事前学習よりも優れていた。
  論文  参考訳（メタデータ） (2022-04-22T08:11:59Z)
• UDALM: Unsupervised Domain Adaptation through Language Modeling [79.73916345178415]
  複合分類とマスキング言語モデル損失を用いた微調整手順であるUDALMについて紹介します。 本実験では, 混合損失スケールと利用可能な目標データの量で訓練されたモデルの性能を, 停止基準として有効に用いることを示した。 この方法は、amazon reviewsセンチメントデータセットの12のドメインペアで評価され、9.1.74%の精度が得られ、最先端よりも1.11%の絶対的な改善が得られます。
  論文  参考訳（メタデータ） (2021-04-14T19:05:01Z)
• Knowledge Distillation for BERT Unsupervised Domain Adaptation [2.969705152497174]
  トレーニング済みの言語モデルであるBERTは、さまざまな自然言語処理タスクで大幅なパフォーマンス向上を実現している。 蒸留による逆順応法(AAD)を提案する。 ドメイン間感情分類におけるアプローチを30組のドメイン対で評価した。
  論文  参考訳（メタデータ） (2020-10-22T06:51:24Z)
• Sequential Domain Adaptation through Elastic Weight Consolidation for Sentiment Analysis [3.1473798197405944]
  我々はSDA(Sequential Domain Adaptation)というモデルに依存しないフレームワークを提案する。 提案手法は,CNNのようなシンプルなアーキテクチャが,感情分析(SA)の領域適応において,複雑な最先端モデルより優れていることを示す。 さらに、ソースドメインのより難しい第1次反計算機的順序付けの有効性が最大性能に繋がることを示した。
  論文  参考訳（メタデータ） (2020-07-02T15:21:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。