論文の概要: A Two-Stage Framework with Self-Supervised Distillation For Cross-Domain Text Classification

• arxiv url: http://arxiv.org/abs/2304.09820v1
• Date: Tue, 18 Apr 2023 06:21:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-20 13:25:58.006486
• Title: A Two-Stage Framework with Self-Supervised Distillation For Cross-Domain Text Classification
• Title（参考訳）: クロスドメインテキスト分類のための自己監督蒸留による2段階フレームワーク
• Authors: Yunlong Feng, Bohan Li, Libo Qin, Xiao Xu, Wanxiang Che
• Abstract要約: クロスドメインテキスト分類は、ラベル付きデータを持たないターゲットドメインにモデルを適応させることを目的としている。 クロスドメインテキスト分類のための2段階フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 63.338588280577106
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cross-domain text classification aims to adapt models to a target domain that lacks labeled data. It leverages or reuses rich labeled data from the different but related source domain(s) and unlabeled data from the target domain. To this end, previous work focuses on either extracting domain-invariant features or task-agnostic features, ignoring domain-aware features that may be present in the target domain and could be useful for the downstream task. In this paper, we propose a two-stage framework for cross-domain text classification. In the first stage, we finetune the model with mask language modeling (MLM) and labeled data from the source domain. In the second stage, we further fine-tune the model with self-supervised distillation (SSD) and unlabeled data from the target domain. We evaluate its performance on a public cross-domain text classification benchmark and the experiment results show that our method achieves new state-of-the-art results for both single-source domain adaptations (94.17% $\uparrow$1.03%) and multi-source domain adaptations (95.09% $\uparrow$1.34%).
• Abstract（参考訳）: クロスドメインテキスト分類は、ラベル付きデータを持たないターゲットドメインにモデルを適用することを目的としている。 これは、異なるが関連するソースドメインからのリッチなラベル付きデータと、ターゲットドメインからのラベルなしデータを活用または再利用する。 この目的のために、以前の研究は、ターゲットドメインに存在し、下流タスクに有用なドメイン認識機能を無視し、ドメイン不変機能またはタスク非依存の機能の抽出に重点を置いていた。 本稿では,クロスドメインテキスト分類のための2段階フレームワークを提案する。 第1段階では、マスク言語モデリング(mlm)とソースドメインからのラベル付きデータでモデルを微調整します。 第2段階では、自己監督蒸留(SSD)と対象領域からのラベルなしデータにより、モデルをさらに微調整する。 公開クロスドメインテキスト分類ベンチマークでその性能を評価し,実験結果から,単一ソースドメイン適応 (94.17%$\uparrow$1.03%) と複数ソースドメイン適応 (95.09%$\uparrow $1.34%) の両方において,新たな最先端結果が得られた。

関連論文リスト

• Depth $F_1$: Improving Evaluation of Cross-Domain Text Classification by Measuring Semantic Generalizability [0.9954382983583578]
  クロスドメインテキスト分類モデルの最近の評価は、ソースドメイン内のラベル付きサンプルが与えられた対象ドメインにおいて、ドメイン不変性能を得るためのモデルの能力を測定することを目的としている。 この評価戦略は、ソースドメインとターゲットドメインの類似性を考慮せず、モデルが学習をソースドメインと非常に異なる特定のターゲットサンプルに転送できない場合、マスクする可能性がある。 我々は、新しいクロスドメインテキスト分類性能指標であるDepth $F_1$を紹介した。
  論文  参考訳（メタデータ） (2024-06-20T19:35:17Z)
• WUDA: Unsupervised Domain Adaptation Based on Weak Source Domain Labels [5.718326013810649]
  セマンティックセグメンテーションのための教師なしドメイン適応(UDA)は、細かなソースドメインラベルを持つクロスドメイン問題に対処する。 本稿では、弱ソースドメインラベルに基づく教師なしドメイン適応という新しいタスクを定義する。
  論文  参考訳（メタデータ） (2022-10-05T08:28:57Z)
• Multi-source Few-shot Domain Adaptation [26.725145982321287]
  マルチソースドメイン適応(MDA)は、複数の完全ラベルのソースドメインから未ラベルのターゲットドメインに予測モデルを転送することを目的としている。 本稿では,Multi-source Few-shot Domain Adaptation (MFDA)について検討する。 本稿では,MSFAN(Multi-Source Few-shot Adaptation Network)と呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-25T15:54:01Z)
• Cross-domain Contrastive Learning for Unsupervised Domain Adaptation [108.63914324182984]
  教師なしドメイン適応(Unsupervised domain adapt、UDA)は、完全にラベル付けされたソースドメインから異なるラベル付けされていないターゲットドメインに学習した知識を転送することを目的としている。 対照的な自己教師型学習に基づいて、トレーニングとテストセット間のドメインの相違を低減するために、機能を整列させます。
  論文  参考訳（メタデータ） (2021-06-10T06:32:30Z)
• Prototypical Cross-domain Self-supervised Learning for Few-shot Unsupervised Domain Adaptation [91.58443042554903]
  FUDA(Unsupervised Domain Adaptation)のためのPCS(Prototypical Cross-Domain Self-Supervised Learning)フレームワークを提案する。 PCSは、クロスドメインのローレベルな機能アライメントを行うだけでなく、ドメイン間の共有埋め込み空間におけるセマンティック構造をエンコードおよびアライメントする。 最新の手法と比較して、pcsは、fuda上の異なるドメインペアの平均分類精度を10.5%、office、office-home、visda-2017、domainnetで3.5%、9.0%、13.2%改善している。
  論文  参考訳（メタデータ） (2021-03-31T02:07:42Z)
• Inferring Latent Domains for Unsupervised Deep Domain Adaptation [54.963823285456925]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きデータが利用できないターゲットドメインでモデルを学習する問題を指す。 本稿では,視覚データセット中の潜在ドメインを自動的に発見することにより,udaの問題に対処する新しい深層アーキテクチャを提案する。 提案手法を公開ベンチマークで評価し,最先端のドメイン適応手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-25T14:33:33Z)
• Cross-domain Self-supervised Learning for Domain Adaptation with Few Source Labels [78.95901454696158]
  ドメイン適応のためのクロスドメイン自己教師型学習手法を提案する。 本手法は,ソースラベルが少ない新しいターゲット領域において,ターゲット精度を著しく向上させる。
  論文  参考訳（メタデータ） (2020-03-18T15:11:07Z)
• Deep Domain-Adversarial Image Generation for Domain Generalisation [115.21519842245752]
  マシンラーニングモデルは通常、ソースデータセットでトレーニングされたり、異なるディストリビューションのターゲットデータセットで評価されたりする際に、ドメインシフトの問題に悩まされる。 この問題を解決するために、ドメイン一般化(DG)手法は、訓練されたモデルが未知のドメインに一般化できるように、複数のソースドメインからのデータを活用することを目的としている。 我々はemphDeep Domain-Adversarial Image Generation (DDAIG)に基づく新しいDG手法を提案する。
  論文  参考訳（メタデータ） (2020-03-12T23:17:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。