論文の概要: DaMSTF: Domain Adversarial Learning Enhanced Meta Self-Training for Domain Adaptation

• arxiv url: http://arxiv.org/abs/2308.02753v1
• Date: Sat, 5 Aug 2023 00:14:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-08 18:59:51.168402
• Title: DaMSTF: Domain Adversarial Learning Enhanced Meta Self-Training for Domain Adaptation
• Title（参考訳）: DaMSTF: ドメイン適応のためのメタ自己学習の強化
• Authors: Menglong Lu, Zhen Huang, Yunxiang Zhao, Zhiliang Tian, Yang Liu and Dongsheng Li
• Abstract要約: ドメイン適応のための新しい自己学習フレームワーク、すなわちドメイン逆学習強化自己学習フレームワーク(DaMSTF)を提案する。 DaMSTFはメタラーニングによって各擬似インスタンスの重要性を推定し、ラベルノイズを同時に低減し、ハードサンプルを保存する。 DaMSTFはBERTの性能を平均4%近く改善する。
• 参考スコア（独自算出の注目度）: 20.697905456202754
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Self-training emerges as an important research line on domain adaptation. By taking the model's prediction as the pseudo labels of the unlabeled data, self-training bootstraps the model with pseudo instances in the target domain. However, the prediction errors of pseudo labels (label noise) challenge the performance of self-training. To address this problem, previous approaches only use reliable pseudo instances, i.e., pseudo instances with high prediction confidence, to retrain the model. Although these strategies effectively reduce the label noise, they are prone to miss the hard examples. In this paper, we propose a new self-training framework for domain adaptation, namely Domain adversarial learning enhanced Self-Training Framework (DaMSTF). Firstly, DaMSTF involves meta-learning to estimate the importance of each pseudo instance, so as to simultaneously reduce the label noise and preserve hard examples. Secondly, we design a meta constructor for constructing the meta-validation set, which guarantees the effectiveness of the meta-learning module by improving the quality of the meta-validation set. Thirdly, we find that the meta-learning module suffers from the training guidance vanishment and tends to converge to an inferior optimal. To this end, we employ domain adversarial learning as a heuristic neural network initialization method, which can help the meta-learning module converge to a better optimal. Theoretically and experimentally, we demonstrate the effectiveness of the proposed DaMSTF. On the cross-domain sentiment classification task, DaMSTF improves the performance of BERT with an average of nearly 4%.
• Abstract（参考訳）: 自己学習はドメイン適応の重要な研究線として現れる。 モデルの予測をラベルなしデータの擬似ラベルとして取ることで、自己学習はモデルをターゲットドメインの擬似インスタンスでブートストラップする。 しかし、擬似ラベル(ラベルノイズ)の予測誤差は自己学習の性能に挑戦する。 この問題に対処するために、従来のアプローチでは信頼性の高い擬似インスタンス、すなわち予測信頼度の高い擬似インスタンスのみを使用してモデルを再トレーニングした。 これらの戦略はラベルノイズを効果的に低減するが、難しい例を見逃しがちである。 本稿では,ドメイン適応のための新しい自己学習フレームワーク,すなわちdamstf(domain adversarial learning enhanced self-training framework)を提案する。 まず、DaMSTFはメタラーニングを行い、各擬似インスタンスの重要性を推定し、ラベルノイズを同時に低減し、ハードサンプルを保存する。 次に,メタバリデーションセット構築のためのメタコンストラクタを設計し,メタバリデーションセットの品質を向上させることにより,メタ学習モジュールの有効性を保証する。 第3に,メタ学習モジュールはトレーニング指導の消失に悩まされ,最適度が劣る傾向にあることがわかった。 この目的のために,ヒューリスティックニューラルネットワークの初期化手法としてドメイン逆学習を採用することで,メタ学習モジュールがより最適に収束するのに役立つ。 理論的および実験的に,提案するdamstfの有効性を実証する。 クロスドメイン感情分類タスクでは、DaMSTFはBERTのパフォーマンスを平均4%近く改善する。

関連論文リスト

• Unsupervised Domain Adaptation for Semantic Segmentation with Pseudo Label Self-Refinement [9.69089112870202]
  擬似ラベルのオンライン精錬のための補助的擬似ラベル精錬ネットワーク(PRN)を提案する。 3つの異なるドメインシフトを持つベンチマークデータセットに対する我々のアプローチを評価する。
  論文  参考訳（メタデータ） (2023-10-25T20:31:07Z)
• Informative Data Mining for One-Shot Cross-Domain Semantic Segmentation [84.82153655786183]
  Informative Data Mining (IDM) と呼ばれる新しいフレームワークを提案し、セマンティックセグメンテーションのための効率的なワンショットドメイン適応を実現する。 IDMは、最も情報性の高いサンプルを特定するために不確実性に基づく選択基準を提供し、迅速に適応し、冗長なトレーニングを減らす。 提案手法は,GTA5/SYNTHIAからCityscapesへの適応タスクにおいて,既存の手法より優れ,56.7%/55.4%の最先端のワンショット性能を実現している。
  論文  参考訳（メタデータ） (2023-09-25T15:56:01Z)
• Robust Target Training for Multi-Source Domain Adaptation [110.77704026569499]
  両レベル最適化に基づく新しいMSDAのためのロバスト目標訓練法(BORT$2$)を提案する。 提案手法は,大規模なDomainNetデータセットを含む3つのMSDAベンチマークにおいて,アートパフォーマンスの状態を達成している。
  論文  参考訳（メタデータ） (2022-10-04T15:20:01Z)
• Adapting the Mean Teacher for keypoint-based lung registration under geometric domain shifts [75.51482952586773]
  ディープニューラルネットワークは一般的に、ラベル付きトレーニングデータが多く必要であり、トレーニングデータとテストデータの間のドメインシフトに弱い。 本稿では,ラベル付きソースからラベル付きターゲットドメインへのモデルの適用により,画像登録のための幾何学的領域適応手法を提案する。 本手法は,ベースラインモデルの精度を目標データに適合させながら,ベースラインモデルの50%/47%を継続的に改善する。
  論文  参考訳（メタデータ） (2022-07-01T12:16:42Z)
• Boosting Cross-Domain Speech Recognition with Self-Supervision [35.01508881708751]
  自動音声認識(ASR)のクロスドメイン性能は,トレーニングとテストのミスマッチにより著しく損なわれる可能性がある。 従来, 自己監督学習 (SSL) や擬似ラベル学習 (PL) は, 未ラベルデータの自己監督を利用してUDAに有効であることが示された。 この研究は、事前学習および微調整のパラダイムにおいて、ラベルなしデータを完全に活用する体系的なUDAフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-20T14:02:53Z)
• Source-Free Open Compound Domain Adaptation in Semantic Segmentation [99.82890571842603]
  SF-OCDAでは、ターゲットモデルを学習するために、ソース事前訓練されたモデルとターゲットデータのみが利用可能である。 そこで我々は,Cross-Patch Style Swap (CPSS)を提案する。 提案手法は,C-Drivingデータセット上で最先端の結果を生成する。
  論文  参考訳（メタデータ） (2021-06-07T08:38:41Z)
• Contrastive Learning and Self-Training for Unsupervised Domain Adaptation in Semantic Segmentation [71.77083272602525]
  UDAはラベル付きソースドメインからラベルなしターゲットドメインへの効率的な知識伝達を試みている。 本稿では,領域にまたがるカテゴリ別センタロイドを適応させるコントラスト学習手法を提案する。 提案手法を自己学習で拡張し,メモリ効率の良い時間アンサンブルを用いて一貫性と信頼性の高い擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2021-05-05T11:55:53Z)
• Adaptive Boosting for Domain Adaptation: Towards Robust Predictions in Scene Segmentation [41.05407168312345]
  ドメイン適応とは、ソースドメインから学んだ共有知識を新しい環境、すなわちターゲットドメインに転送することである。 1つの一般的なプラクティスは、ラベル付きソースドメインデータとラベルなしターゲットドメインデータの両方でモデルをトレーニングすることです。 学習中に補足モデルを明確に学習する1つの効果的なブートストラップ法であるadaboost studentを提案する。
  論文  参考訳（メタデータ） (2021-03-29T15:12:58Z)
• Two-phase Pseudo Label Densification for Self-training based Domain Adaptation [93.03265290594278]
  TPLDと呼ばれる,新規な二相擬似ラベル高密度化フレームワークを提案する。 第1フェーズでは,スライディングウインドウ投票を用いて,画像内の内在的空間相関を利用して,自信のある予測を広める。 第2フェーズでは,信頼度に基づく容易な分類を行う。 トレーニングプロセスの容易化と騒音予測の回避を目的として,ブートストラップ機構の導入を行った。
  論文  参考訳（メタデータ） (2020-12-09T02:35:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。