論文の概要: UDALM: Unsupervised Domain Adaptation through Language Modeling

• arxiv url: http://arxiv.org/abs/2104.07078v1
• Date: Wed, 14 Apr 2021 19:05:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-16 15:06:32.402718
• Title: UDALM: Unsupervised Domain Adaptation through Language Modeling
• Title（参考訳）: UDALM:言語モデリングによる教師なしドメイン適応
• Authors: Constantinos Karouzos, Georgios Paraskevopoulos and Alexandros Potamianos
• Abstract要約: 複合分類とマスキング言語モデル損失を用いた微調整手順であるUDALMについて紹介します。 本実験では, 混合損失スケールと利用可能な目標データの量で訓練されたモデルの性能を, 停止基準として有効に用いることを示した。 この方法は、amazon reviewsセンチメントデータセットの12のドメインペアで評価され、9.1.74%の精度が得られ、最先端よりも1.11%の絶対的な改善が得られます。
• 参考スコア（独自算出の注目度）: 79.73916345178415
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work we explore Unsupervised Domain Adaptation (UDA) of pretrained language models for downstream tasks. We introduce UDALM, a fine-tuning procedure, using a mixed classification and Masked Language Model loss, that can adapt to the target domain distribution in a robust and sample efficient manner. Our experiments show that performance of models trained with the mixed loss scales with the amount of available target data and the mixed loss can be effectively used as a stopping criterion during UDA training. Furthermore, we discuss the relationship between A-distance and the target error and explore some limitations of the Domain Adversarial Training approach. Our method is evaluated on twelve domain pairs of the Amazon Reviews Sentiment dataset, yielding $91.74\%$ accuracy, which is an $1.11\%$ absolute improvement over the state-of-the-art.
• Abstract（参考訳）: 本研究では、下流タスクのための事前訓練された言語モデルの教師なしドメイン適応(UDA)について検討する。 本稿では,対象領域分布にロバストかつサンプル効率のよい方法で適応可能な,混合分類とマスキング言語モデル損失を用いた,微調整手順であるudalmを紹介する。 実験の結果, 混合損失量と混合損失量とを混合損失尺度で学習したモデルの性能は, UDA訓練における停止基準として有効に利用できることがわかった。 さらに,A距離と目標誤差の関係について考察し,ドメイン適応学習手法の限界について考察する。 この手法は、Amazon Reviews Sentimentデータセットの12のドメインペアで評価され、911.74\%の精度で、最先端よりも1.11\%の絶対的な改善である。

関連論文リスト

• Stratified Domain Adaptation: A Progressive Self-Training Approach for Scene Text Recognition [1.2878987353423252]
  シーンテキスト認識(STR)において、教師なしドメイン適応(UDA)がますます普及している。 本稿では,StrDA(Stratified Domain Adaptation)アプローチを導入し,学習プロセスにおける領域ギャップの段階的エスカレーションについて検討する。 本稿では,データサンプルの分布外および領域判別レベルを推定するために,領域判別器を用いる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-13T16:40:48Z)
• Unsupervised Domain Adaptation Via Data Pruning [0.0]
  非教師なし領域適応(UDA)の観点から問題を考える。 本稿では,UDAのトレーニング例を取り除き,トレーニング分布を対象データと整合させる手法であるAdaPruneを提案する。 UDAの手法として、AdaPruneは関連する技術より優れており、CoRALなどの他のUDAアルゴリズムと相補的であることを示す。
  論文  参考訳（メタデータ） (2024-09-18T15:48:59Z)
• Open-Set Domain Adaptation with Visual-Language Foundation Models [51.49854335102149]
  非教師なしドメイン適応(UDA)は、ソースドメインからラベルのないデータを持つターゲットドメインへの知識の転送に非常に効果的であることが証明されている。 オープンセットドメイン適応(ODA)は、トレーニングフェーズ中にこれらのクラスを識別する潜在的なソリューションとして登場した。
  論文  参考訳（メタデータ） (2023-07-30T11:38:46Z)
• Divide and Adapt: Active Domain Adaptation via Customized Learning [56.79144758380419]
  対象インスタンスを成層化可能な4つのカテゴリに分割する新しいADAフレームワークであるDiaNA(Divide-and-Adapt)を提案する。 不確実性とドメイン性に基づく新しいデータ分割プロトコルにより、DiaNAは最も有利なサンプルを正確に認識することができる。 の精神のおかげで、DiaNAはドメインギャップの大きなバリエーションでデータを処理できる。
  論文  参考訳（メタデータ） (2023-07-21T14:37:17Z)
• Can We Evaluate Domain Adaptation Models Without Target-Domain Labels? [36.05871459064825]
  教師なしドメイン適応(Unsupervised domain adapt, UDA)は、ラベル豊富なソースドメインでトレーニングされたモデルをラベルなしのターゲットドメインに適応させる。 現実のシナリオでは、ターゲットドメインラベルがないため、UDAモデルの性能を評価するのは難しい。 これらの問題に対処するため,textitTransfer Scoreと呼ばれる新しいメトリクスを提案する。
  論文  参考訳（メタデータ） (2023-05-30T03:36:40Z)
• IDA: Informed Domain Adaptive Semantic Segmentation [51.12107564372869]
  クラスレベルのセグメンテーション性能に基づいてデータを混合する自己学習フレームワークであるDomain Informed Adaptation (IDA) モデルを提案する。 IDAモデルでは、クラスレベルの性能を期待信頼スコア(ECS)によって追跡し、動的スケジュールを用いて異なる領域のデータに対する混合比を決定する。 提案手法は,GTA-Vの都市景観への適応において1.1 mIoU,SynTHIAの都市への適応において0.9 mIoUのマージンで,最先端のUDA-SS法よりも優れる。
  論文  参考訳（メタデータ） (2023-03-05T18:16:34Z)
• Adversarial Robustness for Unsupervised Domain Adaptation [48.51898925429575]
  本研究では、複数の堅牢なImageNetモデルから学習した中間表現を活用し、UDAモデルの堅牢性を改善する。 提案手法は,UCAモデルの特徴と,ImageNet事前学習モデルで学習した頑健な特徴とを,ドメイン適応トレーニングとともに整合させることによって機能する。
  論文  参考訳（メタデータ） (2021-09-02T13:45:01Z)
• On Universal Black-Box Domain Adaptation [53.7611757926922]
  実践的な展開という観点から,ドメイン適応の最小限の制約条件について検討する。 ソースモデルのインターフェースのみがターゲットドメインで利用可能であり、2つのドメイン間のラベル空間関係が異なることや未知であることが許されている。 対象試料の局所近傍における予測の整合性によって正規化された自己訓練フレームワークに統一することを提案する。
  論文  参考訳（メタデータ） (2021-04-10T02:21:09Z)
• Robustified Domain Adaptation [13.14535125302501]
  非教師付きドメイン適応(Unsupervised domain adapt, UDA)は、ラベル付きソースドメインからラベル付きターゲットドメインへの知識伝達に広く使用される。 UDAにおける避けられないドメイン分布の偏りは、ターゲットドメインの堅牢性をモデル化するための重要な障壁である。 頑健な UDA モデルをトレーニングするための新しいクラス一貫性のないunsupervised Domain Adaptation (CURDA) フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-11-18T22:21:54Z)
• Knowledge Distillation for BERT Unsupervised Domain Adaptation [2.969705152497174]
  トレーニング済みの言語モデルであるBERTは、さまざまな自然言語処理タスクで大幅なパフォーマンス向上を実現している。 蒸留による逆順応法(AAD)を提案する。 ドメイン間感情分類におけるアプローチを30組のドメイン対で評価した。
  論文  参考訳（メタデータ） (2020-10-22T06:51:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。