論文の概要: Feature Adaptation of Pre-Trained Language Models across Languages and Domains with Robust Self-Training

• arxiv url: http://arxiv.org/abs/2009.11538v3
• Date: Mon, 30 Nov 2020 05:50:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-15 04:49:28.286741
• Title: Feature Adaptation of Pre-Trained Language Models across Languages and Domains with Robust Self-Training
• Title（参考訳）: 頑健な自己学習を伴う言語・ドメイン間の事前学習言語モデルの特徴適応
• Authors: Hai Ye, Qingyu Tan, Ruidan He, Juntao Li, Hwee Tou Ng, Lidong Bing
• Abstract要約: 我々は、訓練済み言語モデル(PrLM)を微調整なしで新しいドメインに適用する。 PrLMから識別的特徴を学習するために,クラス認識型自己蒸留(CFd)を提案する。 2つの単言語および多言語Amazonレビューデータセットの実験は、CFdが継続的に自己学習のパフォーマンスを改善することができることを示している。
• 参考スコア（独自算出の注目度）: 47.12438995938133
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adapting pre-trained language models (PrLMs) (e.g., BERT) to new domains has gained much attention recently. Instead of fine-tuning PrLMs as done in most previous work, we investigate how to adapt the features of PrLMs to new domains without fine-tuning. We explore unsupervised domain adaptation (UDA) in this paper. With the features from PrLMs, we adapt the models trained with labeled data from the source domain to the unlabeled target domain. Self-training is widely used for UDA which predicts pseudo labels on the target domain data for training. However, the predicted pseudo labels inevitably include noise, which will negatively affect training a robust model. To improve the robustness of self-training, in this paper we present class-aware feature self-distillation (CFd) to learn discriminative features from PrLMs, in which PrLM features are self-distilled into a feature adaptation module and the features from the same class are more tightly clustered. We further extend CFd to a cross-language setting, in which language discrepancy is studied. Experiments on two monolingual and multilingual Amazon review datasets show that CFd can consistently improve the performance of self-training in cross-domain and cross-language settings.
• Abstract（参考訳）: プレトレーニング言語モデル(PrLM)(例えばBERT)を新しいドメインに適用することは近年注目を集めている。 従来のPrLMを微調整する代わりに、PrLMの特徴を微調整せずに新しいドメインに適応する方法を検討する。 本稿では,教師なしドメイン適応(UDA)について検討する。 PrLMの機能により、ソースドメインからラベル付きデータで訓練されたモデルを、ラベルなしのターゲットドメインに適応させる。 自己学習は、訓練対象のドメインデータ上の擬似ラベルを予測するUDAに広く使われている。 しかし、予測された擬似ラベルには必然的にノイズが含まれ、ロバストモデルのトレーニングに悪影響を及ぼす。 本稿では,prlmの特徴を特徴適応モジュールに自己蒸留し,同一クラスの特徴をより密集させたprlmから識別的特徴を学ぶために,自己学習のロバスト性を向上させるため,クラス認識機能自己蒸留(cfd)を提案する。 さらに、CFdを言語間セッティングに拡張し、言語差について研究する。 2つの単言語および多言語amazon reviewデータセットの実験により、cfdは、クロスドメインおよびクロス言語環境でのセルフトレーニングのパフォーマンスを一貫して向上できることが示された。

関連論文リスト

• UMFC: Unsupervised Multi-Domain Feature Calibration for Vision-Language Models [75.77651291095565]
  我々は、視覚言語モデルの転送可能性を高めるために、自然に複数のドメインにまたがるラベルのないデータを活用する。 この教師なしマルチドメイン設定の下で、我々はCLIP内の固有モデルバイアスを特定した。 このモデルバイアスを軽減するために,Unsupervised Multi-domain Feature (UMFC)を提案する。
  論文  参考訳（メタデータ） (2024-11-11T12:25:02Z)
• Evolving Domain Adaptation of Pretrained Language Models for Text Classification [24.795214770636534]
  進化するドメインシフト(EDS)の中で、時系列テキスト分類に事前訓練された言語モデル(PLM)を適用することは、スタンス検出のようなアプリケーションにおける精度を維持するために重要である。 本研究では, 自己学習, ドメイン・アドバイザリ・トレーニング, ドメイン・アダプティブ・プレトレーニングなど, 進化するドメイン適応(EDA)戦略の有効性を, 漸進的な自己学習手法に焦点をあてて評価する。
  論文  参考訳（メタデータ） (2023-11-16T08:28:00Z)
• Improving Language Plasticity via Pretraining with Active Forgetting [63.36484652568976]
  本稿では,新しい言語に迅速に適応可能な PLM を作成する簡単な方法として,事前学習中に能動的に忘れる機構を提案する。 RoBERTaを用いた実験では、忘れるメカニズムで事前訓練されたモデルは、言語適応中により高速な収束を示す。
  論文  参考訳（メタデータ） (2023-07-03T17:12:44Z)
• VarMAE: Pre-training of Variational Masked Autoencoder for Domain-adaptive Language Understanding [5.1282202633907]
  本稿では,ドメイン適応型言語理解のためのトランスフォーマーベース言語モデルであるVarMAEを提案する。 マスク付き自動符号化の目的のもと,トークンのコンテキストをスムーズな潜伏分布に符号化するコンテキスト不確実性学習モジュールを設計する。 科学および金融分野におけるNLUタスクの実験は、VarMAEが限られたリソースを持つ新しいドメインに効率的に適応できることを実証している。
  論文  参考訳（メタデータ） (2022-11-01T12:51:51Z)
• QAGAN: Adversarial Approach To Learning Domain Invariant Language Features [0.76146285961466]
  ドメイン不変の特徴を学習するための敵対的学習手法について検討する。 EMスコアが15.2%改善され、ドメイン外の検証データセットでF1スコアが5.6%向上しました。
  論文  参考訳（メタデータ） (2022-06-24T17:42:18Z)
• Domain Adaptation via Prompt Learning [39.97105851723885]
  Unsupervised Domain Adaption (UDA) は、十分にアノテーションされたソースドメインから学習したモデルをターゲットドメインに適応させることを目的としている。 我々は,Prompt Learning (DAPL) によるドメイン適応という,UDAのための新しいプロンプト学習パラダイムを導入する。
  論文  参考訳（メタデータ） (2022-02-14T13:25:46Z)
• Efficient Domain Adaptation of Language Models via Adaptive Tokenization [5.058301279065432]
  ドメイン固有のサブワードシーケンスは,ベースおよびドメイン固有のコーパスの条件付きトークン分布の分岐から,直接的に決定可能であることを示す。 我々の手法は、トークン化器の強化を用いた他の手法よりも、より小さなモデルで、トレーニングや推論の時間が少なくなります。
  論文  参考訳（メタデータ） (2021-09-15T17:51:27Z)
• Non-Parametric Unsupervised Domain Adaptation for Neural Machine Translation [61.27321597981737]
  $k$NN-MTは、トレーニング済みニューラルネットワーク翻訳(NMT)モデルとドメイン固有のトークンレベルである$k$-nearest-neighbor検索を直接組み込むという有望な能力を示している。 対象言語におけるドメイン内単言語文を直接使用して,$k$-nearest-neighbor検索に有効なデータストアを構築する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-14T11:50:01Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Don't Stop Pretraining: Adapt Language Models to Domains and Tasks [81.99843216550306]
  バイオメディカルおよびコンピュータサイエンスの出版物、ニュース、レビュー)と8つの分類タスクについて調査する。 ドメイン内の事前トレーニング(ドメイン適応型事前トレーニング)の第2フェーズでは、パフォーマンスが向上する。 タスクの未ラベルデータ(タスク適応事前トレーニング)に適応することで、ドメイン適応事前トレーニング後のパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-04-23T04:21:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。