Fugu-MT 論文翻訳(概要): Knowledge Distillation for BERT Unsupervised Domain Adaptation

論文の概要: Knowledge Distillation for BERT Unsupervised Domain Adaptation

arxiv url: http://arxiv.org/abs/2010.11478v2
Date: Fri, 23 Oct 2020 02:12:06 GMT
ステータス: 処理完了
システム内更新日: 2022-10-04 06:33:33.148006
Title: Knowledge Distillation for BERT Unsupervised Domain Adaptation
Title（参考訳）: 非教師付きドメイン適応のための知識蒸留
Authors: Minho Ryu and Kichun Lee
Abstract要約: トレーニング済みの言語モデルであるBERTは、さまざまな自然言語処理タスクで大幅なパフォーマンス向上を実現している。蒸留による逆順応法(AAD)を提案する。ドメイン間感情分類におけるアプローチを30組のドメイン対で評価した。
参考スコア（独自算出の注目度）: 2.969705152497174
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: A pre-trained language model, BERT, has brought significant performance improvements across a range of natural language processing tasks. Since the model is trained on a large corpus of diverse topics, it shows robust performance for domain shift problems in which data distributions at training (source data) and testing (target data) differ while sharing similarities. Despite its great improvements compared to previous models, it still suffers from performance degradation due to domain shifts. To mitigate such problems, we propose a simple but effective unsupervised domain adaptation method, adversarial adaptation with distillation (AAD), which combines the adversarial discriminative domain adaptation (ADDA) framework with knowledge distillation. We evaluate our approach in the task of cross-domain sentiment classification on 30 domain pairs, advancing the state-of-the-art performance for unsupervised domain adaptation in text sentiment classification.
Abstract（参考訳）: トレーニング済みの言語モデルであるBERTは、さまざまな自然言語処理タスクで大幅なパフォーマンス向上を実現している。モデルは多様なトピックの大規模なコーパスでトレーニングされるため、トレーニング(ソースデータ)とテスト(ターゲットデータ)におけるデータ分散が類似点を共有しながら異なるドメインシフト問題に対する堅牢なパフォーマンスを示す。以前のモデルに比べて大きな改善があったが、ドメインシフトによるパフォーマンス低下に苦しめられている。このような問題を緩和するため,本研究では, 逆微分ドメイン適応(ADDA)フレームワークと知識蒸留を組み合わせた, 簡易かつ効果的な非教師付きドメイン適応手法である蒸留(AAD)を提案する。テキスト感情分類における教師なしドメイン適応の最先端性能を向上し,30のドメイン対のクロスドメイン感情分類タスクにおけるアプローチを評価した。

関連論文リスト

Stratified Domain Adaptation: A Progressive Self-Training Approach for Scene Text Recognition [1.2878987353423252]
シーンテキスト認識(STR)において、教師なしドメイン適応(UDA)がますます普及している。本稿では,StrDA(Stratified Domain Adaptation)アプローチを導入し,学習プロセスにおける領域ギャップの段階的エスカレーションについて検討する。本稿では,データサンプルの分布外および領域判別レベルを推定するために,領域判別器を用いる新しい手法を提案する。
論文参考訳（メタデータ） (2024-10-13T16:40:48Z)
Open-Set Domain Adaptation with Visual-Language Foundation Models [51.49854335102149]
非教師なしドメイン適応(UDA)は、ソースドメインからラベルのないデータを持つターゲットドメインへの知識の転送に非常に効果的であることが証明されている。オープンセットドメイン適応(ODA)は、トレーニングフェーズ中にこれらのクラスを識別する潜在的なソリューションとして登場した。
論文参考訳（メタデータ） (2023-07-30T11:38:46Z)
SALUDA: Surface-based Automotive Lidar Unsupervised Domain Adaptation [62.889835139583965]
我々は、ソースデータとターゲットデータに基づいて、暗黙の基盤となる表面表現を同時に学習する教師なし補助タスクを導入する。両方のドメインが同じ遅延表現を共有しているため、モデルは2つのデータソース間の不一致を許容せざるを得ない。実験の結果,本手法は実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-
論文参考訳（メタデータ） (2023-04-06T17:36:23Z)
Boosting Cross-Domain Speech Recognition with Self-Supervision [35.01508881708751]
自動音声認識(ASR)のクロスドメイン性能は,トレーニングとテストのミスマッチにより著しく損なわれる可能性がある。従来, 自己監督学習 (SSL) や擬似ラベル学習 (PL) は, 未ラベルデータの自己監督を利用してUDAに有効であることが示された。この研究は、事前学習および微調整のパラダイムにおいて、ラベルなしデータを完全に活用する体系的なUDAフレームワークを提案する。
論文参考訳（メタデータ） (2022-06-20T14:02:53Z)
Semi-Supervised Adversarial Discriminative Domain Adaptation [18.15464889789663]
ドメイン適応は、ラベル付きデータの欠如を処理できる強力なディープニューラルネットワークをトレーニングする潜在的な方法である。本稿では,SADDA (Semi-Supervised Adversarial Discriminative Domain Adaptation) と呼ばれる改良された対向領域適応法を提案する。
論文参考訳（メタデータ） (2021-09-27T12:52:50Z)
Improving Transferability of Domain Adaptation Networks Through Domain Alignment Layers [1.3766148734487902]
マルチソースアン教師付きドメイン適応(MSDA)は、ソースモデルの袋から弱い知識を割り当てることで、ラベルのないドメインの予測子を学習することを目的としている。我々は,DomaIn Alignment Layers (MS-DIAL) のマルチソースバージョンを予測器の異なるレベルに埋め込むことを提案する。我々の手法は最先端のMSDA法を改善することができ、分類精度の相対利得は+30.64%に達する。
論文参考訳（メタデータ） (2021-09-06T18:41:19Z)
UDALM: Unsupervised Domain Adaptation through Language Modeling [79.73916345178415]
複合分類とマスキング言語モデル損失を用いた微調整手順であるUDALMについて紹介します。本実験では, 混合損失スケールと利用可能な目標データの量で訓練されたモデルの性能を, 停止基準として有効に用いることを示した。この方法は、amazon reviewsセンチメントデータセットの12のドメインペアで評価され、9.1.74%の精度が得られ、最先端よりも1.11%の絶対的な改善が得られます。
論文参考訳（メタデータ） (2021-04-14T19:05:01Z)
Selective Pseudo-Labeling with Reinforcement Learning for Semi-Supervised Domain Adaptation [116.48885692054724]
半教師付きドメイン適応のための強化学習に基づく選択擬似ラベル法を提案する。高精度かつ代表的な擬似ラベルインスタンスを選択するための深層Q-ラーニングモデルを開発する。提案手法は, SSDAのベンチマークデータセットを用いて評価し, 全ての比較手法よりも優れた性能を示す。
論文参考訳（メタデータ） (2020-12-07T03:37:38Z)
Adaptively-Accumulated Knowledge Transfer for Partial Domain Adaptation [66.74638960925854]
部分ドメイン適応(PDA)は、ソースドメインラベル空間がターゲットドメインを置き換えるとき、現実的で困難な問題を扱う。本稿では,2つの領域にまたがる関連カテゴリを整合させる適応的知識伝達フレームワーク(A$2KT)を提案する。
論文参考訳（メタデータ） (2020-08-27T00:53:43Z)
Sequential Domain Adaptation through Elastic Weight Consolidation for Sentiment Analysis [3.1473798197405944]
我々はSDA(Sequential Domain Adaptation)というモデルに依存しないフレームワークを提案する。提案手法は,CNNのようなシンプルなアーキテクチャが,感情分析(SA)の領域適応において,複雑な最先端モデルより優れていることを示す。さらに、ソースドメインのより難しい第1次反計算機的順序付けの有効性が最大性能に繋がることを示した。
論文参考訳（メタデータ） (2020-07-02T15:21:56Z)
Towards Fair Cross-Domain Adaptation via Generative Learning [50.76694500782927]
ドメイン適応(DA)は、よくラベル付けされたソースドメイン上でトレーニングされたモデルを、異なる分散に横たわる未ラベルのターゲットドメインに適応することを目的としています。本研究では,新規な生成的Few-shot Cross-Domain Adaptation (GFCA) アルゴリズムを開発した。
論文参考訳（メタデータ） (2020-03-04T23:25:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。