論文の概要: Neural Supervised Domain Adaptation by Augmenting Pre-trained Models with Random Units

• arxiv url: http://arxiv.org/abs/2106.04935v1
• Date: Wed, 9 Jun 2021 09:29:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-11 03:28:11.577396
• Title: Neural Supervised Domain Adaptation by Augmenting Pre-trained Models with Random Units
• Title（参考訳）: ランダム単位による事前学習モデルの拡張による神経教師あり領域適応
• Authors: Sara Meftah, Nasredine Semmar, Youssef Tamaazousti, Hassane Essafi, Fatiha Sadat
• Abstract要約: 自然言語処理(NLP)におけるニューラルトランスファーラーニング(TL)の展開 本稿では,その効率性にも拘わらず,主な限界に悩まされている解釈手法について述べる。 本稿では,正規化,重み付け,ランダムに初期化を施した事前学習モデルの強化について提案する。
• 参考スコア（独自算出の注目度）: 14.183224769428843
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Transfer Learning (TL) is becoming ubiquitous in Natural Language Processing (NLP), thanks to its high performance on many tasks, especially in low-resourced scenarios. Notably, TL is widely used for neural domain adaptation to transfer valuable knowledge from high-resource to low-resource domains. In the standard fine-tuning scheme of TL, a model is initially pre-trained on a source domain and subsequently fine-tuned on a target domain and, therefore, source and target domains are trained using the same architecture. In this paper, we show through interpretation methods that such scheme, despite its efficiency, is suffering from a main limitation. Indeed, although capable of adapting to new domains, pre-trained neurons struggle with learning certain patterns that are specific to the target domain. Moreover, we shed light on the hidden negative transfer occurring despite the high relatedness between source and target domains, which may mitigate the final gain brought by transfer learning. To address these problems, we propose to augment the pre-trained model with normalised, weighted and randomly initialised units that foster a better adaptation while maintaining the valuable source knowledge. We show that our approach exhibits significant improvements to the standard fine-tuning scheme for neural domain adaptation from the news domain to the social media domain on four NLP tasks: part-of-speech tagging, chunking, named entity recognition and morphosyntactic tagging.
• Abstract（参考訳）: ニューラルトランスファーラーニング(TL)は自然言語処理(NLP)において、特に低リソースのシナリオにおいて、多くのタスクで高いパフォーマンスを実現しているため、ユビキタスになりつつある。 特に、TLは高リソース領域から低リソース領域への貴重な知識の伝達にニューラルネットワーク適応に広く用いられている。 TLの標準的な微調整方式では、モデルは当初ソースドメインで事前訓練され、その後ターゲットドメインで微調整されるため、ソースドメインとターゲットドメインは同じアーキテクチャでトレーニングされる。 本稿では,そのようなスキームは,その効率性に拘わらず,大きな制限を負っているという解釈法を提示する。 実際には、新しいドメインに適応できるが、事前訓練されたニューロンは、ターゲットドメインに固有の特定のパターンを学ぶのに苦労する。 さらに,ソース領域とターゲット領域の関連度が高いにもかかわらず,隠れた負の伝達が引き起こされる可能性について考察した。 これらの問題に対処するため,我々は,正規化,重み付け,ランダム初期化単位を用いて事前学習したモデルを強化し,価値ある情報源知識を維持しつつ,適応性を高めることを提案する。 提案手法は,ニューラルドメインをニュースドメインからソーシャルメディアドメインに適応させるための標準的な微調整方式を4つのnlpタスク(part-of-speech tagging, chunking, named entity recognition, morphosyntactic tagging)で大幅に改善したことを示す。

関連論文リスト

• Learning to Discover Knowledge: A Weakly-Supervised Partial Domain Adaptation Approach [20.899013563493202]
  ドメイン適応は、リッチアノテーションでソースドメインからの知識を活用することで、魅力的なパフォーマンスを示している。 特定の目標タスクに対して、関連するおよび高品質なソースドメインを収集するのは煩雑である。 本稿では、自己ペースト転送分類器学習(SP-TCL)と呼ばれる、単純で効果的なドメイン適応手法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T12:54:07Z)
• Progressive Conservative Adaptation for Evolving Target Domains [76.9274842289221]
  従来のドメイン適応は、典型的には、ソースドメインから定常ターゲットドメインに知識を転送する。 このような対象データに対する復元と適応は、時間とともに計算とリソース消費をエスカレートする。 我々は、進歩的保守的適応(PCAda)と呼ばれる、単純で効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-02-07T04:11:25Z)
• Domain Adaptation from Scratch [24.612696638386623]
  我々は、NLPを機密ドメインに拡張するために欠かせない、新しい学習セットである「スクラッチからのドメイン適応」を提示する。 この設定では、トレーニングされたモデルがセンシティブなターゲットドメイン上でうまく動作するように、ソースドメインの集合からのデータを効率的にアノテートすることを目的としている。 本研究は、データ選択やドメイン適応アルゴリズムからアクティブな学習パラダイムまで、この挑戦的な設定に対するいくつかのアプローチを比較した。
  論文  参考訳（メタデータ） (2022-09-02T05:55:09Z)
• RAIN: RegulArization on Input and Network for Black-Box Domain Adaptation [80.03883315743715]
  ソースのないドメイン適応は、ソースデータを公開することなく、ソース訓練されたモデルをターゲットドメインに転送する。 このパラダイムは、ソースモデルに対する敵対的な攻撃のため、データ漏洩のリスクがある。 そこで我々は,入力レベルとネットワークレベルの両方の正規化からブラックボックスドメインを適応させる新しい手法であるRAIN(RegulArization on Input and Network)を提案する。
  論文  参考訳（メタデータ） (2022-08-22T18:18:47Z)
• DILBERT: Customized Pre-Training for Domain Adaptation withCategory Shift, with an Application to Aspect Extraction [25.075552473110676]
  事前訓練手順に対する一般的なアプローチは、いくつかのケースでは自然に準最適である。 本稿では,この課題に対処することを目的としたBERTの微調整手法を提案する。 我々は、このスキームをDILBERT: Domain Invariant Learning with BERTと命名し、教師なしドメイン適応設定におけるアスペクト抽出のためにカスタマイズする。
  論文  参考訳（メタデータ） (2021-09-01T18:49:44Z)
• Gradient Regularized Contrastive Learning for Continual Domain Adaptation [86.02012896014095]
  本稿では,ラベル付きソースドメインと非ラベル付きターゲットドメインのシーケンスでモデルを提示する連続的なドメイン適応の問題について検討する。 障害を解決するため,グラディエント正規化コントラスト学習(GRCL)を提案する。 Digits、DomainNet、Office-Caltechベンチマークの実験は、我々のアプローチの強力なパフォーマンスを示しています。
  論文  参考訳（メタデータ） (2021-03-23T04:10:42Z)
• Domain Adaptation for Semantic Parsing [68.81787666086554]
  本稿では,ドメイン適応のための新しいセマンティクスを提案する。このセマンティクスでは,ソースドメインと比較して,対象ドメインのアノテーション付きデータがはるかに少ない。 我々のセマンティックな利点は、2段階の粗大なフレームワークから得ており、2段階の異なる正確な処理を提供できる。 ベンチマークデータセットの実験により、我々の手法はいくつかの一般的なドメイン適応戦略より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-23T14:47:41Z)
• Neural Unsupervised Domain Adaptation in NLP---A Survey [23.104354433276246]
  本稿では,ラベル付き対象領域データを必要としないニューラルネットワークによる非教師なし領域適応手法について検討する。 我々は、初期の非神経的手法から事前訓練されたモデル伝達まで、その方法を概説する。 我々はまた、ドメインの概念を再考し、最も注目を集めた自然言語処理タスクの種類に偏りを見出した。
  論文  参考訳（メタデータ） (2020-05-31T22:34:14Z)
• Vocabulary Adaptation for Distant Domain Adaptation in Neural Machine Translation [14.390932594872233]
  語彙のミスマッチにより、ドメイン間のドメイン適応を効果的に行うことはできない。 本稿では,効果的な微調整法である語彙適応法を提案する。 本手法は,En-JaおよびDe-En翻訳における従来の微調整性能を3.86点,3.28点改善する。
  論文  参考訳（メタデータ） (2020-04-30T14:27:59Z)
• Deep Residual Correction Network for Partial Domain Adaptation [79.27753273651747]
  ディープドメイン適応法は、よくラベルされたソースドメインから異なるが関連する未ラベルのターゲットドメインへの転送可能な表現を学習することで、魅力的なパフォーマンスを実現している。 本稿では,効率よく実装された深部残留補正網を提案する。 部分的、伝統的、微粒なクロスドメイン認識に関する総合的な実験は、DRCNが競合深いドメイン適応アプローチよりも優れていることを示している。
  論文  参考訳（メタデータ） (2020-04-10T06:07:16Z)
• Supervised Domain Adaptation using Graph Embedding [86.3361797111839]
  領域適応法は、2つの領域間の分布がシフトし、それを認識しようとすると仮定する。 グラフ埋め込みに基づく汎用フレームワークを提案する。 提案手法が強力なドメイン適応フレームワークにつながることを示す。
  論文  参考訳（メタデータ） (2020-03-09T12:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。