論文の概要: Domain Adversarial Fine-Tuning as an Effective Regularizer

• arxiv url: http://arxiv.org/abs/2009.13366v2
• Date: Mon, 5 Oct 2020 23:56:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 21:04:35.842331
• Title: Domain Adversarial Fine-Tuning as an Effective Regularizer
• Title（参考訳）: 有効正則化剤としてのドメイン敵対的微調整
• Authors: Giorgos Vernikos, Katerina Margatina, Alexandra Chronopoulou, Ion Androutsopoulos
• Abstract要約: 自然言語処理(NLP)では、下流タスクに転送される事前訓練された言語モデル(LM)が、最先端の結果を得るために最近示されている。 標準的な微調整は、事前トレーニング中にキャプチャされた汎用ドメイン表現を分解することができる。 本稿では,新しい正規化手法である After; 有効正規化器としてのドメイン・アダクショナル・ファイン・チューニングを提案する。
• 参考スコア（独自算出の注目度）: 80.14528207465412
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In Natural Language Processing (NLP), pretrained language models (LMs) that are transferred to downstream tasks have been recently shown to achieve state-of-the-art results. However, standard fine-tuning can degrade the general-domain representations captured during pretraining. To address this issue, we introduce a new regularization technique, AFTER; domain Adversarial Fine-Tuning as an Effective Regularizer. Specifically, we complement the task-specific loss used during fine-tuning with an adversarial objective. This additional loss term is related to an adversarial classifier, that aims to discriminate between in-domain and out-of-domain text representations. In-domain refers to the labeled dataset of the task at hand while out-of-domain refers to unlabeled data from a different domain. Intuitively, the adversarial classifier acts as a regularizer which prevents the model from overfitting to the task-specific domain. Empirical results on various natural language understanding tasks show that AFTER leads to improved performance compared to standard fine-tuning.
• Abstract（参考訳）: 自然言語処理(NLP)では、下流タスクに転送される事前訓練された言語モデル(LM)が、最先端の結果を得るために最近示されている。 しかし、標準的な微調整は、事前トレーニング中にキャプチャされた一般ドメイン表現を劣化させることができる。 この問題に対処するために,新しい正規化手法であるafter,domain adversarial fine-tuningを有効な正規化器として導入する。 具体的には、微調整時に使用するタスク固有の損失を、対向目的に補完する。 この追加損失項は、ドメイン内とドメイン外のテキスト表現を区別することを目的とした逆分類器に関連している。 ドメイン内はタスクのラベル付きデータセットを指し、ドメイン外は別のドメインからのラベルなしデータを指します。 直感的には、敵の分類器は、モデルがタスク固有のドメインに過剰に適合することを防ぐ正規化器として振る舞う。 各種自然言語理解タスクにおける実験結果から, 通常の微調整よりも性能が向上したことが明らかとなった。

関連論文リスト

• Regex-augmented Domain Transfer Topic Classification based on a Pre-trained Language Model: An application in Financial Domain [42.5087655999509]
  本稿では,微調整過程におけるドメイン知識の特徴として,正規表現パターンの利用について論じる。 実シナリオ生成データを用いた実験により,本手法が下流のテキスト分類タスクを改善することを示す。
  論文  参考訳（メタデータ） (2023-05-23T03:26:32Z)
• Cyclically Disentangled Feature Translation for Face Anti-spoofing [61.70377630461084]
  循環不整合特徴変換ネットワーク(CDFTN)と呼ばれる新しい領域適応手法を提案する。 CDFTNは、(1)ソースドメイン不変の生長特徴と2)ドメイン固有のコンテンツ特徴とを持つ擬似ラベル付きサンプルを生成する。 ソースドメインラベルの監督の下で、合成擬似ラベル付き画像に基づいてロバスト分類器を訓練する。
  論文  参考訳（メタデータ） (2022-12-07T14:12:34Z)
• Domain Classification-based Source-specific Term Penalization for Domain Adaptation in Hate-speech Detection [30.462596705180534]
  ヘイトスピーチ検出のための最先端のアプローチは、ドメイン外の設定ではパフォーマンスが悪い。 本稿では,ソース固有項を自動的に抽出し,ペナライズするドメイン適応手法を提案する。
  論文  参考訳（メタデータ） (2022-09-18T23:52:22Z)
• Task Transfer and Domain Adaptation for Zero-Shot Question Answering [18.188082154309175]
  我々は、ソースドメインデータに対する教師付き事前トレーニングを使用して、ドメイン固有の下流タスクにおけるサンプルの複雑さを減らします。 タスク転送とドメイン適応を組み合わせることで、ドメイン固有読解タスクのゼロショット性能を評価する。
  論文  参考訳（メタデータ） (2022-06-14T09:10:48Z)
• Domain-Agnostic Prior for Transfer Semantic Segmentation [197.9378107222422]
  教師なしドメイン適応(UDA)はコンピュータビジョンコミュニティにおいて重要なトピックである。 ドメインに依存しない事前学習(DAP)を用いてドメイン間表現学習を規則化する機構を提案する。 我々の研究は、UDAがより良いプロキシ、おそらく他のデータモダリティの恩恵を受けていることを明らかにしている。
  論文  参考訳（メタデータ） (2022-04-06T09:13:25Z)
• Task-specific Inconsistency Alignment for Domain Adaptive Object Detection [38.027790951157705]
  大量のラベル付きデータでトレーニングされた検出器は、データ分散ギャップのある特定のシナリオで劇的なパフォーマンス劣化を示すことが多い。 本稿では,タスク固有の不整合アライメント(TIA)を提案する。 TIAは,従来の最先端手法よりも,様々なシナリオにおいて優れた結果を示す。
  論文  参考訳（メタデータ） (2022-03-29T08:36:33Z)
• DILBERT: Customized Pre-Training for Domain Adaptation withCategory Shift, with an Application to Aspect Extraction [25.075552473110676]
  事前訓練手順に対する一般的なアプローチは、いくつかのケースでは自然に準最適である。 本稿では,この課題に対処することを目的としたBERTの微調整手法を提案する。 我々は、このスキームをDILBERT: Domain Invariant Learning with BERTと命名し、教師なしドメイン適応設定におけるアスペクト抽出のためにカスタマイズする。
  論文  参考訳（メタデータ） (2021-09-01T18:49:44Z)
• Contrastive Learning and Self-Training for Unsupervised Domain Adaptation in Semantic Segmentation [71.77083272602525]
  UDAはラベル付きソースドメインからラベルなしターゲットドメインへの効率的な知識伝達を試みている。 本稿では,領域にまたがるカテゴリ別センタロイドを適応させるコントラスト学習手法を提案する。 提案手法を自己学習で拡張し,メモリ効率の良い時間アンサンブルを用いて一貫性と信頼性の高い擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2021-05-05T11:55:53Z)
• Re-energizing Domain Discriminator with Sample Relabeling for Adversarial Domain Adaptation [88.86865069583149]
  Unsupervised Domain Adapt (UDA)メソッドは、ドメインの競合トレーニングを利用して、機能を調整してドメインのギャップを減らす。 本研究では,Re-enforceable Adversarial Domain Adaptation (RADA) と呼ばれる効率的な最適化戦略を提案する。 RADAは、動的ドメインラベルを使用して、トレーニング中にドメイン識別器を再活性化することを目指しています。
  論文  参考訳（メタデータ） (2021-03-22T08:32:55Z)
• Alleviating Semantic-level Shift: A Semi-supervised Domain Adaptation Method for Semantic Segmentation [97.8552697905657]
  このタスクの重要な課題は、ソースとターゲットドメイン間のデータ分散の相違を緩和する方法である。 本稿では,グローバルな視点とローカルな視点の両方から分布の整合性を促進できるASS(Alleviating Semantic-level Shift)を提案する。 GTA5、Cityscapes、Synthia、Cityscapesの2つのドメイン適応タスクにASSを適用します。
  論文  参考訳（メタデータ） (2020-04-02T03:25:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。