論文の概要: DILBERT: Customized Pre-Training for Domain Adaptation withCategory
Shift, with an Application to Aspect Extraction
- arxiv url: http://arxiv.org/abs/2109.00571v1
- Date: Wed, 1 Sep 2021 18:49:44 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-04 06:30:39.632577
- Title: DILBERT: Customized Pre-Training for Domain Adaptation withCategory
Shift, with an Application to Aspect Extraction
- Title（参考訳）: DILBERT: カテゴリシフトによるドメイン適応のためのカスタマイズ事前訓練とアスペクト抽出への応用
- Authors: Entony Lekhtman, Yftah Ziser, Roi Reichart
- Abstract要約: 事前訓練手順に対する一般的なアプローチは、いくつかのケースでは自然に準最適である。
本稿では,この課題に対処することを目的としたBERTの微調整手法を提案する。
我々は、このスキームをDILBERT: Domain Invariant Learning with BERTと命名し、教師なしドメイン適応設定におけるアスペクト抽出のためにカスタマイズする。
- 参考スコア（独自算出の注目度）: 25.075552473110676
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rise of pre-trained language models has yielded substantial progress in
the vast majority of Natural Language Processing (NLP) tasks. However, a
generic approach towards the pre-training procedure can naturally be
sub-optimal in some cases. Particularly, fine-tuning a pre-trained language
model on a source domain and then applying it to a different target domain,
results in a sharp performance decline of the eventual classifier for many
source-target domain pairs. Moreover, in some NLP tasks, the output categories
substantially differ between domains, making adaptation even more challenging.
This, for example, happens in the task of aspect extraction, where the aspects
of interest of reviews of, e.g., restaurants or electronic devices may be very
different. This paper presents a new fine-tuning scheme for BERT, which aims to
address the above challenges. We name this scheme DILBERT: Domain Invariant
Learning with BERT, and customize it for aspect extraction in the unsupervised
domain adaptation setting. DILBERT harnesses the categorical information of
both the source and the target domains to guide the pre-training process
towards a more domain and category invariant representation, thus closing the
gap between the domains. We show that DILBERT yields substantial improvements
over state-of-the-art baselines while using a fraction of the unlabeled data,
particularly in more challenging domain adaptation setups.
- Abstract（参考訳）: 事前訓練された言語モデルの台頭は、自然言語処理(NLP)タスクの大部分でかなりの進歩をもたらした。
しかし、事前学習手順への一般的なアプローチは、自然に最適ではない場合もある。
特に、ソースドメイン上で事前訓練された言語モデルを微調整し、異なるターゲットドメインに適用すると、多くのソースターゲットドメインペアに対する最終的な分類器のパフォーマンスが大幅に低下する。
さらに、いくつかのNLPタスクでは、出力カテゴリがドメイン間で大きく異なり、適応がさらに困難になる。
例えば、アスペクト抽出(アスペクト抽出)のタスクでは、レストランや電子機器などのレビューの関心の側面が非常に異なる場合があります。
本稿では,この課題に対処することを目的としたBERTの微調整手法を提案する。
我々は、このスキームをDILBERT: Domain Invariant Learning with BERTと命名し、教師なしドメイン適応設定におけるアスペクト抽出のためにカスタマイズする。
ディルバートは、ソース領域とターゲット領域の両方のカテゴリ情報を利用して、事前学習プロセスをよりドメインとカテゴリ不変表現へと導くことにより、ドメイン間のギャップを閉じる。
DILBERTは、ラベルなしデータのごく一部を使用しながら、最先端のベースラインよりも大幅に改善されていることを示す。
関連論文リスト
- Enhancing Domain Adaptation through Prompt Gradient Alignment [16.618313165111793]
我々は、ドメイン不変性と特定の特徴の両方を学ぶために、素早い学習に基づく一連の作品を開発する。
我々は、UDAを、各目的がドメイン損失で表される多重目的最適化問題とみなした。
提案手法は,異なるUDAベンチマークにおいて,他のプロンプトベースベースラインをはるかに上回っている。
論文 参考訳（メタデータ） (2024-06-13T17:40:15Z) - NormAUG: Normalization-guided Augmentation for Domain Generalization [60.159546669021346]
ディープラーニングのためのNormAUG(Normalization-guided Augmentation)と呼ばれるシンプルで効果的な手法を提案する。
本手法は特徴レベルで多様な情報を導入し,主経路の一般化を改善する。
テスト段階では、アンサンブル戦略を利用して、モデルの補助経路からの予測を組み合わせ、さらなる性能向上を図る。
論文 参考訳（メタデータ） (2023-07-25T13:35:45Z) - Domain Adaptation from Scratch [24.612696638386623]
我々は、NLPを機密ドメインに拡張するために欠かせない、新しい学習セットである「スクラッチからのドメイン適応」を提示する。
この設定では、トレーニングされたモデルがセンシティブなターゲットドメイン上でうまく動作するように、ソースドメインの集合からのデータを効率的にアノテートすることを目的としている。
本研究は、データ選択やドメイン適応アルゴリズムからアクティブな学習パラダイムまで、この挑戦的な設定に対するいくつかのアプローチを比較した。
論文 参考訳（メタデータ） (2022-09-02T05:55:09Z) - From Big to Small: Adaptive Learning to Partial-Set Domains [94.92635970450578]
ドメイン適応は、分布シフト中のラベル付きソースドメインからラベルなしターゲットドメインへの知識獲得と普及を目標とする。
近年の進歩は、大規模の深層学習モデルにより、小規模の下流の多様な課題に取り組むための豊富な知識が得られていることを示している。
本稿では,学習パラダイムである部分領域適応(Partial Domain Adaptation, PDA)を紹介する。
論文 参考訳（メタデータ） (2022-03-14T07:02:45Z) - Domain Adaptation via Prompt Learning [39.97105851723885]
Unsupervised Domain Adaption (UDA) は、十分にアノテーションされたソースドメインから学習したモデルをターゲットドメインに適応させることを目的としている。
我々は,Prompt Learning (DAPL) によるドメイン適応という,UDAのための新しいプロンプト学習パラダイムを導入する。
論文 参考訳（メタデータ） (2022-02-14T13:25:46Z) - Instance Level Affinity-Based Transfer for Unsupervised Domain
Adaptation [74.71931918541748]
ILA-DAと呼ばれる適応中のソースからターゲットへの転送に対するインスタンス親和性に基づく基準を提案する。
まず、ソースとターゲットをまたいだ類似および異種サンプルを抽出し、マルチサンプルのコントラスト損失を利用してドメインアライメントプロセスを駆動する信頼性が高く効率的な手法を提案する。
ILA-DAの有効性は、様々なベンチマークデータセットに対する一般的なドメイン適応手法よりも精度が一貫した改善を観察することによって検証する。
論文 参考訳（メタデータ） (2021-04-03T01:33:14Z) - Curriculum CycleGAN for Textual Sentiment Domain Adaptation with
Multiple Sources [68.31273535702256]
我々は,C-CycleGAN(C-CycleGAN)という,新しいインスタンスレベルのMDAフレームワークを提案する。
C-CycleGANは、(1)異なるドメインからのテキスト入力を連続的な表現空間にエンコードする事前訓練されたテキストエンコーダ、(2)ソースとターゲットドメイン間のギャップを埋めるカリキュラムインスタンスレベルの適応を伴う中間ドメインジェネレータ、(3)中間ドメインで最終感情分類のために訓練されたタスク分類器の3つのコンポーネントから構成される。
3つのベンチマークデータセットに対して広範な実験を行い、最先端のDAアプローチよりも大幅に向上した。
論文 参考訳（メタデータ） (2020-11-17T14:50:55Z) - Knowledge Distillation for BERT Unsupervised Domain Adaptation [2.969705152497174]
トレーニング済みの言語モデルであるBERTは、さまざまな自然言語処理タスクで大幅なパフォーマンス向上を実現している。
蒸留による逆順応法(AAD)を提案する。
ドメイン間感情分類におけるアプローチを30組のドメイン対で評価した。
論文 参考訳（メタデータ） (2020-10-22T06:51:24Z) - Adaptively-Accumulated Knowledge Transfer for Partial Domain Adaptation [66.74638960925854]
部分ドメイン適応(PDA)は、ソースドメインラベル空間がターゲットドメインを置き換えるとき、現実的で困難な問題を扱う。
本稿では,2つの領域にまたがる関連カテゴリを整合させる適応的知識伝達フレームワーク(A$2KT)を提案する。
論文 参考訳（メタデータ） (2020-08-27T00:53:43Z) - Domain Adaptation for Semantic Parsing [68.81787666086554]
本稿では,ドメイン適応のための新しいセマンティクスを提案する。このセマンティクスでは,ソースドメインと比較して,対象ドメインのアノテーション付きデータがはるかに少ない。
我々のセマンティックな利点は、2段階の粗大なフレームワークから得ており、2段階の異なる正確な処理を提供できる。
ベンチマークデータセットの実験により、我々の手法はいくつかの一般的なドメイン適応戦略より一貫して優れていることが示された。
論文 参考訳（メタデータ） (2020-06-23T14:47:41Z) - Learning to adapt class-specific features across domains for semantic
segmentation [36.36210909649728]
本論文では,クラス情報毎に考慮し,ドメイン間の特徴を適応させることを学習する新しいアーキテクチャを提案する。
我々は最近導入されたStarGANアーキテクチャを画像翻訳のバックボーンとして採用している。
論文 参考訳（メタデータ） (2020-01-22T23:51:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。