論文の概要: Inexpensive Domain Adaptation of Pretrained Language Models: Case Studies on Biomedical NER and Covid-19 QA

• arxiv url: http://arxiv.org/abs/2004.03354v4
• Date: Sat, 27 Jun 2020 14:27:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 23:58:19.025269
• Title: Inexpensive Domain Adaptation of Pretrained Language Models: Case Studies on Biomedical NER and Covid-19 QA
• Title（参考訳）: 事前訓練言語モデルの探索的ドメイン適応:バイオメディカルNERとCovid-19 QAを事例として
• Authors: Nina Poerner, Ulli Waltinger and Hinrich Sch\"utze
• Abstract要約: 我々は、ターゲットドメインテキスト上でWord2Vecをトレーニングし、結果のワードベクトルと一般ドメインPTLMのワードピースベクトルを整列する。 我々は、既存の一般ドメイン質問回答(QA)モデルを新興ドメイン(Covid-19パンデミック)に迅速に適応する方法を示す。
• 参考スコア（独自算出の注目度）: 2.879036956042183
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain adaptation of Pretrained Language Models (PTLMs) is typically achieved by unsupervised pretraining on target-domain text. While successful, this approach is expensive in terms of hardware, runtime and CO_2 emissions. Here, we propose a cheaper alternative: We train Word2Vec on target-domain text and align the resulting word vectors with the wordpiece vectors of a general-domain PTLM. We evaluate on eight biomedical Named Entity Recognition (NER) tasks and compare against the recently proposed BioBERT model. We cover over 60% of the BioBERT-BERT F1 delta, at 5% of BioBERT's CO_2 footprint and 2% of its cloud compute cost. We also show how to quickly adapt an existing general-domain Question Answering (QA) model to an emerging domain: the Covid-19 pandemic.
• Abstract（参考訳）: Pretrained Language Models (PTLM) のドメイン適応は、典型的には、対象ドメインのテキストに対する教師なし事前訓練によって達成される。 このアプローチは成功したが、ハードウェア、ランタイム、CO_2排出量の面では高価である。 本稿では、ターゲットドメインテキスト上でWord2Vecをトレーニングし、結果のワードベクトルを汎用ドメインPTLMのワードピースベクトルと整合させる。 我々は,8つの生物医学的名前付きエンティティ認識(NER)タスクを評価し,最近提案されたBioBERTモデルと比較した。 BioBERT-BERT F1デルタの60%以上をカバーしており、BioBERTのCO_2フットプリントの5%、クラウド計算コストの2%をカバーしています。 また、既存の一般ドメイン質問回答(QA)モデルを新興ドメイン(Covid-19パンデミック)に迅速に適応する方法も示す。

関連論文リスト

• Adapting the Mean Teacher for keypoint-based lung registration under geometric domain shifts [75.51482952586773]
  ディープニューラルネットワークは一般的に、ラベル付きトレーニングデータが多く必要であり、トレーニングデータとテストデータの間のドメインシフトに弱い。 本稿では,ラベル付きソースからラベル付きターゲットドメインへのモデルの適用により,画像登録のための幾何学的領域適応手法を提案する。 本手法は,ベースラインモデルの精度を目標データに適合させながら,ベースラインモデルの50%/47%を継続的に改善する。
  論文  参考訳（メタデータ） (2022-07-01T12:16:42Z)
• Sparse*BERT: Sparse Models Generalize To New tasks and Domains [79.42527716035879]
  本稿では, 階層的非構造的マグニチュード・プルーニング(Gradual Unstructured Magnitude Pruning)を用いて, ドメイン間およびタスク間を移動可能なモデルについて検討する。 Sparse*BERTは、非構造化バイオメディカルテキスト上で圧縮されたアーキテクチャを事前学習することで、SparseBioBERTとなることを示す。
  論文  参考訳（メタデータ） (2022-05-25T02:51:12Z)
• CoNTACT: A Dutch COVID-19 Adapted BERT for Vaccine Hesitancy and Argumentation Detection [3.809702129519641]
  CoNTACTは、新型コロナウイルスのツイートのドメインに適応したオランダ語モデルである。 本研究は,(1)バイナリワクチンヘシタシーの検出と(2)ワクチンヘシタシーの議論の検出の2つの課題について検討した。
  論文  参考訳（メタデータ） (2022-03-14T17:55:32Z)
• Biomedical and Clinical Language Models for Spanish: On the Benefits of Domain-Specific Pretraining in a Mid-Resource Scenario [0.05277024349608833]
  本研究は, 異なる事前学習選択を実験することにより, スペイン語の生物医学的, 臨床的言語モデルを示す。 モデルをスクラッチからトレーニングするための十分な臨床データがないため,混合ドメイン事前訓練法とクロスドメイン移行法を適用し,優れたバイオクリニカルモデルを構築した。
  論文  参考訳（メタデータ） (2021-09-08T12:12:07Z)
• Contrastive Learning and Self-Training for Unsupervised Domain Adaptation in Semantic Segmentation [71.77083272602525]
  UDAはラベル付きソースドメインからラベルなしターゲットドメインへの効率的な知識伝達を試みている。 本稿では,領域にまたがるカテゴリ別センタロイドを適応させるコントラスト学習手法を提案する。 提案手法を自己学習で拡張し,メモリ効率の良い時間アンサンブルを用いて一貫性と信頼性の高い擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2021-05-05T11:55:53Z)
• On Universal Black-Box Domain Adaptation [53.7611757926922]
  実践的な展開という観点から,ドメイン適応の最小限の制約条件について検討する。 ソースモデルのインターフェースのみがターゲットドメインで利用可能であり、2つのドメイン間のラベル空間関係が異なることや未知であることが許されている。 対象試料の局所近傍における予測の整合性によって正規化された自己訓練フレームワークに統一することを提案する。
  論文  参考訳（メタデータ） (2021-04-10T02:21:09Z)
• BioMegatron: Larger Biomedical Domain Language Model [10.861369276414525]
  ドメイン言語アプリケーションの性能に影響を与えるいくつかの要因について検討し、評価する。 より大規模なドメインコーパスでトレーニングしたBioMegatronモデルとベンチマークで一貫した改善を示す。
  論文  参考訳（メタデータ） (2020-10-12T22:46:10Z)
• BioALBERT: A Simple and Effective Pre-trained Language Model for Biomedical Named Entity Recognition [9.05154470433578]
  既存のBioNERアプローチはこれらの問題を無視し、最先端(SOTA)モデルを直接採用することが多い。 本稿では,大規模バイオメディカルコーパスを用いた効果的なドメイン固有言語モデルであるALBERTを提案する。
  論文  参考訳（メタデータ） (2020-09-19T12:58:47Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)
• Don't Stop Pretraining: Adapt Language Models to Domains and Tasks [81.99843216550306]
  バイオメディカルおよびコンピュータサイエンスの出版物、ニュース、レビュー)と8つの分類タスクについて調査する。 ドメイン内の事前トレーニング(ドメイン適応型事前トレーニング)の第2フェーズでは、パフォーマンスが向上する。 タスクの未ラベルデータ(タスク適応事前トレーニング)に適応することで、ドメイン適応事前トレーニング後のパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-04-23T04:21:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。