論文の概要: CLIN-X: pre-trained language models and a study on cross-task transfer
for concept extraction in the clinical domain
- arxiv url: http://arxiv.org/abs/2112.08754v1
- Date: Thu, 16 Dec 2021 10:07:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-17 14:25:38.346125
- Title: CLIN-X: pre-trained language models and a study on cross-task transfer
for concept extraction in the clinical domain
- Title（参考訳）: CLIN-X:事前訓練言語モデルと臨床領域における概念抽出のためのクロスタスク転送に関する研究
- Authors: Lukas Lange, Heike Adel, Jannik Str\"otgen, Dietrich Klakow
- Abstract要約: 事前学習したCLIN-X(Clinical XLM-R)言語モデルを導入し、CLIN-Xが他の事前学習したトランスフォーマーモデルよりも優れていることを示す。
本研究は,250のラベル付き文が利用可能である場合に,47F1ポイントの改善を施した注釈付きデータがないにもかかわらず,安定したモデル性能を示す。
本研究は,非標準領域における概念抽出におけるCLIN-Xとしての特殊言語モデルの重要性を強調した。
- 参考スコア（独自算出の注目度）: 22.846469609263416
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The field of natural language processing (NLP) has recently seen a large
change towards using pre-trained language models for solving almost any task.
Despite showing great improvements in benchmark datasets for various tasks,
these models often perform sub-optimal in non-standard domains like the
clinical domain where a large gap between pre-training documents and target
documents is observed. In this paper, we aim at closing this gap with
domain-specific training of the language model and we investigate its effect on
a diverse set of downstream tasks and settings. We introduce the pre-trained
CLIN-X (Clinical XLM-R) language models and show how CLIN-X outperforms other
pre-trained transformer models by a large margin for ten clinical concept
extraction tasks from two languages. In addition, we demonstrate how the
transformer model can be further improved with our proposed task- and
language-agnostic model architecture based on ensembles over random splits and
cross-sentence context. Our studies in low-resource and transfer settings
reveal stable model performance despite a lack of annotated data with
improvements of up to 47 F1points when only 250 labeled sentences are
available. Our results highlight the importance of specialized language models
as CLIN-X for concept extraction in non-standard domains, but also show that
our task-agnostic model architecture is robust across the tested tasks and
languages so that domain- or task-specific adaptations are not required. The
CLIN-Xlanguage models and source code for fine-tuning and transferring the
model are publicly available at https://github.com/boschresearch/clin\_x/ and
the huggingface model hub.
- Abstract（参考訳）: 自然言語処理(NLP)の分野は最近、ほとんどあらゆるタスクを解くために事前訓練された言語モデルを使用することに大きく変化している。
様々なタスクでベンチマークデータセットが大幅に改善されているにもかかわらず、これらのモデルは、事前トレーニングされたドキュメントとターゲットドキュメントの間の大きなギャップが観察される臨床ドメインのような非標準ドメインで副最適化を実行することが多い。
本稿では,言語モデルのドメイン特化トレーニングでこのギャップを解消することを目的として,下流タスクと設定の多種多様な集合にその影響について検討する。
プレトレーニングされたCLIN-X(Clinical XLM-R)言語モデルを導入し、CLIN-Xが2つの言語から臨床概念抽出タスクを10回行う場合、他のトレーニング済みトランスフォーマーモデルよりも優れていることを示す。
さらに,ランダムスプリットとクロスセンテンスコンテキストを用いたアンサンブルに基づくタスク非依存モデルアーキテクチャにより,トランスフォーマティブモデルをさらに改善できることを実証する。
本研究は,250文のラベル付き文が利用可能である場合に,47F1pointsの改善を伴う注釈付きデータがないにもかかわらず,安定したモデル性能を示すものである。
この結果から,非標準領域における概念抽出におけるCLIN-Xとしての特殊言語モデルの重要性が強調されるとともに,タスクに依存しないモデルアーキテクチャがテスト対象のタスクや言語間で堅牢であるため,ドメインやタスク固有の適応が不要であることを示す。
clin-xlanguageモデルとモデルを微調整および転送するためのソースコードは、https://github.com/boschresearch/clin\_x/とhughingface model hubで公開されている。
関連論文リスト
- QAGAN: Adversarial Approach To Learning Domain Invariant Language
Features [0.76146285961466]
ドメイン不変の特徴を学習するための敵対的学習手法について検討する。
EMスコアが15.2%改善され、ドメイン外の検証データセットでF1スコアが5.6%向上しました。
論文 参考訳（メタデータ） (2022-06-24T17:42:18Z) - A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。
本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。
提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
論文 参考訳（メタデータ） (2022-04-11T18:31:53Z) - Bridging the Gap between Language Models and Cross-Lingual Sequence
Labeling [101.74165219364264]
大規模言語間事前学習言語モデル (xPLM) は、言語間シーケンスラベリングタスクにおいて有効であることを示す。
大きな成功にもかかわらず、事前学習と微調整の段階の間には訓練対象のギャップがあるという経験的観察を描いている。
本稿では,まず,言語間インフォーマティブ・スパン・マスキング(CLISM)と呼ばれるxSLのための事前学習タスクを設計し,目的のギャップを解消する。
第2に、コントラスト学習を利用して入力並列表現間の一貫性を促進するContrAstive-Consistency Regularization (CACR)を提案する。
論文 参考訳（メタデータ） (2022-04-11T15:55:20Z) - X2Parser: Cross-Lingual and Cross-Domain Framework for Task-Oriented
Compositional Semantic Parsing [51.81533991497547]
タスク指向コンポジションセマンティックパーシング(TCSP)は複雑なネストされたユーザクエリを処理する。
本報告では,TCSPの変換可能なクロスランガルとクロスドメインを比較した。
本稿では,フラット化意図とスロット表現を別々に予測し,両方の予測タスクをシーケンスラベリング問題にキャストすることを提案する。
論文 参考訳（メタデータ） (2021-06-07T16:40:05Z) - Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language
Model [58.27176041092891]
最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。
本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。
提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
論文 参考訳（メタデータ） (2020-11-23T16:00:42Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳（メタデータ） (2020-10-24T11:55:28Z) - Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。
言語モデルのための完全合成出力埋め込み層を提案する。
我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
論文 参考訳（メタデータ） (2020-09-24T07:21:14Z) - CALM: Continuous Adaptive Learning for Language Modeling [18.72860206714457]
自然言語処理コミュニティでは,大規模言語表現モデルのトレーニングが標準となっている。
これらの事前学習モデルが破滅的忘れという形で性能劣化を示すことを示す。
言語モデリングのための継続的適応学習CALM:複数のドメインにまたがる知識を保持するモデルをレンダリングする手法を提案する。
論文 参考訳（メタデータ） (2020-04-08T03:51:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。