論文の概要: Few shot clinical entity recognition in three languages: Masked language
models outperform LLM prompting
- arxiv url: http://arxiv.org/abs/2402.12801v1
- Date: Tue, 20 Feb 2024 08:20:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 16:18:36.161130
- Title: Few shot clinical entity recognition in three languages: Masked language
models outperform LLM prompting
- Title(参考訳): 3つの言語における臨床的実体認識 : マスケッド言語モデルによるLCMプロンプトの向上
- Authors: Marco Naguib, Xavier Tannier, Aur\'elie N\'ev\'eol
- Abstract要約: 我々は,英語,フランス語,スペイン語で,ドメイン内(クリニカル)8個とアウトドメイン金標準コーパス6個を用いて,名前付きエンティティ認識を評価した。
100文に注釈付きデータの量を制限することで、数ショットのセットアップを作成します。
以上の結果から,より大型のプロンプトベースモデルでは,臨床領域外における名前付き実体認識のF値の競合が期待できる傾向にあるが,このレベルが臨床領域に及ばないことが明らかとなった。
- 参考スコア(独自算出の注目度): 2.3357645240384874
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large Language Models are becoming the go-to solution for many natural
language processing tasks, including in specialized domains where their
few-shot capacities are expected to yield high performance in low-resource
settings. Herein, we aim to assess the performance of Large Language Models for
few shot clinical entity recognition in multiple languages. We evaluate named
entity recognition in English, French and Spanish using 8 in-domain (clinical)
and 6 out-domain gold standard corpora. We assess the performance of 10
auto-regressive language models using prompting and 16 masked language models
used for text encoding in a biLSTM-CRF supervised tagger. We create a few-shot
set-up by limiting the amount of annotated data available to 100 sentences. Our
experiments show that although larger prompt-based models tend to achieve
competitive F-measure for named entity recognition outside the clinical domain,
this level of performance does not carry over to the clinical domain where
lighter supervised taggers relying on masked language models perform better,
even with the performance drop incurred from the few-shot set-up. In all
experiments, the CO2 impact of masked language models is inferior to that of
auto-regressive models. Results are consistent over the three languages and
suggest that few-shot learning using Large language models is not production
ready for named entity recognition in the clinical domain. Instead, models
could be used for speeding-up the production of gold standard annotated data.
- Abstract(参考訳): 大規模言語モデルは、少数のショット能力が低リソース環境で高いパフォーマンスを期待される特殊なドメインを含む、多くの自然言語処理タスクのゴーツーソリューションになりつつある。
本稿では,多言語での臨床エンティティ認識を行う場合の大規模言語モデルの性能を評価することを目的とした。
英語,フランス語,スペイン語で名前付きエンティティ認識を8個のin-domain (clinical) と6個のout-domain gold標準コーパスを用いて評価した。
テキストエンコーディングに使用されるプロンプトと16個のマスク付き言語モデルを用いて,biLSTM-CRF教師付きタグを用いた10個の自動回帰言語モデルの性能を評価する。
100文に注釈付きデータの量を制限することで、数ショットのセットアップを作成します。
以上の結果から,より大規模なプロンプトベースモデルでは,臨床領域外において名前付きエンティティ認識のためのF尺度の競争性が向上する傾向にあるが,このレベルは,マスク付き言語モデルに依存した軽い教師付きタグが,数発のセットアップによる性能低下を伴っても,臨床領域に留まらないことが明らかとなった。
全ての実験において、マスキング言語モデルのCO2の影響は自己回帰モデルよりも劣っている。
結果は3つの言語に一貫したものであり、臨床領域における名前付きエンティティ認識のための大規模言語モデルを用いた少数ショット学習が生産可能でないことを示唆している。
代わりに、モデルはゴールド標準のアノテートデータの生産を高速化するために使用できる。
関連論文リスト
- KBioXLM: A Knowledge-anchored Biomedical Multilingual Pretrained
Language Model [37.69464822182714]
ほとんどの生物医学的な事前訓練された言語モデルはモノリンガルであり、言語間要求の増大に対処できない。
本稿では,多言語事前学習型XLM-Rを知識アンコール手法を用いて生物医学領域に変換するKBioXLMというモデルを提案する。
論文 参考訳(メタデータ) (2023-11-20T07:02:35Z) - Improving Massively Multilingual ASR With Auxiliary CTC Objectives [40.10307386370194]
FLEURSは102言語によるオープンASRベンチマークである。
我々は,最近のコネクショニスト時間分類(CTC)研究から着想を得た手法を考察し,モデルが多数の言語を扱えるようにした。
コンバータアーキテクチャを用いた自己教師型モデルを用いた最先端システムでは,相対28.4%CERによるFLEURSの先行研究よりも改善されている。
論文 参考訳(メタデータ) (2023-02-24T18:59:51Z) - Multi-lingual Evaluation of Code Generation Models [82.7357812992118]
本稿では,MBXPとMultilingual HumanEval,MathQA-Xという,評価コード生成モデルに関する新しいベンチマークを提案する。
これらのデータセットは10以上のプログラミング言語をカバーする。
コード生成モデルの性能を多言語で評価することができる。
論文 参考訳(メタデータ) (2022-10-26T17:17:06Z) - Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of
Code-Mixed Clinical Texts [56.72488923420374]
事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。
脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
論文 参考訳(メタデータ) (2022-04-10T21:46:52Z) - CLIN-X: pre-trained language models and a study on cross-task transfer
for concept extraction in the clinical domain [22.846469609263416]
事前学習したCLIN-X(Clinical XLM-R)言語モデルを導入し、CLIN-Xが他の事前学習したトランスフォーマーモデルよりも優れていることを示す。
本研究は,250のラベル付き文が利用可能である場合に,47F1ポイントまで改善された注釈付きデータがないにもかかわらず,安定したモデル性能を示す。
本研究は,非標準領域における概念抽出におけるCLIN-Xとしての特殊言語モデルの重要性を強調した。
論文 参考訳(メタデータ) (2021-12-16T10:07:39Z) - Improving the Lexical Ability of Pretrained Language Models for
Unsupervised Neural Machine Translation [127.81351683335143]
クロスリンガルプリトレーニングは、2つの言語の語彙的表現と高レベル表現を整列させるモデルを必要とする。
これまでの研究では、これは表現が十分に整合していないためです。
本稿では,語彙レベルの情報で事前学習するバイリンガルマスク言語モデルを,型レベルのクロスリンガルサブワード埋め込みを用いて強化する。
論文 参考訳(メタデータ) (2021-03-18T21:17:58Z) - UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。
キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。
本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
論文 参考訳(メタデータ) (2020-12-31T11:37:28Z) - Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language
Model [58.27176041092891]
最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。
本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。
提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
論文 参考訳(メタデータ) (2020-11-23T16:00:42Z) - Improving Massively Multilingual Neural Machine Translation and
Zero-Shot Translation [81.7786241489002]
ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。
我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。
未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
論文 参考訳(メタデータ) (2020-04-24T17:21:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。