論文の概要: A Benchmark Evaluation of Clinical Named Entity Recognition in French
- arxiv url: http://arxiv.org/abs/2403.19726v1
- Date: Thu, 28 Mar 2024 07:59:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 17:33:35.735010
- Title: A Benchmark Evaluation of Clinical Named Entity Recognition in French
- Title（参考訳）: フランス語における臨床名前付きエンティティ認識のベンチマーク評価
- Authors: Nesrine Bannour, Christophe Servan, Aurélie Névéol, Xavier Tannier,
- Abstract要約: バイオメディカルモデルであるCamemBERT-bioとDrBERTを評価し,標準フランスのモデルであるCamemBERT,FrauBERT,FrALBERTと比較した。
その結果,CamemBERT-bioはDrBERTを一貫して上回り,FrauBERTは競争性能を示し,FrAlBERTは最も低い炭素プリントを達成することが示唆された。
- 参考スコア（独自算出の注目度）: 4.430193084761607
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Background: Transformer-based language models have shown strong performance on many Natural LanguageProcessing (NLP) tasks. Masked Language Models (MLMs) attract sustained interest because they can be adaptedto different languages and sub-domains through training or fine-tuning on specific corpora while remaining lighterthan modern Large Language Models (LLMs). Recently, several MLMs have been released for the biomedicaldomain in French, and experiments suggest that they outperform standard French counterparts. However, nosystematic evaluation comparing all models on the same corpora is available. Objective: This paper presentsan evaluation of masked language models for biomedical French on the task of clinical named entity recognition.Material and methods: We evaluate biomedical models CamemBERT-bio and DrBERT and compare them tostandard French models CamemBERT, FlauBERT and FrALBERT as well as multilingual mBERT using three publicallyavailable corpora for clinical named entity recognition in French. The evaluation set-up relies on gold-standardcorpora as released by the corpus developers. Results: Results suggest that CamemBERT-bio outperformsDrBERT consistently while FlauBERT offers competitive performance and FrAlBERT achieves the lowest carbonfootprint. Conclusion: This is the first benchmark evaluation of biomedical masked language models for Frenchclinical entity recognition that compares model performance consistently on nested entity recognition using metricscovering performance and environmental impact.
- Abstract（参考訳）: 背景: トランスフォーマーベースの言語モデルは、多くの自然言語処理(NLP)タスクで強いパフォーマンスを示している。
Masked Language Models (MLMs) は、異なる言語やサブドメインに適応し、訓練や特定のコーパスの微調整を行いながら、軽量で近代的なLarge Language Models (LLMs) を維持できるため、持続的な関心を集めている。
近年、フランスのバイオメディカルドメイン向けにいくつかのMLMがリリースされており、実験の結果、標準のフランスのドメインよりも優れていることが示唆されている。
しかし、同じコーパス上の全てのモデルを比較したノシステマティックな評価は可能である。
目的: 本論文は, 生物医学モデルであるCamemBERT-bioとDrBERTの評価を行い, 標準フランス語モデルであるCamemBERT, FlauBERT, FrALBERT, および3つの公用コーパスを用いた多言語mBERTとの比較を行った。
評価セットは、コーパス開発者がリリースしたゴールドスタンダードコーパスに依存している。
その結果、CamemBERT-bioは一貫してDrBERTを上回り、FrauBERTは競争性能を示し、FrAlBERTは最低のカーボンフットプリントを達成することが示唆された。
結論: これは、バイオメディカルマスキング言語モデルの最初のベンチマーク評価であり、メトリクス探索性能と環境影響を用いて、ネストされたエンティティ認識におけるモデル性能を一貫して比較する。
関連論文リスト
- P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
大きな言語モデル(LLM)は、翻訳、コード生成、推論といったタスクにまたがる様々な多言語機能を示す。
以前の評価では、その範囲を基本自然言語処理(NLP)や、独立した機能固有のタスクに制限することが多かった。
我々は、これらのベンチマークの有用性に関する以前の研究の監視に対処するため、大規模ベンチマークから利用可能な、合理的なベンチマークを選択するパイプラインを提案する。
本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval。
論文 参考訳（メタデータ） (2024-11-14T01:29:36Z) - DrBenchmark: A Large Language Understanding Evaluation Benchmark for
French Biomedical Domain [8.246368441549967]
我々はDrBenchmarkと呼ばれるフランスの生物医学言語理解ベンチマークを公開している。
名前付き認識、音声タグ付け、質問回答、意味的テキスト類似性、分類を含む20のタスクを含む。
一般およびバイオメディカル特化データに基づいて8つの最先端の事前訓練マスク付き言語モデル (MLM) を評価し, それらの言語間能力を評価する。
論文 参考訳（メタデータ） (2024-02-20T23:54:02Z) - CamemBERT-bio: Leveraging Continual Pre-training for Cost-Effective Models on French Biomedical Data [1.1265248232450553]
BERTライクなモデルによるトランスファーラーニングは、特に名前付きエンティティ認識において、フランス語に大きな進歩をもたらした。
我々は,フランスの生物医学モデルであるCamemBERT-bioを紹介した。
連続的な事前トレーニングを通じて、CamemBERT-bioは、様々な生物医学的名前付きエンティティ認識タスクで平均2.54ポイントのF1スコアを達成している。
論文 参考訳（メタデータ） (2023-06-27T15:23:14Z) - Evaluating the Performance of Large Language Models on GAOKAO Benchmark [53.663757126289795]
本稿では,中国のガオカオ検定の質問をサンプルとして用いた直感的なベンチマークであるガオカオベンチについて紹介する。
人間の評価により, GPT-4, ChatGPT, ERNIE-Botを含むLLMの変換総得点を得た。
また、LLMを用いて主観的質問を格付けし、モデルスコアが人間のスコアと適度な一貫性を達成することを確認する。
論文 参考訳（メタデータ） (2023-05-21T14:39:28Z) - Entity-Assisted Language Models for Identifying Check-worthy Sentences [23.792877053142636]
テキスト分類とランキングのための統一的なフレームワークを提案する。
本フレームワークは,文の意味的分析と,文内の識別されたエンティティから得られる追加のエンティティ埋め込みを組み合わせる。
CLEFの2019年と2020年のCheckThat! Labsから公開されている2つのデータセットを使用して、我々のフレームワークの有効性を広く評価する。
論文 参考訳（メタデータ） (2022-11-19T12:03:30Z) - SMTCE: A Social Media Text Classification Evaluation Benchmark and
BERTology Models for Vietnamese [3.0938904602244355]
本稿では,様々なSMTCタスクを対象としたデータセットとモデルの収集として,ソーシャルメディアテキスト分類評価(SMTCE)ベンチマークを紹介する。
我々は,多言語BERTベースモデルと単言語BERTベースモデルの有効性をベンチマークで実装し,解析する。
このベンチマークは、多言語および単言語BERTベースのモデルを客観的に評価し、ベトナム語のBERTologyに関する将来の研究に役立つだろう。
論文 参考訳（メタデータ） (2022-09-21T16:33:46Z) - Negation detection in Dutch clinical texts: an evaluation of rule-based
and machine learning methods [0.21079694661943607]
オランダ臨床ノートにおける否定検出の3つの方法の比較を行った。
その結果,biLSTMモデルとRoBERTaモデルはF1スコア,精度,リコールという点で,ルールベースモデルよりも一貫して優れていた。
論文 参考訳（メタデータ） (2022-09-01T14:00:13Z) - Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of
Code-Mixed Clinical Texts [56.72488923420374]
事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。
脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
論文 参考訳（メタデータ） (2022-04-10T21:46:52Z) - CBLUE: A Chinese Biomedical Language Understanding Evaluation Benchmark [51.38557174322772]
中国初のバイオメディカル言語理解評価ベンチマークを提示する。
名前付きエンティティ認識、情報抽出、臨床診断正規化、単文/文対分類を含む自然言語理解タスクのコレクションである。
本研究は,現在の11種類の中国モデルによる実験結果について報告し,その実験結果から,現在最先端のニューラルモデルがヒトの天井よりもはるかに悪い性能を示すことが示された。
論文 参考訳（メタデータ） (2021-06-15T12:25:30Z) - UmlsBERT: Clinical Domain Knowledge Augmentation of Contextual
Embeddings Using the Unified Medical Language System Metathesaurus [73.86656026386038]
事前学習プロセス中にドメイン知識を統合するコンテキスト埋め込みモデルであるUmlsBERTを紹介する。
これらの2つの戦略を適用することで、UmlsBERTは、臨床領域の知識を単語埋め込みにエンコードし、既存のドメイン固有モデルより優れている。
論文 参考訳（メタデータ） (2020-10-20T15:56:31Z) - Domain-Specific Language Model Pretraining for Biomedical Natural
Language Processing [73.37262264915739]
バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。
実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
論文 参考訳（メタデータ） (2020-07-31T00:04:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。