論文の概要: Few shot clinical entity recognition in three languages: Masked language
models outperform LLM prompting
- arxiv url: http://arxiv.org/abs/2402.12801v1
- Date: Tue, 20 Feb 2024 08:20:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 16:18:36.161130
- Title: Few shot clinical entity recognition in three languages: Masked language
models outperform LLM prompting
- Title（参考訳）: 3つの言語における臨床的実体認識 : マスケッド言語モデルによるLCMプロンプトの向上
- Authors: Marco Naguib, Xavier Tannier, Aur\'elie N\'ev\'eol
- Abstract要約: 我々は,英語,フランス語,スペイン語で,ドメイン内(クリニカル)8個とアウトドメイン金標準コーパス6個を用いて,名前付きエンティティ認識を評価した。
100文に注釈付きデータの量を制限することで、数ショットのセットアップを作成します。
以上の結果から,より大型のプロンプトベースモデルでは,臨床領域外における名前付き実体認識のF値の競合が期待できる傾向にあるが,このレベルが臨床領域に及ばないことが明らかとなった。
- 参考スコア（独自算出の注目度）: 2.3357645240384874
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large Language Models are becoming the go-to solution for many natural
language processing tasks, including in specialized domains where their
few-shot capacities are expected to yield high performance in low-resource
settings. Herein, we aim to assess the performance of Large Language Models for
few shot clinical entity recognition in multiple languages. We evaluate named
entity recognition in English, French and Spanish using 8 in-domain (clinical)
and 6 out-domain gold standard corpora. We assess the performance of 10
auto-regressive language models using prompting and 16 masked language models
used for text encoding in a biLSTM-CRF supervised tagger. We create a few-shot
set-up by limiting the amount of annotated data available to 100 sentences. Our
experiments show that although larger prompt-based models tend to achieve
competitive F-measure for named entity recognition outside the clinical domain,
this level of performance does not carry over to the clinical domain where
lighter supervised taggers relying on masked language models perform better,
even with the performance drop incurred from the few-shot set-up. In all
experiments, the CO2 impact of masked language models is inferior to that of
auto-regressive models. Results are consistent over the three languages and
suggest that few-shot learning using Large language models is not production
ready for named entity recognition in the clinical domain. Instead, models
could be used for speeding-up the production of gold standard annotated data.
- Abstract（参考訳）: 大規模言語モデルは、少数のショット能力が低リソース環境で高いパフォーマンスを期待される特殊なドメインを含む、多くの自然言語処理タスクのゴーツーソリューションになりつつある。
本稿では,多言語での臨床エンティティ認識を行う場合の大規模言語モデルの性能を評価することを目的とした。
英語,フランス語,スペイン語で名前付きエンティティ認識を8個のin-domain (clinical) と6個のout-domain gold標準コーパスを用いて評価した。
テキストエンコーディングに使用されるプロンプトと16個のマスク付き言語モデルを用いて,biLSTM-CRF教師付きタグを用いた10個の自動回帰言語モデルの性能を評価する。
100文に注釈付きデータの量を制限することで、数ショットのセットアップを作成します。
以上の結果から,より大規模なプロンプトベースモデルでは,臨床領域外において名前付きエンティティ認識のためのF尺度の競争性が向上する傾向にあるが,このレベルは,マスク付き言語モデルに依存した軽い教師付きタグが,数発のセットアップによる性能低下を伴っても,臨床領域に留まらないことが明らかとなった。
全ての実験において、マスキング言語モデルのCO2の影響は自己回帰モデルよりも劣っている。
結果は3つの言語に一貫したものであり、臨床領域における名前付きエンティティ認識のための大規模言語モデルを用いた少数ショット学習が生産可能でないことを示唆している。
代わりに、モデルはゴールド標準のアノテートデータの生産を高速化するために使用できる。
関連論文リスト
- Transformer-Based Contextualized Language Models Joint with Neural Networks for Natural Language Inference in Vietnamese [1.7457686843484872]
文脈型言語モデル(CLM)とニューラルネットワークの様々な組み合わせを用いて実験を行う。
CLMとニューラルネットワークのジョイントアプローチはシンプルだが,高品質な性能を実現することができる。
論文 参考訳（メタデータ） (2024-11-20T15:46:48Z) - GEIC: Universal and Multilingual Named Entity Recognition with Large Language Models [7.714969840571947]
ジェネレーションベース抽出とテキスト内分類(GEIC)の課題について紹介する。
次に,多言語GEICフレームワークであるCascadeNERを提案する。
我々はまた、Large Language Models(LLMs)用に特別に設計された最初のNERデータセットであるAnythingNERを紹介します。
論文 参考訳（メタデータ） (2024-09-17T09:32:12Z) - Unlocking the Potential of Model Merging for Low-Resource Languages [66.7716891808697]
大規模言語モデルを新しい言語に適応させるには、通常、継続事前訓練(CT)と、教師付き微調整(SFT)が含まれる。
我々は低リソース言語の代替としてモデルマージを提案し、異なる機能を持つモデルを追加トレーニングなしで単一のモデルに組み合わせる。
Llama-2-7Bをベースとした実験により、モデルマージはタスク解決能力の低い低リソース言語に対して、極めて少ないデータを持つシナリオにおいて、CT-then-SFTよりも優れていることが実証された。
論文 参考訳（メタデータ） (2024-07-04T15:14:17Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳（メタデータ） (2023-12-26T07:24:46Z) - CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。
このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。
LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
論文 参考訳（メタデータ） (2023-11-29T08:29:54Z) - Exploring the Potential of Large Language Models in Computational Argumentation [54.85665903448207]
大規模言語モデル (LLM) は、文脈を理解し、自然言語を生成するという印象的な能力を実証している。
この研究は、ChatGPT、Flanモデル、LLaMA2モデルなどのLLMをゼロショットと少数ショットの両方で評価することを目的としている。
論文 参考訳（メタデータ） (2023-11-15T15:12:15Z) - On the Analysis of Cross-Lingual Prompt Tuning for Decoder-based
Multilingual Model [49.81429697921861]
多言語自己回帰モデルにおけるパラメータ効率細調整(PEFT)と言語間タスクの相互作用について検討する。
高速チューニングは、微調整よりも低リソース言語の性能向上に有効であることを示す。
論文 参考訳（メタデータ） (2023-11-14T00:43:33Z) - How far is Language Model from 100% Few-shot Named Entity Recognition in Medical Domain [14.635536657783613]
本研究の目的は、医療領域における100%Few-shot NERのLMのパフォーマンスを比較して、医療領域における100%Few-shot NERのLMのパフォーマンスについて答えることである。
以上の結果から, LLMは, 適切な例や適切な論理的枠組みの存在から, 数発のNERタスクにおいてSLMよりも優れていたことが示唆された。
本研究では, 検索者, 関連事例, 思考者として機能し, ステップ・バイ・ステップの推論プロセスを採用する,textscRT (Retrieving and Thinking) という, シンプルで効果的な手法を提案する。
論文 参考訳（メタデータ） (2023-07-01T01:18:09Z) - Extrapolating Multilingual Understanding Models as Multilingual
Generators [82.1355802012414]
本稿では,多言語理解モデルに統一モデルを得るための生成能力を付与する手法について検討する。
少数の新しいパラメータを持つ多言語ジェネレータにエンコーダを適用するために,textbfSemantic-textbfGuided textbfAlignment-then-Denoising (SGA)アプローチを提案する。
論文 参考訳（メタデータ） (2023-05-22T15:33:21Z) - MEGA: Multilingual Evaluation of Generative AI [23.109803506475174]
生成AIモデルは、多くの自然言語処理タスクで素晴らしいパフォーマンスを示している。
LLMのほとんどの研究は英語に限られている。
これらのモデルが、他の言語でのテキストの理解と生成にどの程度の能力があるかは定かではない。
論文 参考訳（メタデータ） (2023-03-22T13:03:10Z) - MicroBERT: Effective Training of Low-resource Monolingual BERTs through
Parameter Reduction and Multitask Learning [12.640283469603357]
トランスフォーマー言語モデル(TLM)は、ほとんどのNLPタスクには必須であるが、必要な事前学習データが多いため、低リソース言語では作成が困難である。
本研究では,低リソース環境下でモノリンガルなTLMを訓練する2つの手法について検討する。
7つの多様な言語から得られた結果から,私たちのモデルであるMicroBERTは,典型的なモノリンガルなTLM事前学習手法と比較して,下流タスク評価において顕著な改善を達成できたことが示唆された。
論文 参考訳（メタデータ） (2022-12-23T18:18:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。