論文の概要: How far is Language Model from 100% Few-shot Named Entity Recognition in
Medical Domain
- arxiv url: http://arxiv.org/abs/2307.00186v1
- Date: Sat, 1 Jul 2023 01:18:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-05 17:33:57.819728
- Title: How far is Language Model from 100% Few-shot Named Entity Recognition in
Medical Domain
- Title(参考訳): 医療領域における100%最小限のエンティティ認識から言語モデルまでの距離
- Authors: Mingchen Li and Rui Zhang
- Abstract要約: 本研究の目的は、医療領域における100%Few-shot NERのLMのパフォーマンスを比較して、医療領域における100%Few-shot NERのLMのパフォーマンスについて答えることである。
以上の結果から, LLMは, 適切な例や適切な論理的枠組みの存在から, 数発のNERタスクにおいてSLMよりも優れていたことが示唆された。
本研究では, 検索者, 関連事例, 思考者として機能し, ステップ・バイ・ステップの推論プロセスを採用する,textscRT (Retrieving and Thinking) という, シンプルで効果的な手法を提案する。
- 参考スコア(独自算出の注目度): 14.911337976139409
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advancements in language models (LMs) have led to the emergence of
powerful models such as Small LMs (e.g., T5) and Large LMs (e.g., GPT-4). These
models have demonstrated exceptional capabilities across a wide range of tasks,
such as name entity recognition (NER) in the general domain. (We define SLMs as
pre-trained models with fewer parameters compared to models like GPT-3/3.5/4,
such as T5, BERT, and others.) Nevertheless, their efficacy in the medical
section remains uncertain and the performance of medical NER always needs high
accuracy because of the particularity of the field. This paper aims to provide
a thorough investigation to compare the performance of LMs in medical few-shot
NER and answer How far is LMs from 100\% Few-shot NER in Medical Domain, and
moreover to explore an effective entity recognizer to help improve the NER
performance. Based on our extensive experiments conducted on 16 NER models
spanning from 2018 to 2023, our findings clearly indicate that LLMs outperform
SLMs in few-shot medical NER tasks, given the presence of suitable examples and
appropriate logical frameworks. Despite the overall superiority of LLMs in
few-shot medical NER tasks, it is important to note that they still encounter
some challenges, such as misidentification, wrong template prediction, etc.
Building on previous findings, we introduce a simple and effective method
called \textsc{RT} (Retrieving and Thinking), which serves as retrievers,
finding relevant examples, and as thinkers, employing a step-by-step reasoning
process. Experimental results show that our proposed \textsc{RT} framework
significantly outperforms the strong open baselines on the two open medical
benchmark datasets
- Abstract(参考訳): 近年の言語モデル(LM)の進歩は、Small LM(例えばT5)やLarge LM(例えばGPT-4)のような強力なモデルの出現につながっている。
これらのモデルは、一般ドメインにおける名前エンティティ認識(NER)など、幅広いタスクにまたがる例外的な機能を示している。
(SLM は T5 や BERT などの GPT-3/3.5/4 などのモデルに比べ,パラメータの少ない事前学習モデルと定義する。)
しかし, 医療領域におけるNERの有効性は依然として不明であり, 医療NERの性能は, フィールドの特異性から常に高い精度が必要である。
本研究の目的は,医療領域における 100 % のFew-shot NER から LM がどこまで遠いのか,また,NER の性能向上に寄与する有効なエンティティ認識器を探索することである。
2018年から2023年までの16のnerモデルを用いた広範な実験の結果から,適切な例と適切な論理フレームワークの存在から,llmsがslmを上回っていることが明らかとなった。
医療NERタスクにおけるLLMの全体的な優位性にもかかわらず、誤識別やテンプレート予測の誤りなど、いくつかの課題に直面していることに注意する必要がある。
過去の知見に基づいて,検索者,関連事例,思考者として機能し,ステップ・バイ・ステップの推論プロセスを用いた,シンプルで効果的な方法であるtextsc{RT} (Retrieving and Thinking)を導入する。
実験の結果,提案する \textsc{rt}フレームワークは2つのオープンメディカルベンチマークデータセットの強いオープンベースラインを大きく上回っている。
関連論文リスト
- Training Small Multimodal Models to Bridge Biomedical Competency Gap: A
Case Study in Radiology Imaging [114.43429928419755]
バイオメディカル・コンピテンシー・ギャップを橋渡しするオープンソース小型マルチモーダル・モデル(SMM)の訓練について検討する。
LLaVA-Radは高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文 参考訳(メタデータ) (2024-03-12T18:12:02Z) - Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。
本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。
これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文 参考訳(メタデータ) (2024-02-05T08:25:22Z) - Development and Testing of Retrieval Augmented Generation in Large
Language Models -- A Case Study Report [2.523433459887027]
Retrieval Augmented Generation (RAG)は、大規模言語モデル(LLM)におけるドメイン知識をカスタマイズするための有望なアプローチとして出現する。
LLM-RAGモデルを35の術前ガイドラインを用いて開発し,人為的反応に対して試験を行った。
このモデルでは平均15~20秒で回答が生成され、人間の要求する10分よりもはるかに速くなった。
論文 参考訳(メタデータ) (2024-01-29T06:49:53Z) - RO-LLaMA: Generalist LLM for Radiation Oncology via Noise Augmentation
and Consistency Regularization [51.877826904868975]
放射線腫瘍学の分野に適した汎用汎用大言語モデル(LLM)であるRO-LLaMAを提案する。
このモデルは、臨床報告の要約などの様々なタスクに適応し、放射線腫瘍専門医の幅広いワークフローをシームレスにカバーする。
また,新しいCEFTune(Consistency Embedding Fine-Tuning)技術を提案する。
論文 参考訳(メタデータ) (2023-11-27T14:49:06Z) - UniversalNER: Targeted Distillation from Large Language Models for Open
Named Entity Recognition [48.977866466971655]
オープンNERのためにChatGPTをはるかに小さなUniversalNERモデルに蒸留する方法を示す。
9つの異なるドメインにわたる43のデータセットからなる、これまでで最大のNERベンチマークを組み立てました。
パラメータのごく一部で、UniversalNERは任意のエンティティタイプを認識するChatGPTの能力を取得するだけでなく、NERの精度を平均7-9絶対F1ポイントで上回る。
論文 参考訳(メタデータ) (2023-08-07T03:39:52Z) - A Zero-shot and Few-shot Study of Instruction-Finetuned Large Language
Models Applied to Clinical and Biomedical Tasks [4.208980146930325]
我々は4つの言語モデル(LLM)を評価する。
英語における13のリアル・ワールド・クリニカル・バイオメディカル・自然言語処理(NLP)タスクについて
論文 参考訳(メタデータ) (2023-07-22T15:58:17Z) - Customizing General-Purpose Foundation Models for Medical Report
Generation [64.31265734687182]
ラベル付き医用画像-レポートペアの不足は、ディープニューラルネットワークや大規模ニューラルネットワークの開発において大きな課題となっている。
本稿では,コンピュータビジョンと自然言語処理の基盤モデル (FM) として,市販の汎用大規模事前学習モデルのカスタマイズを提案する。
論文 参考訳(メタデータ) (2023-06-09T03:02:36Z) - Do We Still Need Clinical Language Models? [15.023633270864675]
比較的小さな専門的な臨床モデルでは、コンテキスト内学習のアプローチが大幅に優れていることを示す。
physioNet Credentialed Health Dataライセンスとデータ使用契約の下で使用されるコードとモデルをリリースします。
論文 参考訳(メタデータ) (2023-02-16T05:08:34Z) - Enhancing Clinical Information Extraction with Transferred Contextual
Embeddings [9.143551270841858]
変換器(BERT)モデルによる双方向表現は、多くの自然言語処理(NLP)タスクにおいて最先端のパフォーマンスを達成した。
BERTをベースとした事前学習モデルは,軽度条件下で健康関連文書に転送可能であることを示す。
論文 参考訳(メタデータ) (2021-09-15T12:22:57Z) - On Adversarial Examples for Biomedical NLP Tasks [4.7677261488999205]
医療用NERとSTSのための2つのよく知られたデータセットに対する逆評価手法を提案する。
逆例を用いてモデルをトレーニングすることで,モデルの堅牢性を大幅に向上できることを示す。
論文 参考訳(メタデータ) (2020-04-23T13:46:11Z) - Rethinking Generalization of Neural Models: A Named Entity Recognition
Case Study [81.11161697133095]
NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。
詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。
本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
論文 参考訳(メタデータ) (2020-01-12T04:33:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。