論文の概要: Large Language Models Struggle in Token-Level Clinical Named Entity Recognition
- arxiv url: http://arxiv.org/abs/2407.00731v2
- Date: Sat, 17 Aug 2024 00:59:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-21 02:18:57.003809
- Title: Large Language Models Struggle in Token-Level Clinical Named Entity Recognition
- Title(参考訳): トークンレベル臨床名認識における大規模言語モデル
- Authors: Qiuhao Lu, Rui Li, Andrew Wen, Jinlian Wang, Liwei Wang, Hongfang Liu,
- Abstract要約: 大規模言語モデル(LLM)は、様々な分野に革命をもたらした。
名前付きエンティティ認識(NER)は重要な課題であり,臨床テキストから関連情報を抽出する上で重要な役割を担っている。
本研究の目的は,トークンレベルNERにおけるプロプライエタリLLMとローカルLLMの両方の有効性を検討することにより,このギャップを埋めることである。
- 参考スコア(独自算出の注目度): 12.972058180227194
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) have revolutionized various sectors, including healthcare where they are employed in diverse applications. Their utility is particularly significant in the context of rare diseases, where data scarcity, complexity, and specificity pose considerable challenges. In the clinical domain, Named Entity Recognition (NER) stands out as an essential task and it plays a crucial role in extracting relevant information from clinical texts. Despite the promise of LLMs, current research mostly concentrates on document-level NER, identifying entities in a more general context across entire documents, without extracting their precise location. Additionally, efforts have been directed towards adapting ChatGPT for token-level NER. However, there is a significant research gap when it comes to employing token-level NER for clinical texts, especially with the use of local open-source LLMs. This study aims to bridge this gap by investigating the effectiveness of both proprietary and local LLMs in token-level clinical NER. Essentially, we delve into the capabilities of these models through a series of experiments involving zero-shot prompting, few-shot prompting, retrieval-augmented generation (RAG), and instruction-fine-tuning. Our exploration reveals the inherent challenges LLMs face in token-level NER, particularly in the context of rare diseases, and suggests possible improvements for their application in healthcare. This research contributes to narrowing a significant gap in healthcare informatics and offers insights that could lead to a more refined application of LLMs in the healthcare sector.
- Abstract(参考訳): 大規模言語モデル(LLM)は、様々な分野に革命をもたらした。
それらの実用性は、データ不足、複雑さ、特異性が大きな課題を引き起こす稀な疾患の文脈において特に重要である。
臨床領域では、名前付きエンティティ認識(NER)が重要な課題であり、臨床テキストから関連情報を抽出する上で重要な役割を担っている。
LLMの約束にもかかわらず、現在の研究は主に文書レベルのNERに焦点を当てており、正確な位置を抽出することなく、文書全体のより一般的なコンテキストにおけるエンティティを識別している。
さらに、トークンレベルのNERにChatGPTを適用する取り組みも進められている。
しかし、臨床テキストにトークンレベルのNERを用いる場合、特にローカルなオープンソースLPMを使用する場合、大きな研究ギャップがある。
本研究の目的は,トークンレベルNERにおけるプロプライエタリLLMとローカルLLMの両方の有効性を検討することにより,このギャップを埋めることである。
基本的には、ゼロショットプロンプト、少数ショットプロンプト、検索強化生成(RAG)、命令微細調整を含む一連の実験を通じて、これらのモデルの能力を掘り下げる。
我々の調査は、トークンレベルのNERにおいてLLMが直面する固有の課題、特にまれな疾患の文脈で明らかにし、医療への応用における改善の可能性を示している。
この研究は、医療情報学における大きなギャップを狭めることに寄与し、医療分野におけるLSMのより洗練された応用につながる可能性のある洞察を提供する。
関連論文リスト
- Dr-LLaVA: Visual Instruction Tuning with Symbolic Clinical Grounding [53.629132242389716]
VLM(Vision-Language Models)は、医用画像を分析し、自然言語の相互作用に関与することによって、臨床医を支援する。
VLMはしばしば「幻覚的」な振る舞いを示し、文脈的マルチモーダル情報に基づかないテキスト出力を生成する。
本稿では,臨床推論の象徴的表現を用いて医療知識にVLMを基盤とする新たなアライメントアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-05-29T23:19:28Z) - Effectiveness Assessment of Recent Large Vision-Language Models [78.69439393646554]
本稿では,多言語多言語モデル(LVLM)の専門的および汎用的な課題における能力を評価する。
私たちは、自然、医療、産業という3つの異なるアプリケーションシナリオで6つの挑戦的なタスクを採用しています。
我々は,MiniGPT-v2,LLaVA-1.5,Shikraを含む最近の3つのオープンソースLVLMの視覚的認識および局所化性能について検討した。
論文 参考訳(メタデータ) (2024-03-07T08:25:27Z) - AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。
この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。
高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
論文 参考訳(メタデータ) (2024-02-15T06:46:48Z) - Large language models in healthcare and medical domain: A review [4.456243157307507]
大規模言語モデル(LLM)は、自由テキストクエリに対する熟練した応答を提供する。
このレビューでは、多様な医療応用の効率性と効果を増幅するLLMの可能性について考察する。
論文 参考訳(メタデータ) (2023-12-12T20:54:51Z) - Knowledge-Infused Prompting: Assessing and Advancing Clinical Text Data
Generation with Large Language Models [48.07083163501746]
臨床自然言語処理には、ドメイン固有の課題に対処できる方法が必要である。
我々は,そのプロセスに知識を注入する,革新的で資源効率のよいアプローチであるClinGenを提案する。
7つのNLPタスクと16のデータセットを比較検討した結果,ClinGenはさまざまなタスクのパフォーマンスを継続的に向上させることがわかった。
論文 参考訳(メタデータ) (2023-11-01T04:37:28Z) - An Empirical Evaluation of Prompting Strategies for Large Language
Models in Zero-Shot Clinical Natural Language Processing [4.758617742396169]
本研究は,5つのNLPタスクに対する即時エンジニアリングに関する包括的,系統的研究である。
近年の文献では, 単純な接頭辞, 単純なクローゼ, 思考の連鎖, 予測プロンプトなどが提案されている。
臨床NLPにおけるLCMの迅速なエンジニアリングのための新しい知見とガイドラインを提供する。
論文 参考訳(メタデータ) (2023-09-14T19:35:00Z) - Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。
正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。
本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
論文 参考訳(メタデータ) (2023-05-30T22:05:11Z) - Are Large Language Models Ready for Healthcare? A Comparative Study on
Clinical Language Understanding [12.128991867050487]
大規模言語モデル(LLM)は、医療を含む様々な分野で大きな進歩を遂げている。
本研究では,臨床言語理解タスクの領域における最先端LCMの評価を行った。
論文 参考訳(メタデータ) (2023-04-09T16:31:47Z) - Self-supervised Answer Retrieval on Clinical Notes [68.87777592015402]
本稿では,ドメイン固有パスマッチングのためのトランスフォーマー言語モデルをトレーニングするためのルールベースのセルフスーパービジョンであるCAPRを紹介する。
目的をトランスフォーマーベースの4つのアーキテクチャ、コンテキスト文書ベクトル、ビ-、ポリエンコーダ、クロスエンコーダに適用する。
本稿では,ドメイン固有パスの検索において,CAPRが強いベースラインを上回り,ルールベースおよび人間ラベル付きパスを効果的に一般化することを示す。
論文 参考訳(メタデータ) (2021-08-02T10:42:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。