論文の概要: Do Large Language Models understand Medical Codes?
- arxiv url: http://arxiv.org/abs/2403.10822v1
- Date: Sat, 16 Mar 2024 06:18:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 21:35:14.996344
- Title: Do Large Language Models understand Medical Codes?
- Title(参考訳): 大規模言語モデルは医療コードを理解するか?
- Authors: Simon A. Lee, Timothy Lindsey,
- Abstract要約: 我々は,Large Language Models (LLMs) が医療コードの本質的意味を理解しているかどうかを評価する。
以上の結果から,これらのモデルは医療基準の意味を理解できていないことが示唆された。
我々は、医療規範や用語のニュアンスを効果的に把握し、表現するための改善戦略を求めている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The overarching goal of recent AI research has been to make steady progress towards achieving Artificial General Intelligence (AGI), prompting the evaluation of Large Language Models (LLMs) across a variety of tasks and domains. One such domain is healthcare, where LLMs can greatly benefit clinical practice by assisting with a wide range of tasks. However, these models are also prone to producing "hallucinations" or incorrect responses when faced with queries they cannot adequately address, raising concerns and skepticism, especially within the healthcare community. Therefore, in this work, we investigate whether LLMs understand the inherent meaning of medical codes, which are widely used in healthcare practice. We evaluate various off-the-shelf LLMs (e.g., GPT, LLaMA, etc.) and LLMs specifically designed for biomedical applications to assess their awareness and understanding of these domain-specific terminologies. Our results indicate that these models do not comprehend the meaning of the medical codes, highlighting the need for better representation of these alphanumeric codes extensively used in healthcare. We call for improved strategies to effectively capture and represent the nuances of medical codes and terminologies within LLMs, enabling them to become more reliable and trustworthy tools for healthcare professionals.
- Abstract(参考訳): 最近のAI研究の包括的な目標は、人工知能(AGI)の実現に向けて着実に進歩することであり、様々なタスクやドメインにわたる大規模言語モデル(LLM)の評価を促進することである。
そのような領域の1つは医療であり、LSMは幅広いタスクを支援することで臨床実践に多大な利益をもたらすことができる。
しかし、これらのモデルはまた、適切な対処ができないクエリに直面した時に、特に医療コミュニティ内で、懸念や懐疑論を提起する「幻覚」や誤った反応を生み出す傾向にある。
そこで本研究では, LLM が医療実践において広く用いられている医療コードの本質的意味を理解しているかどうかを考察する。
生物医学的応用に特化して設計された各種市販LCM (e , GPT, LLaMAなど) およびLSMを, これらのドメイン固有用語の認識と理解を評価するために評価した。
以上の結果から,これらのモデルが医療用コードの意味を理解していないことが示唆され,医療に広く用いられているこれらのアルファ数字符号の表現性の向上の必要性が示唆された。
我々は、LSM内の医療コードや用語のニュアンスを効果的に把握し、表現するための改善戦略を求め、医療専門家にとってより信頼性が高く信頼できるツールとなることができるようにします。
関連論文リスト
- Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。
本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。
これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文 参考訳(メタデータ) (2024-02-05T08:25:22Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳(メタデータ) (2024-01-01T16:51:20Z) - Large language models in healthcare and medical domain: A review [5.264460964718939]
大規模言語モデル(LLM)は、自由テキストクエリに対する熟練した応答を提供する。
このレビューでは、多様な医療応用の効率性と効果を増幅するLLMの可能性について考察する。
論文 参考訳(メタデータ) (2023-12-12T20:54:51Z) - ChiMed-GPT: A Chinese Medical Large Language Model with Full Training
Regime and Better Alignment to Human Preferences [55.42521181558716]
中国医学領域向けに設計された新しいベンチマークLSMであるChiMed-GPTを提案する。
ChiMed-GPTは、コンテキスト長を4,096トークンに拡大し、事前トレーニング、SFT、RLHFを含む総合的なトレーニング体制を実行している。
情報抽出,質問応答,対話生成などの実世界のタスクの評価は,一般的なドメインLLMよりもChiMed-GPTの方が優れた性能を示している。
論文 参考訳(メタデータ) (2023-11-10T12:25:32Z) - A Survey of Large Language Models in Medicine: Progress, Application,
and Challenge [86.4234483148876]
大規模言語モデル (LLM) は、人間の言語を理解し、生成する能力のために大きな注目を集めている。
本総説は,医学におけるLSMの開発と展開について概説することを目的としている。
論文 参考訳(メタデータ) (2023-11-09T02:55:58Z) - Large Language Models Illuminate a Progressive Pathway to Artificial
Healthcare Assistant: A Review [16.008511195589925]
大規模言語モデル(LLM)は、人間のレベルの言語理解と推論を模倣する有望な能力を示している。
本稿では,医学におけるLSMの応用と意義について概説する。
論文 参考訳(メタデータ) (2023-11-03T13:51:36Z) - Redefining Digital Health Interfaces with Large Language Models [69.02059202720073]
大規模言語モデル(LLM)は、複雑な情報を処理できる汎用モデルとして登場した。
LLMが臨床医とデジタル技術との新たなインターフェースを提供する方法を示す。
自動機械学習を用いた新しい予後ツールを開発した。
論文 参考訳(メタデータ) (2023-10-05T14:18:40Z) - Augmenting Black-box LLMs with Medical Textbooks for Clinical Question
Answering [54.13933019557655]
LLMs Augmented with Medical Textbooks (LLM-AMT)を提案する。
LLM-AMTは、プラグイン・アンド・プレイモジュールを使用して、権威ある医学教科書をLLMのフレームワークに統合する。
検索コーパスとしての医学教科書は,医学領域におけるウィキペディアよりも効果的な知識データベースであることが確認された。
論文 参考訳(メタデータ) (2023-09-05T13:39:38Z) - Large language models in medicine: the potentials and pitfalls [20.419827231982623]
大規模言語モデル(LLM)は、医学的検査の質問から患者の質問への回答まで、医療のタスクに適用されている。
本総説は, 医療従事者を対象に, 医療現場におけるLCMの急速な変化状況を理解する上で, 医療実践者を支援することを目的としている。
論文 参考訳(メタデータ) (2023-08-31T19:06:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。