論文の概要: A Study of Generative Large Language Model for Medical Research and
Healthcare
- arxiv url: http://arxiv.org/abs/2305.13523v1
- Date: Mon, 22 May 2023 22:37:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 20:20:33.584084
- Title: A Study of Generative Large Language Model for Medical Research and
Healthcare
- Title(参考訳): 医学研究と医療のための生成型大言語モデルに関する研究
- Authors: Cheng Peng, Xi Yang, Aokun Chen, Kaleb E Smith, Nima PourNejatian,
Anthony B Costa, Cheryl Martin, Mona G Flores, Ying Zhang, Tanja Magoc,
Gloria Lipori, Duane A Mitchell, Naykky S Ospina, Mustafa M Ahmed, William R
Hogan, Elizabeth A Shenkman, Yi Guo, Jiang Bian, Yonghui Wu
- Abstract要約: 本研究は,200億のパラメータからなるGPT-3アーキテクチャを用いて,277億語と英語の混合テキストを用いた臨床生成LDMであるGatorTronGPTを開発した。
GatorTronGPTを用いて訓練された合成NLPモデルは、実際の臨床テキストを用いて訓練されたNLPモデルより優れたテキストを生成する。
- 参考スコア(独自算出の注目度): 25.361547229585184
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There is enormous enthusiasm and concerns in using large language models
(LLMs) in healthcare, yet current assumptions are all based on general-purpose
LLMs such as ChatGPT. This study develops a clinical generative LLM,
GatorTronGPT, using 277 billion words of mixed clinical and English text with a
GPT-3 architecture of 20 billion parameters. GatorTronGPT improves biomedical
natural language processing for medical research. Synthetic NLP models trained
using GatorTronGPT generated text outperform NLP models trained using
real-world clinical text. Physicians Turing test using 1 (worst) to 9 (best)
scale shows that there is no significant difference in linguistic readability
(p = 0.22; 6.57 of GatorTronGPT compared with 6.93 of human) and clinical
relevance (p = 0.91; 7.0 of GatorTronGPT compared with 6.97 of human) and that
physicians cannot differentiate them (p < 0.001). This study provides insights
on the opportunities and challenges of LLMs for medical research and
healthcare.
- Abstract(参考訳): 医療に大規模言語モデル(LLM)を使うことには膨大な熱意と関心があるが、現在の仮定はすべてChatGPTのような汎用LLMに基づいている。
本研究は,200億のパラメータからなるGPT-3アーキテクチャを用いた277億語を混合した臨床用LLMであるGatorTronGPTを開発した。
GatorTronGPTは、医学研究のためのバイオメディカル自然言語処理を改善する。
GatorTronGPTを用いて訓練された合成NLPモデルは、実際の臨床テキストを用いて訓練されたNLPモデルより優れたテキストを生成する。
1 (worst) から 9 (best) の尺度を用いたチューリング試験では、言語学的可読性 (p = 0.22; 6.57 の GatorTronGPT と臨床的関連性 (p = 0.91; 7.0 の GatorTronGPT と6.97 のGatorTronGPT) に有意な差は見られず、医師はそれらを区別できない(p < 0.001)。
本研究は、医学研究および医療におけるLLMの機会と課題について考察する。
関連論文リスト
- ChiMed-GPT: A Chinese Medical Large Language Model with Full Training
Regime and Better Alignment to Human Preferences [55.42521181558716]
中国医学領域向けに設計された新しいベンチマークLSMであるChiMed-GPTを提案する。
ChiMed-GPTは、コンテキスト長を4,096トークンに拡大し、事前トレーニング、SFT、RLHFを含む総合的なトレーニング体制を実行している。
情報抽出,質問応答,対話生成などの実世界のタスクの評価は,一般的なドメインLLMよりもChiMed-GPTの方が優れた性能を示している。
論文 参考訳(メタデータ) (2023-11-10T12:25:32Z) - Enhancing Health Data Interoperability with Large Language Models: A
FHIR Study [8.918194175207702]
本研究では,医療データの相互運用性を高めるための大規模言語モデル(LLM)の能力について検討した。
臨床テキストの3,671個のスニペットを用いて, LLMは多段階の自然言語処理と人間のキャリブレーション処理を合理化するだけでなく, 人間のアノテーションと比較した場合の精度を90%以上向上することを示した。
論文 参考訳(メタデータ) (2023-09-19T20:09:35Z) - MedAlign: A Clinician-Generated Dataset for Instruction Following with
Electronic Medical Records [60.35217378132709]
大型言語モデル(LLM)は、人間レベルの流布で自然言語の指示に従うことができる。
医療のための現実的なテキスト生成タスクにおけるLCMの評価は依然として困難である。
我々は、EHRデータのための983の自然言語命令のベンチマークデータセットであるMedAlignを紹介する。
論文 参考訳(メタデータ) (2023-08-27T12:24:39Z) - Identifying and Extracting Rare Disease Phenotypes with Large Language
Models [12.555067118549347]
ChatGPTは、複雑な人間のプロンプトに従い、高品質な応答を生成することができる革命的な大規模言語モデルである。
従来の微調整手法と比較し,詳細な誤差解析を行った。
ChatGPTは1ショット設定で、特定の実体(まれな疾患や徴候)に対して類似または高い精度を達成した。
論文 参考訳(メタデータ) (2023-06-22T03:52:12Z) - Large Language Models Leverage External Knowledge to Extend Clinical
Insight Beyond Language Boundaries [48.48630043740588]
ChatGPTやMed-PaLMのような大規模言語モデル(LLM)は、様々な質問応答タスクに優れています。
我々は,その性能を高めるために,新しい文脈内学習フレームワークを開発した。
論文 参考訳(メタデータ) (2023-05-17T12:31:26Z) - Evaluation of ChatGPT Family of Models for Biomedical Reasoning and
Classification [6.163540203358258]
本研究では,大規模言語モデル(LLM)の性能について,質問応答以外のバイオメディカルな課題について検討した。
OpenAI APIの公開インターフェースに患者データを渡すことはできないため、モデルのパフォーマンスを10000以上のサンプルで評価した。
2つの基本的なNLPタスクの微調整が最良戦略であることがわかった。
論文 参考訳(メタデータ) (2023-04-05T15:11:25Z) - Contextualized Medication Information Extraction Using Transformer-based
Deep Learning Architectures [35.65283211002216]
薬剤の言及抽出,事象分類(治療内容の変更の有無を示す),文脈分類のためのNLPシステムを開発した。
我々は,900億語以上のテキストを用いて事前学習した大規模言語モデルであるGatorTronを含む,3つのサブタスクに対する最先端の事前学習型トランスフォーマモデルについて検討した。
我々のGatorTronモデルは、薬物抽出で0.9828(第3位)、イベント分類で0.9379(第2位)、文脈分類で0.9126(第2位)のF1スコアを達成した。
論文 参考訳(メタデータ) (2023-03-14T22:22:28Z) - Does Synthetic Data Generation of LLMs Help Clinical Text Mining? [51.205078179427645]
臨床テキストマイニングにおけるOpenAIのChatGPTの可能性を検討する。
本稿では,高品質な合成データを大量に生成する新たな学習パラダイムを提案する。
提案手法により,下流タスクの性能が大幅に向上した。
論文 参考訳(メタデータ) (2023-03-08T03:56:31Z) - BioGPT: Generative Pre-trained Transformer for Biomedical Text
Generation and Mining [140.61707108174247]
本稿では,大規模生物医学文献に基づいて事前学習したドメイン固有生成型トランスフォーマー言語モデルであるBioGPTを提案する。
BC5CDRでは44.98%、38.42%、40.76%のF1スコア、KD-DTIとDDIの関係抽出タスクでは78.2%、PubMedQAでは78.2%の精度が得られた。
論文 参考訳(メタデータ) (2022-10-19T07:17:39Z) - Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of
Code-Mixed Clinical Texts [56.72488923420374]
事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。
脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
論文 参考訳(メタデータ) (2022-04-10T21:46:52Z) - GatorTron: A Large Clinical Language Model to Unlock Patient Information
from Unstructured Electronic Health Records [22.652798872046283]
電子健康記録(EHR)を処理・解釈する人工知能(AI)システムの開発への関心が高まっている。
臨床言語モデルはほとんどないが、臨床領域で訓練された言語のうち最大のものは、比較的小さい1億1000万のパラメータである。
何十億ものパラメータを持つ大規模臨床言語モデルが、医療AIシステムが非構造化のEHRを利用するのにどの程度役立つかは明らかではない。
論文 参考訳(メタデータ) (2022-02-02T14:28:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。