論文の概要: Do We Still Need Clinical Language Models?
- arxiv url: http://arxiv.org/abs/2302.08091v1
- Date: Thu, 16 Feb 2023 05:08:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-17 14:52:47.566103
- Title: Do We Still Need Clinical Language Models?
- Title(参考訳): 臨床言語モデルはまだ必要か?
- Authors: Eric Lehman, Evan Hernandez, Diwakar Mahajan, Jonas Wulff, Micah J.
Smith, Zachary Ziegler, Daniel Nadler, Peter Szolovits, Alistair Johnson,
Emily Alsentzer
- Abstract要約: 比較的小さな専門的な臨床モデルでは、コンテキスト内学習のアプローチが大幅に優れていることを示す。
physioNet Credentialed Health Dataライセンスとデータ使用契約の下で使用されるコードとモデルをリリースします。
- 参考スコア(独自算出の注目度): 15.023633270864675
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although recent advances in scaling large language models (LLMs) have
resulted in improvements on many NLP tasks, it remains unclear whether these
models trained primarily with general web text are the right tool in highly
specialized, safety critical domains such as clinical text. Recent results have
suggested that LLMs encode a surprising amount of medical knowledge. This
raises an important question regarding the utility of smaller domain-specific
language models. With the success of general-domain LLMs, is there still a need
for specialized clinical models? To investigate this question, we conduct an
extensive empirical analysis of 12 language models, ranging from 220M to 175B
parameters, measuring their performance on 3 different clinical tasks that test
their ability to parse and reason over electronic health records. As part of
our experiments, we train T5-Base and T5-Large models from scratch on clinical
notes from MIMIC III and IV to directly investigate the efficiency of clinical
tokens. We show that relatively small specialized clinical models substantially
outperform all in-context learning approaches, even when finetuned on limited
annotated data. Further, we find that pretraining on clinical tokens allows for
smaller, more parameter-efficient models that either match or outperform much
larger language models trained on general text. We release the code and the
models used under the PhysioNet Credentialed Health Data license and data use
agreement.
- Abstract(参考訳): 最近の大規模言語モデル(llm)のスケーリングの進歩により、多くのnlpタスクが改善されているが、一般的なwebテキストでトレーニングされたこれらのモデルが、臨床テキストのような高度に専門的で安全な重要なドメインにおいて正しいツールであるかどうかは不明である。
近年、LSMは驚くほど多くの医学的知識をコードしていることが示唆されている。
これは、より小さなドメイン固有言語モデルの有用性に関する重要な疑問を提起する。
一般ドメインLSMの成功により、まだ専門的な臨床モデルの必要性はあるのだろうか?
本研究では,12の言語モデルについて,220Mから175Bのパラメータから,電子的健康記録を解析・解析する3つの異なる臨床課題に対する評価まで,広範囲にわたる経験的分析を行った。
実験の一環として,MIMIC III と IV の臨床ノートから,T5-Base と T5-Large モデルをスクラッチから訓練し,臨床トークンの効率を直接的に調査する。
比較的小さな専門的臨床モデルは,限られた注釈付きデータに基づいて微調整した場合でも,コンテキスト内学習のアプローチを著しく上回っている。
さらに,臨床トークンの事前トレーニングによって,一般的なテキストでトレーニングされたはるかに大きな言語モデルと一致するか,あるいは上回る,より小さくパラメータ効率の高いモデルが可能になることを見出した。
physioNet Credentialed Health Dataライセンスとデータ使用契約の下で使用されるコードとモデルをリリースします。
関連論文リスト
- Training Small Multimodal Models to Bridge Biomedical Competency Gap: A
Case Study in Radiology Imaging [114.43429928419755]
バイオメディカル・コンピテンシー・ギャップを橋渡しするオープンソース小型マルチモーダル・モデル(SMM)の訓練について検討する。
LLaVA-Radは高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文 参考訳(メタデータ) (2024-03-12T18:12:02Z) - SoftTiger: A Clinical Foundation Model for Healthcare Workflows [5.559128550958323]
医療基盤モデルとして設計された臨床用大規模言語モデル(CLaM)であるSoftTigerをリリースし紹介する。
我々は,臨床ノートを臨床データに構造化する上で重要な問題に対処する。
我々は,3つの重要なサブタスク,すなわち国際的患者要約,臨床的印象,医療的出会いのデータを収集し,注釈する。
論文 参考訳(メタデータ) (2024-03-01T04:39:16Z) - Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。
本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。
これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文 参考訳(メタデータ) (2024-02-05T08:25:22Z) - In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。
我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
論文 参考訳(メタデータ) (2024-01-23T18:59:21Z) - Dynamic Q&A of Clinical Documents with Large Language Models [2.2976170651326595]
本研究は,臨床ノートにおける動的質問応答のための大規模言語モデル(LLM)を用いた自然言語インタフェースを提案する。
様々な埋め込みモデルと高度なLLMを利用する実験は、高い計算要求にもかかわらず、ウィザード・ヴィクナの優れた精度を示している。
論文 参考訳(メタデータ) (2024-01-19T14:50:22Z) - Generalist embedding models are better at short-context clinical
semantic search than specialized embedding models [0.9296448006507203]
ICD-10-CMのコード記述と容易に再現可能な言い換えに基づくデータセットを構築する。
セマンティックサーチタスクにおいて、ジェネラリストまたは臨床領域専門の既存の埋め込みモデルをベンチマークした。
その結果、ジェネラリストモデルは臨床モデルよりも優れており、既存の臨床特化モデルは、それらを混乱させる入力の小さな変化に対してより敏感であることが示唆された。
論文 参考訳(メタデータ) (2024-01-03T19:03:32Z) - Efficiently Measuring the Cognitive Ability of LLMs: An Adaptive Testing
Perspective [63.92197404447808]
大きな言語モデル(LLM)は、人間のような認知能力を示している。
LLM評価のための適応テストフレームワークを提案する。
このアプローチは、モデルの性能に基づいて、難易度などのテスト問題の特徴を動的に調整する。
論文 参考訳(メタデータ) (2023-06-18T09:54:33Z) - Interpretable Medical Diagnostics with Structured Data Extraction by
Large Language Models [59.89454513692417]
タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。
本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。
本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-08T09:12:28Z) - Lightweight Transformers for Clinical Natural Language Processing [9.532776962985828]
本研究は,臨床テキスト処理のためのコンパクト言語モデルの開発に焦点をあてる。
知識蒸留と連続学習を用いた多種多様な軽量臨床用変圧器を開発した。
評価はいくつかの標準データセットにまたがって行われ、幅広い臨床テキストマイニングタスクをカバーした。
論文 参考訳(メタデータ) (2023-02-09T16:07:31Z) - Clinical Prompt Learning with Frozen Language Models [4.077071350659386]
大規模だが凍結した事前学習言語モデル (PLMs) は、より小型で微調整されたモデルよりも高速に学習できる。
臨床的に有意な意思決定課題における即時学習の実現可能性について検討した。
結果は、学習の速さと部分的に一致しており、学習の速さは従来の微調整と一致したり改善したりすることができる。
論文 参考訳(メタデータ) (2022-05-11T14:25:13Z) - Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of
Code-Mixed Clinical Texts [56.72488923420374]
事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。
脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
論文 参考訳(メタデータ) (2022-04-10T21:46:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。