論文の概要: Domain-adapted large language models for classifying nuclear medicine
reports
- arxiv url: http://arxiv.org/abs/2303.01258v1
- Date: Wed, 1 Mar 2023 09:48:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-03 14:22:01.705589
- Title: Domain-adapted large language models for classifying nuclear medicine
reports
- Title(参考訳): ドメイン適応型大規模言語モデルによる核医学レポートの分類
- Authors: Zachary Huemann, Changhee Lee, Junjie Hu, Steve Y. Cho, Tyler Bradshaw
- Abstract要約: 2008-2018年のFDG PET/CTリンパ腫検診では,4542本のテキストと1664枚の画像が再検索された。
複数の汎用トランスフォーマー言語モデルを用いて、レポートをDauvilleスコア1-5に分類した。
マスク付き言語モデルを用いて核医学領域にモデルを適用し,その分類性能への影響を評価した。
- 参考スコア(独自算出の注目度): 11.364745410780678
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: With the growing use of transformer-based language models in medicine, it is
unclear how well these models generalize to nuclear medicine which has
domain-specific vocabulary and unique reporting styles. In this study, we
evaluated the value of domain adaptation in nuclear medicine by adapting
language models for the purpose of 5-point Deauville score prediction based on
clinical 18F-fluorodeoxyglucose (FDG) PET/CT reports. We retrospectively
retrieved 4542 text reports and 1664 images for FDG PET/CT lymphoma exams from
2008-2018 in our clinical imaging database. Deauville scores were removed from
the reports and then the remaining text in the reports was used as the model
input. Multiple general-purpose transformer language models were used to
classify the reports into Deauville scores 1-5. We then adapted the models to
the nuclear medicine domain using masked language modeling and assessed its
impact on classification performance. The language models were compared against
vision models, a multimodal vision language model, and a nuclear medicine
physician with seven-fold Monte Carlo cross validation, reported are the mean
and standard deviations. Domain adaption improved all language models. For
example, BERT improved from 61.3% five-class accuracy to 65.7% following domain
adaptation. The best performing model (domain-adapted RoBERTa) achieved a
five-class accuracy of 77.4%, which was better than the physician's performance
(66%), the best vision model's performance (48.1), and was similar to the
multimodal model's performance (77.2). Domain adaptation improved the
performance of large language models in interpreting nuclear medicine text
reports.
- Abstract(参考訳): 医療におけるトランスフォーマーベースの言語モデルの利用の増加に伴い、これらのモデルがドメイン固有の語彙とユニークな報告スタイルを持つ核医学にどの程度一般化されているかは明らかでない。
本研究では,臨床18F-フルオロデオキシグルコース(FDG)PET/CT報告に基づく5点Dauvilleスコア予測のための言語モデルを用いて,核医学におけるドメイン適応の価値を評価した。
臨床画像データベースにおいて,fdg pet/ctリンパ腫検査4542例と1664例について,2008~2018年を振り返って検討した。
deauvilleのスコアはレポートから削除され、残りのテキストがモデル入力として使用された。
複数の汎用トランスフォーマー言語モデルを用いてレポートをDauvilleスコア1-5に分類した。
その後,マスキング言語モデルを用いて核医学領域に適用し,分類性能への影響を評価した。
言語モデルは、視覚モデル、マルチモーダル視覚言語モデル、および7倍のモンテカルロクロス検証を持つ核医学医に対して比較され、平均偏差と標準偏差が報告された。
ドメイン適応は全ての言語モデルを改善した。
例えば、BERTは5クラスの精度を61.3%から65.7%に改善した。
最高のパフォーマンスモデル(ドメイン適応型RoBERTa)の精度は77.4%で、医師のパフォーマンス(66%)、最高のビジョンモデルのパフォーマンス(48.1)、マルチモーダルモデルのパフォーマンス(77.2)に似ていた。
ドメイン適応は、核医学テキストレポートの解釈における大規模言語モデルの性能を改善した。
関連論文リスト
- Few shot clinical entity recognition in three languages: Masked language
models outperform LLM prompting [2.3357645240384874]
我々は,英語,フランス語,スペイン語で,ドメイン内(クリニカル)8個とアウトドメイン金標準コーパス6個を用いて,名前付きエンティティ認識を評価した。
100文に注釈付きデータの量を制限することで、数ショットのセットアップを作成します。
以上の結果から,より大型のプロンプトベースモデルでは,臨床領域外における名前付き実体認識のF値の競合が期待できる傾向にあるが,このレベルが臨床領域に及ばないことが明らかとなった。
論文 参考訳(メタデータ) (2024-02-20T08:20:49Z) - ChatRadio-Valuer: A Chat Large Language Model for Generalizable
Radiology Report Generation Based on Multi-institution and Multi-system Data [115.0747462486285]
ChatRadio-Valuerは、一般化可能な表現を学習する自動放射線学レポート生成のための調整されたモデルである。
本研究で利用した臨床データセットは,textbf332,673の顕著な総計を含む。
ChatRadio-Valuerは、最先端のモデル、特にChatGPT(GPT-3.5-Turbo)やGPT-4などより一貫して優れている。
論文 参考訳(メタデータ) (2023-10-08T17:23:17Z) - Customizing General-Purpose Foundation Models for Medical Report
Generation [64.31265734687182]
ラベル付き医用画像-レポートペアの不足は、ディープニューラルネットワークや大規模ニューラルネットワークの開発において大きな課題となっている。
本稿では,コンピュータビジョンと自然言語処理の基盤モデル (FM) として,市販の汎用大規模事前学習モデルのカスタマイズを提案する。
論文 参考訳(メタデータ) (2023-06-09T03:02:36Z) - ConTEXTual Net: A Multimodal Vision-Language Model for Segmentation of
Pneumothorax [5.168314889999992]
胸部X線写真における気胸セグメンテーションのための新しい視覚言語モデルConTEXTual Netを提案する。
気胸3,196例のCANDID-PTXデータセットを用いて訓練を行った。
Diceのスコアは0.716$pm$0.016で、これは読者間のばらつきの程度に似ていた。
視覚のみのモデルと競合する視覚言語モデルの両方を上回った。
論文 参考訳(メタデータ) (2023-03-02T22:36:19Z) - mFACE: Multilingual Summarization with Factual Consistency Evaluation [79.60172087719356]
抽象的な要約は、事前訓練された言語モデルと大規模データセットの可用性のおかげで、近年で新たな関心を集めている。
有望な結果にもかかわらず、現在のモデルはいまだに現実的に矛盾した要約を生み出すことに苦しむ。
事実整合性評価モデルを利用して、多言語要約を改善する。
論文 参考訳(メタデータ) (2022-12-20T19:52:41Z) - Learning structures of the French clinical language:development and
validation of word embedding models using 21 million clinical reports from
electronic health records [2.5709272341038027]
事前訓練された言語モデルを用いた伝達学習に基づく手法は、ほとんどのNLPアプリケーションで最先端の結果を得た。
本研究の目的は,下流医療NLP課題に対する言語モデルの適用が臨床報告に及ぼす影響を評価することである。
論文 参考訳(メタデータ) (2022-07-26T14:46:34Z) - Improving Visual Grounding by Encouraging Consistent Gradient-based
Explanations [58.442103936918805]
注意マスク整合性は,従来の方法よりも優れた視覚的グラウンドリング結果が得られることを示す。
AMCは効率的で実装が容易であり、どんな視覚言語モデルでも採用できるため一般的である。
論文 参考訳(メタデータ) (2022-06-30T17:55:12Z) - Scaling Language Models: Methods, Analysis & Insights from Training
Gopher [83.98181046650664]
本稿では,トランスフォーマーに基づく言語モデルの性能を,幅広いモデルスケールで解析する。
スケールからのゲインは、理解、事実確認、有害言語の同定などにおいて最大である。
我々は、AIの安全性と下流の害の軽減に対する言語モデルの適用について論じる。
論文 参考訳(メタデータ) (2021-12-08T19:41:47Z) - FPM: A Collection of Large-scale Foundation Pre-trained Language Models [0.0]
私たちは現在の効果的なモデル構造を使用して、現在の最も主流な技術を通じてモデルセットをローンチします。
将来的にはこれが基本モデルになると思います。
論文 参考訳(メタデータ) (2021-11-09T02:17:15Z) - Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language
Model [58.27176041092891]
最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。
本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。
提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
論文 参考訳(メタデータ) (2020-11-23T16:00:42Z) - The Utility of General Domain Transfer Learning for Medical Language
Tasks [1.5459429010135775]
本研究の目的は,医療自然言語処理(NLP)タスクに適用したトランスファーラーニング手法とトランスフォーマーベースモデルの有効性を解析することである。
一般的なテキスト転送学習は、放射線コーパス上の医学的NLPタスクにおいて、最先端の結果を生成するための有効な技術である可能性がある。
論文 参考訳(メタデータ) (2020-02-16T20:20:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。