論文の概要: Domain-adapted large language models for classifying nuclear medicine reports

• arxiv url: http://arxiv.org/abs/2303.01258v1
• Date: Wed, 1 Mar 2023 09:48:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-03 14:22:01.705589
• Title: Domain-adapted large language models for classifying nuclear medicine reports
• Title（参考訳）: ドメイン適応型大規模言語モデルによる核医学レポートの分類
• Authors: Zachary Huemann, Changhee Lee, Junjie Hu, Steve Y. Cho, Tyler Bradshaw
• Abstract要約: 2008-2018年のFDG PET/CTリンパ腫検診では,4542本のテキストと1664枚の画像が再検索された。 複数の汎用トランスフォーマー言語モデルを用いて、レポートをDauvilleスコア1-5に分類した。 マスク付き言語モデルを用いて核医学領域にモデルを適用し,その分類性能への影響を評価した。
• 参考スコア（独自算出の注目度）: 11.364745410780678
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: With the growing use of transformer-based language models in medicine, it is unclear how well these models generalize to nuclear medicine which has domain-specific vocabulary and unique reporting styles. In this study, we evaluated the value of domain adaptation in nuclear medicine by adapting language models for the purpose of 5-point Deauville score prediction based on clinical 18F-fluorodeoxyglucose (FDG) PET/CT reports. We retrospectively retrieved 4542 text reports and 1664 images for FDG PET/CT lymphoma exams from 2008-2018 in our clinical imaging database. Deauville scores were removed from the reports and then the remaining text in the reports was used as the model input. Multiple general-purpose transformer language models were used to classify the reports into Deauville scores 1-5. We then adapted the models to the nuclear medicine domain using masked language modeling and assessed its impact on classification performance. The language models were compared against vision models, a multimodal vision language model, and a nuclear medicine physician with seven-fold Monte Carlo cross validation, reported are the mean and standard deviations. Domain adaption improved all language models. For example, BERT improved from 61.3% five-class accuracy to 65.7% following domain adaptation. The best performing model (domain-adapted RoBERTa) achieved a five-class accuracy of 77.4%, which was better than the physician's performance (66%), the best vision model's performance (48.1), and was similar to the multimodal model's performance (77.2). Domain adaptation improved the performance of large language models in interpreting nuclear medicine text reports.
• Abstract（参考訳）: 医療におけるトランスフォーマーベースの言語モデルの利用の増加に伴い、これらのモデルがドメイン固有の語彙とユニークな報告スタイルを持つ核医学にどの程度一般化されているかは明らかでない。 本研究では,臨床18F-フルオロデオキシグルコース(FDG)PET/CT報告に基づく5点Dauvilleスコア予測のための言語モデルを用いて,核医学におけるドメイン適応の価値を評価した。 臨床画像データベースにおいて,fdg pet/ctリンパ腫検査4542例と1664例について,2008～2018年を振り返って検討した。 deauvilleのスコアはレポートから削除され、残りのテキストがモデル入力として使用された。 複数の汎用トランスフォーマー言語モデルを用いてレポートをDauvilleスコア1-5に分類した。 その後,マスキング言語モデルを用いて核医学領域に適用し,分類性能への影響を評価した。 言語モデルは、視覚モデル、マルチモーダル視覚言語モデル、および7倍のモンテカルロクロス検証を持つ核医学医に対して比較され、平均偏差と標準偏差が報告された。 ドメイン適応は全ての言語モデルを改善した。 例えば、BERTは5クラスの精度を61.3%から65.7%に改善した。 最高のパフォーマンスモデル(ドメイン適応型RoBERTa)の精度は77.4%で、医師のパフォーマンス(66%)、最高のビジョンモデルのパフォーマンス(48.1)、マルチモーダルモデルのパフォーマンス(77.2)に似ていた。 ドメイン適応は、核医学テキストレポートの解釈における大規模言語モデルの性能を改善した。

関連論文リスト

• CXR-Agent: Vision-language models for chest X-ray interpretation with uncertainty aware radiology reporting [0.0]
  胸部X線解釈のための基礎的視覚言語モデルとして, 一般に公開されている技術の現状を評価した。 視覚言語モデルは、しばしば自信のある言語と幻覚し、臨床解釈を遅くする。 我々は,CheXagentの線形プローブとBioViL-Tのフレーズグラウンドティングツールを用いて,エージェントベースの視覚言語によるレポート生成手法を開発した。
  論文  参考訳（メタデータ） (2024-07-11T18:39:19Z)
• PeFoMed: Parameter Efficient Fine-tuning of Multimodal Large Language Models for Medical Imaging [8.043625583479598]
  MLLM(Multimodal large language model)は、従来の大規模言語モデルの能力の進化的拡張を表す。 近年,MLLMを医療用マルチモーダル問題に対する普遍的解決法として応用する研究が進められている。 本稿では,Med-VQA (Med-VQA) タスクとMRG (Med-VQA) タスクに基づいて,MLLMを微調整するためのパラメータ効率のよいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-05T13:22:12Z)
• ChatRadio-Valuer: A Chat Large Language Model for Generalizable Radiology Report Generation Based on Multi-institution and Multi-system Data [115.0747462486285]
  ChatRadio-Valuerは、一般化可能な表現を学習する自動放射線学レポート生成のための調整されたモデルである。 本研究で利用した臨床データセットは,textbf332,673の顕著な総計を含む。 ChatRadio-Valuerは、最先端のモデル、特にChatGPT(GPT-3.5-Turbo)やGPT-4などより一貫して優れている。
  論文  参考訳（メタデータ） (2023-10-08T17:23:17Z)
• Customizing General-Purpose Foundation Models for Medical Report Generation [64.31265734687182]
  ラベル付き医用画像-レポートペアの不足は、ディープニューラルネットワークや大規模ニューラルネットワークの開発において大きな課題となっている。 本稿では,コンピュータビジョンと自然言語処理の基盤モデル (FM) として,市販の汎用大規模事前学習モデルのカスタマイズを提案する。
  論文  参考訳（メタデータ） (2023-06-09T03:02:36Z)
• ConTEXTual Net: A Multimodal Vision-Language Model for Segmentation of Pneumothorax [5.168314889999992]
  胸部X線写真における気胸セグメンテーションのための新しい視覚言語モデルConTEXTual Netを提案する。 気胸3,196例のCANDID-PTXデータセットを用いて訓練を行った。 Diceのスコアは0.716$pm$0.016で、これは読者間のばらつきの程度に似ていた。 視覚のみのモデルと競合する視覚言語モデルの両方を上回った。
  論文  参考訳（メタデータ） (2023-03-02T22:36:19Z)
• mFACE: Multilingual Summarization with Factual Consistency Evaluation [79.60172087719356]
  抽象的な要約は、事前訓練された言語モデルと大規模データセットの可用性のおかげで、近年で新たな関心を集めている。 有望な結果にもかかわらず、現在のモデルはいまだに現実的に矛盾した要約を生み出すことに苦しむ。 事実整合性評価モデルを利用して、多言語要約を改善する。
  論文  参考訳（メタデータ） (2022-12-20T19:52:41Z)
• Improving Visual Grounding by Encouraging Consistent Gradient-based Explanations [58.442103936918805]
  注意マスク整合性は,従来の方法よりも優れた視覚的グラウンドリング結果が得られることを示す。 AMCは効率的で実装が容易であり、どんな視覚言語モデルでも採用できるため一般的である。
  論文  参考訳（メタデータ） (2022-06-30T17:55:12Z)
• Scaling Language Models: Methods, Analysis & Insights from Training Gopher [83.98181046650664]
  本稿では,トランスフォーマーに基づく言語モデルの性能を,幅広いモデルスケールで解析する。 スケールからのゲインは、理解、事実確認、有害言語の同定などにおいて最大である。 我々は、AIの安全性と下流の害の軽減に対する言語モデルの適用について論じる。
  論文  参考訳（メタデータ） (2021-12-08T19:41:47Z)
• FPM: A Collection of Large-scale Foundation Pre-trained Language Models [0.0]
  私たちは現在の効果的なモデル構造を使用して、現在の最も主流な技術を通じてモデルセットをローンチします。 将来的にはこれが基本モデルになると思います。
  論文  参考訳（メタデータ） (2021-11-09T02:17:15Z)
• Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model [58.27176041092891]
  最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。 本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。 提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
  論文  参考訳（メタデータ） (2020-11-23T16:00:42Z)
• The Utility of General Domain Transfer Learning for Medical Language Tasks [1.5459429010135775]
  本研究の目的は,医療自然言語処理(NLP)タスクに適用したトランスファーラーニング手法とトランスフォーマーベースモデルの有効性を解析することである。 一般的なテキスト転送学習は、放射線コーパス上の医学的NLPタスクにおいて、最先端の結果を生成するための有効な技術である可能性がある。
  論文  参考訳（メタデータ） (2020-02-16T20:20:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。