論文の概要: Improving VTE Identification through Language Models from Radiology Reports: A Comparative Study of Mamba, Phi-3 Mini, and BERT

• arxiv url: http://arxiv.org/abs/2408.09043v1
• Date: Fri, 16 Aug 2024 22:51:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 22:56:40.587631
• Title: Improving VTE Identification through Language Models from Radiology Reports: A Comparative Study of Mamba, Phi-3 Mini, and BERT
• Title（参考訳）: 言語モデルによるVTE識別の改善:Mamba, Phi-3 Mini, BERTの比較検討
• Authors: Jamie Deng, Yusen Wu, Yelena Yesha, Phuong Nguyen,
• Abstract要約: 静脈血栓塞栓症(VTE)は、深部静脈血栓症(DVT)と肺塞栓症(PE)を含む重要な心血管疾患である 本研究は,DVTの深層学習手法を用いたVTE検出と,PEの深層学習とルールベース分類を組み合わせたハイブリッドアプローチを併用した,従来の研究に基づいている。 Mambaアーキテクチャベースの分類器は、DVTデータセットの97%の精度とF1のスコア、PEデータセットの98%の精度とF1のスコアで顕著な結果を得る。
• 参考スコア（独自算出の注目度）: 2.7552551107566137
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Venous thromboembolism (VTE) is a critical cardiovascular condition, encompassing deep vein thrombosis (DVT) and pulmonary embolism (PE). Accurate and timely identification of VTE is essential for effective medical care. This study builds upon our previous work, which addressed VTE detection using deep learning methods for DVT and a hybrid approach combining deep learning and rule-based classification for PE. Our earlier approaches, while effective, had two major limitations: they were complex and required expert involvement for feature engineering of the rule set. To overcome these challenges, we utilize the Mamba architecture-based classifier. This model achieves remarkable results, with a 97\% accuracy and F1 score on the DVT dataset and a 98\% accuracy and F1 score on the PE dataset. In contrast to the previous hybrid method on PE identification, the Mamba classifier eliminates the need for hand-engineered rules, significantly reducing model complexity while maintaining comparable performance. Additionally, we evaluated a lightweight Large Language Model (LLM), Phi-3 Mini, in detecting VTE. While this model delivers competitive results, outperforming the baseline BERT models, it proves to be computationally intensive due to its larger parameter set. Our evaluation shows that the Mamba-based model demonstrates superior performance and efficiency in VTE identification, offering an effective solution to the limitations of previous approaches.
• Abstract（参考訳）: 静脈血栓塞栓症(VTE)は重症心血管疾患であり,深部静脈血栓症(DVT)と肺塞栓症(PE)を含む。 VTEの正確な時間的同定は効果的な医療に不可欠である。 本研究は,DVTの深層学習手法を用いたVTE検出と,PEの深層学習とルールベース分類を組み合わせたハイブリッドアプローチを併用した,従来の研究に基づいている。 初期のアプローチでは、効果的な一方で、2つの大きな制限がありました。 これらの課題を克服するために,我々はMambaアーキテクチャに基づく分類器を利用する。 このモデルでは,DVTデータセットの精度97\%,DVTデータセットのF1,PEデータセットの精度98\%,F1スコアなどの顕著な結果が得られる。 従来のPE識別のハイブリッド手法とは対照的に、Mamba分類器は手作業によるルールの必要性を排除し、同等の性能を維持しながらモデルの複雑さを著しく低減する。 さらに,VTEの検出において,軽量なLarge Language Model(LLM)であるPhi-3 Miniを評価した。 このモデルは、ベースラインBERTモデルよりも優れた競争結果をもたらすが、パラメータセットが大きいため、計算集約的であることが証明される。 評価の結果,マンバモデルにより,VTE識別の性能と効率が向上し,従来手法の限界に対する効果的な解法が得られた。

関連論文リスト

• A Novel Hybrid Parameter-Efficient Fine-Tuning Approach for Hippocampus Segmentation and Alzheimer's Disease Diagnosis [12.775565417928895]
  本稿では,ハイブリッド並列およびシリアルアーキテクチャを用いたHyPSと呼ばれる,パラメータ効率の高いファインチューニング手法を提案する。 HyPSはモデルパラメータの最小限のサブセットを更新し、事前訓練されたモデルの元の知識トラクチャを保持する。 アルツハイマー病を認知正常(CN)個体と区別することで、HyPSはそれぞれ83.78%と64.29%の分類精度を達成した。
  論文  参考訳（メタデータ） (2024-09-02T00:52:00Z)
• Enhanced Prediction of Ventilator-Associated Pneumonia in Patients with Traumatic Brain Injury Using Advanced Machine Learning Techniques [0.0]
  外傷性脳損傷(TBI)患者の呼吸器関連肺炎(VAP)は重大な死亡リスクをもたらす。 TBI患者のVAPのタイムリーな検出と予後は、患者の予後を改善し、医療資源の負担を軽減するために重要である。 我々はMIMIC-IIIデータベースを用いて6つの機械学習モデルを実装した。
  論文  参考訳（メタデータ） (2024-08-02T09:44:18Z)
• Transformer-Based Self-Supervised Learning for Histopathological Classification of Ischemic Stroke Clot Origin [0.0]
  虚血性脳卒中における血栓塞栓源の同定は治療と二次予防に不可欠である。 本研究は,虚血性脳梗塞の発生源を分類するためのエンボリのデジタル病理学における自己教師型深層学習アプローチについて述べる。
  論文  参考訳（メタデータ） (2024-05-01T23:40:12Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• Less Could Be Better: Parameter-efficient Fine-tuning Advances Medical Vision Foundation Models [71.18275399694689]
  医療視基盤モデルにおけるPEFTの有効性はまだ不明である。 NIH ChestX-ray14のラベル付きデータを用いたAUROCスコアの80.6%など,さまざまなデータ効率の学習タスクに対して,新たな最先端技術を構築した。 本研究は, PEFTを用いた医用画像の伝達学習において, コミュニティの注目を集めることが期待できる。
  論文  参考訳（メタデータ） (2024-01-22T18:59:07Z)
• A Compact LSTM-SVM Fusion Model for Long-Duration Cardiovascular Diseases Detection [0.0]
  世界的には、心臓血管疾患(CVD)が主な死因であり、毎年1790万人が死亡している。 重要な臨床目的の1つは、心電図(ECG)データによるCVDの早期検出である。 機械学習とディープラーニングに基づく最近の進歩は、この分野において大きな進歩を遂げている。
  論文  参考訳（メタデータ） (2023-11-20T10:57:11Z)
• Improving VTE Identification through Adaptive NLP Model Selection and Clinical Expert Rule-based Classifier from Radiology Reports [2.0637891440066363]
  静脈血栓塞栓症(VTE)は深部静脈血栓症(DVT)と肺塞栓症(PE)を含む重症心血管疾患である 自動的な手法は、振り返りデータコホートからVTEイベントを識別する有望な進歩を示したり、放射線学レポートからVTEイベントを識別する臨床専門家を支援したりしている。 しかし,医学テキストデータのラベル付けが限定されていること,放射線学報告の複雑さと不均一性,データ不均衡などにより,効果的にディープラーニング(DL)とNLPモデルを訓練することは困難である。 本研究では, DL法とデータ拡張, 適応型NLPモデル選択, 臨床専門家によるNLPルールに基づく新しい手法の組み合わせを提案する。
  論文  参考訳（メタデータ） (2023-09-21T17:29:37Z)
• Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
  本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。 アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。 われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
  論文  参考訳（メタデータ） (2022-12-01T17:31:42Z)
• SSD-KD: A Self-supervised Diverse Knowledge Distillation Method for Lightweight Skin Lesion Classification Using Dermoscopic Images [62.60956024215873]
  皮膚がんは最も一般的な悪性腫瘍の1つであり、人口に影響を与え、世界中で経済的な重荷を負っている。 皮膚がん検出のほとんどの研究は、ポータブルデバイス上での計算資源の制限を考慮せずに、高い予測精度を追求している。 本研究は,皮膚疾患分類のための汎用的なKDフレームワークに多様な知識を統一する,SSD-KDと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-22T06:54:29Z)
• Cross-Site Severity Assessment of COVID-19 from CT Images via Domain Adaptation [64.59521853145368]
  CT画像によるコロナウイルス病2019(COVID-19)の早期かつ正確な重症度評価は,集中治療単位のイベント推定に有効である。 ラベル付きデータを拡張し、分類モデルの一般化能力を向上させるためには、複数のサイトからデータを集約する必要がある。 この課題は、軽度の感染症と重度の感染症の集団不均衡、部位間のドメイン分布の相違、不均一な特徴の存在など、いくつかの課題に直面する。
  論文  参考訳（メタデータ） (2021-09-08T07:56:51Z)
• Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks [62.9447303059342]
  医療コミュニティにおけるこの問題の重要性を示す。 本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。 約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
  論文  参考訳（メタデータ） (2020-07-15T09:22:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。