論文の概要: MDF-Net: Multimodal Dual-Fusion Network for Abnormality Detection using CXR Images and Clinical Data

• arxiv url: http://arxiv.org/abs/2302.13390v1
• Date: Sun, 26 Feb 2023 19:16:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-28 17:27:37.795046
• Title: MDF-Net: Multimodal Dual-Fusion Network for Abnormality Detection using CXR Images and Clinical Data
• Title（参考訳）: MDF-Net:CXR画像と臨床データを用いた異常検出のためのマルチモーダルデュアルフュージョンネットワーク
• Authors: Chihcheng Hsieh and Isabel Blanco Nobre and Sandra Costa Sousa and Chun Ouyang and Margot Brereton and Jacinto C. Nascimento and Joaquim Jorge and Catarina Moreira
• Abstract要約: 本研究の目的は,患者の臨床情報を含めることが,胸部X線における病的位置に対する深層学習(DL)分類器の性能に及ぼす影響を検討することである。 患者の臨床データと胸部X線を同時に処理できる2つの融合法からなる新しいアーキテクチャを提案する。 その結果, 患者の臨床データをDLモデルに組み込むことで, 胸部X線像の病巣局在を平均精度で12%改善できることがわかった。
• 参考スコア（独自算出の注目度）: 21.301594189445606
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study aims to investigate the effects of including patients' clinical information on the performance of deep learning (DL) classifiers for disease location in chest X-ray images. Although current classifiers achieve high performance using chest X-ray images alone, our interviews with radiologists indicate that clinical data is highly informative and essential for interpreting images and making proper diagnoses. In this work, we propose a novel architecture consisting of two fusion methods that enable the model to simultaneously process patients' clinical data (structured data) and chest X-rays (image data). Since these data modalities are in different dimensional spaces, we propose a spatial arrangement strategy, termed spatialization, to facilitate the multimodal learning process in a Mask R-CNN model. We performed an extensive experimental evaluation comprising three datasets with different modalities: MIMIC CXR (chest X-ray images), MIMIC IV-ED (patients' clinical data), and REFLACX (annotations of disease locations in chest X-rays). Results show that incorporating patients' clinical data in a DL model together with the proposed fusion methods improves the performance of disease localization in chest X-rays by 12\% in terms of Average Precision compared to a standard Mask R-CNN using only chest X-rays. Further ablation studies also emphasize the importance of multimodal DL architectures and the incorporation of patients' clinical data in disease localisation. The architecture proposed in this work is publicly available to promote the scientific reproducibility of our study (https://github.com/ChihchengHsieh/multimodal-abnormalities-detection).
• Abstract（参考訳）: 本研究の目的は, 胸部X線画像における深層学習(DL)分類器の性能に及ぼす臨床情報を含めることによる効果を検討することである。 現在の分類器は胸部X線画像のみを用いて高い性能を示すが, 臨床データは画像の解釈や適切な診断に不可欠であると考えられた。 本研究では,患者の臨床データ(構造化データ)と胸部X線(画像データ)を同時に処理できる2つの融合法からなる新しいアーキテクチャを提案する。 これらのデータモダリティは異なる次元空間にあるため、Mask R-CNNモデルにおけるマルチモーダル学習プロセスを容易にするために、空間化と呼ばれる空間配置戦略を提案する。 MIMIC CXR(ケストX線画像)、MIMIC IV-ED(患者の臨床データ)、REFLACX(胸部X線における疾患部位の注釈)の3つのデータセットからなる広範囲な実験的評価を行った。 その結果, 患者の臨床データをDLモデルに組み込むことにより, 胸部X線のみを用いた標準的なMask R-CNNと比較して, 胸部X線における疾患局在の12%向上が得られた。 さらにアブレーション研究は、多モードDLアーキテクチャの重要性と、疾患の局所化における患者の臨床データの取り込みも強調している。 この研究で提案されたアーキテクチャは、研究の科学的再現性を促進するために一般に利用可能である(https://github.com/chihchenghsieh/multimodal-abnormalities-detection)。

関連論文リスト

• MedPromptX: Grounded Multimodal Prompting for Chest X-ray Diagnosis [1.2903829793534272]
  胸部X線像は急性および慢性の心肺疾患の予測に一般的に用いられている。 構造化された臨床データと統合する努力は、不完全な電子健康記録による課題に直面している。 本稿では,MedPromptXについて紹介する。MedPromptXはマルチモーダル大言語モデル(MLLM),少数ショットプロンプト(FP),視覚的グラウンドディング(VG)を統合した最初のモデルである。 その結果、MedPromptXのSOTA性能を示し、ベースラインに比べてF1スコアが11%向上した。
  論文  参考訳（メタデータ） (2024-03-22T19:19:51Z)
• MLVICX: Multi-Level Variance-Covariance Exploration for Chest X-ray Self-Supervised Representation Learning [6.4136876268620115]
  MLVICXは、胸部X線画像からの埋め込みの形でリッチな表現をキャプチャするアプローチである。 自己教師付き胸部X線表現学習におけるMLVICXの性能を示す。
  論文  参考訳（メタデータ） (2024-03-18T06:19:37Z)
• Radiology Report Generation Using Transformers Conditioned with Non-imaging Data [55.17268696112258]
  本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。 提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
  論文  参考訳（メタデータ） (2023-11-18T14:52:26Z)
• Beyond Images: An Integrative Multi-modal Approach to Chest X-Ray Report Generation [47.250147322130545]
  画像からテキストまでの放射線学レポート生成は,医療画像の発見を記述した放射線学レポートを自動生成することを目的としている。 既存の方法の多くは画像データのみに焦点をあてており、他の患者情報は放射線科医に公開されていない。 胸部X線レポートを生成するための多モードディープニューラルネットワークフレームワークを,非構造的臨床ノートとともにバイタルサインや症状などの構造化された患者データを統合することで提案する。
  論文  参考訳（メタデータ） (2023-11-18T14:37:53Z)
• UMedNeRF: Uncertainty-aware Single View Volumetric Rendering for Medical Neural Radiance Fields [38.62191342903111]
  生成した放射場に基づく不確実性を考慮したMedNeRF(UMedNeRF)ネットワークを提案する。 我々は,CTプロジェクションレンダリングの結果を1つのX線で示し,生成した放射場に基づく他の手法との比較を行った。
  論文  参考訳（メタデータ） (2023-11-10T02:47:15Z)
• Medical Image Captioning via Generative Pretrained Transformers [57.308920993032274]
  我々は、Show-Attend-Tell と GPT-3 という2つの言語モデルを組み合わせて、包括的で記述的な放射線学記録を生成する。 提案モデルは、Open-I、MIMIC-CXR、汎用MS-COCOの2つの医療データセットで検証される。
  論文  参考訳（メタデータ） (2022-09-28T10:27:10Z)
• Improving Classification Model Performance on Chest X-Rays through Lung Segmentation [63.45024974079371]
  本稿では, セグメンテーションによる異常胸部X線(CXR)識別性能を向上させるための深層学習手法を提案する。 提案手法は,CXR画像中の肺領域を局所化するための深層ニューラルネットワーク(XLSor)と,大規模CXRデータセットで事前学習した自己教師あり運動量コントラスト(MoCo)モデルのバックボーンを用いたCXR分類モデルである。
  論文  参考訳（メタデータ） (2022-02-22T15:24:06Z)
• MMLN: Leveraging Domain Knowledge for Multimodal Diagnosis [10.133715767542386]
  肺疾患診断のための知識駆動型およびデータ駆動型フレームワークを提案する。 本研究は, 臨床医学ガイドラインに従って診断規則を定式化し, テキストデータから規則の重みを学習する。 テキストと画像データからなるマルチモーダル融合は、肺疾患の限界確率を推定するために設計されている。
  論文  参考訳（メタデータ） (2022-02-09T04:12:30Z)
• The pitfalls of using open data to develop deep learning solutions for COVID-19 detection in chest X-rays [64.02097860085202]
  深層学習モデルは、胸部X線から新型コロナウイルスを識別するために開発された。 オープンソースデータのトレーニングやテストでは,結果は異例です。 データ分析とモデル評価は、人気のあるオープンソースデータセットであるCOVIDxが実際の臨床問題を代表していないことを示している。
  論文  参考訳（メタデータ） (2021-09-14T10:59:11Z)
• Variational Knowledge Distillation for Disease Classification in Chest X-Rays [102.04931207504173]
  我々は,X線に基づく疾患分類のための新しい確率的推論フレームワークである反復的知識蒸留(VKD)を提案する。 提案手法の有効性を,X線画像とEHRを用いた3つの公開ベンチマークデータセットに示す。
  論文  参考訳（メタデータ） (2021-03-19T14:13:56Z)
• Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for Thoracic Disease Identification [83.6017225363714]
  ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。 胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。 本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
  論文  参考訳（メタデータ） (2021-02-26T02:29:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。