論文の概要: MedFuse: Multi-modal fusion with clinical time-series data and chest
X-ray images
- arxiv url: http://arxiv.org/abs/2207.07027v1
- Date: Thu, 14 Jul 2022 15:59:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-15 17:37:11.582178
- Title: MedFuse: Multi-modal fusion with clinical time-series data and chest
X-ray images
- Title(参考訳): MedFuse:臨床時系列データと胸部X線画像とのマルチモーダル融合
- Authors: Nasir Hayat, Krzysztof J. Geras, Farah E. Shamout
- Abstract要約: マルチモーダルフュージョンアプローチは、異なるデータソースからの情報を統合することを目的としている。
オーディオ・ビジュアル・アプリケーションのような自然なデータセットとは異なり、医療におけるデータは非同期に収集されることが多い。
We propose MedFuse, a conceptly simple yet promising LSTM-based fusion module that can accommodate uni-modal as multi-modal input。
- 参考スコア(独自算出の注目度): 3.6615129560354527
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-modal fusion approaches aim to integrate information from different
data sources. Unlike natural datasets, such as in audio-visual applications,
where samples consist of "paired" modalities, data in healthcare is often
collected asynchronously. Hence, requiring the presence of all modalities for a
given sample is not realistic for clinical tasks and significantly limits the
size of the dataset during training. In this paper, we propose MedFuse, a
conceptually simple yet promising LSTM-based fusion module that can accommodate
uni-modal as well as multi-modal input. We evaluate the fusion method and
introduce new benchmark results for in-hospital mortality prediction and
phenotype classification, using clinical time-series data in the MIMIC-IV
dataset and corresponding chest X-ray images in MIMIC-CXR. Compared to more
complex multi-modal fusion strategies, MedFuse provides a performance
improvement by a large margin on the fully paired test set. It also remains
robust across the partially paired test set containing samples with missing
chest X-ray images. We release our code for reproducibility and to enable the
evaluation of competing models in the future.
- Abstract(参考訳): マルチモーダル融合アプローチは、異なるデータソースからの情報を統合することを目的としている。
サンプルが"ペア化された"モダリティで構成されるオーディオ視覚アプリケーションのような自然なデータセットとは異なり、医療データはしばしば非同期に収集される。
したがって、与えられたサンプルに対する全てのモダリティの存在を必要とすることは、臨床作業には現実的ではなく、トレーニング中のデータセットのサイズを著しく制限する。
本稿では,概念的にシンプルだが有望なLSTMベースの融合モジュールであるMedFuseを提案する。
MIMIC-IVデータセットにおける臨床時系列データとMIMIC-CXRにおける対応する胸部X線画像を用いて、核内死亡率予測と表現型分類のための融合法の評価を行い、新しいベンチマーク結果を導入した。
より複雑なマルチモーダル融合戦略と比較して、MedFuseは完全なペアテストセットにおいて大きなマージンでパフォーマンス改善を提供する。
また、胸部x線画像が欠落しているサンプルを含む部分対のテストセットでも頑健である。
再現性のためのコードを公開し、将来競合するモデルの評価を可能にする。
関連論文リスト
- Multi-Modal Federated Learning for Cancer Staging over Non-IID Datasets
with Unbalanced Modalities [10.352288752713413]
本研究では,データサンプルの不均一性に対応する新しいFLアーキテクチャを提案する。
FLシステム内の様々なデータモダリティにまたがる様々な収束速度に関する課題に光を当てた。
本手法の優位性を示すために,The Cancer Genome Atlas program (TCGA) datalake を用いて実験を行った。
論文 参考訳(メタデータ) (2024-01-07T23:45:01Z) - Source-Free Collaborative Domain Adaptation via Multi-Perspective
Feature Enrichment for Functional MRI Analysis [55.03872260158717]
安静時MRI機能(rs-fMRI)は、神経疾患の分析を助けるために多地点で研究されている。
ソース領域とターゲット領域の間のfMRIの不均一性を低減するための多くの手法が提案されている。
しかし、マルチサイト研究における懸念やデータストレージの負担のため、ソースデータの取得は困難である。
我々は、fMRI解析のためのソースフリー協調ドメイン適応フレームワークを設計し、事前訓練されたソースモデルとラベルなしターゲットデータのみにアクセスできるようにする。
論文 参考訳(メタデータ) (2023-08-24T01:30:18Z) - Cross-modality Attention-based Multimodal Fusion for Non-small Cell Lung
Cancer (NSCLC) Patient Survival Prediction [0.6476298550949928]
非小細胞肺癌(NSCLC)における患者生存予測のためのモダリティ特異的知識の統合を目的としたマルチモーダル核融合パイプラインを提案する。
組織画像データとRNA-seqデータのみを用いてc-index0.5772と0.5885を達成した単一モダリティと比較して, 提案した融合法はc-index0.6587を達成した。
論文 参考訳(メタデータ) (2023-08-18T21:42:52Z) - CheXFusion: Effective Fusion of Multi-View Features using Transformers
for Long-Tailed Chest X-Ray Classification [4.708378681950648]
本稿では,ICCV CVAMD 2023 Shared Task on CXR-LT: Multi-Label Long-Tailed Classification on Chest X-raysについて述べる。
提案手法では,マルチビューイメージを取り入れたトランスフォーマーベースの融合モジュールであるCheXFusionを導入する。
提案手法はMIMIC-CXRテストセットにおいて0.372 mAPで最先端の結果を達成し,競争において第1位を確保した。
論文 参考訳(メタデータ) (2023-08-08T00:46:01Z) - Multi-task Paired Masking with Alignment Modeling for Medical
Vision-Language Pre-training [55.56609500764344]
本稿では,マルチタスク・ペアド・マスキング・アライメント(MPMA)に基づく統合フレームワークを提案する。
また, メモリ拡張クロスモーダルフュージョン (MA-CMF) モジュールを導入し, 視覚情報を完全統合し, レポート再構築を支援する。
論文 参考訳(メタデータ) (2023-05-13T13:53:48Z) - Vision-Language Modelling For Radiological Imaging and Reports In The
Low Data Regime [70.04389979779195]
本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。
本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。
テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
論文 参考訳(メタデータ) (2023-03-30T18:20:00Z) - MDF-Net for abnormality detection by fusing X-rays with clinical data [14.347359031598813]
本研究は,患者の臨床情報が深層学習(DL)分類器の性能に及ぼす影響について検討した。
患者の臨床データと胸部X線を同時に処理できる2つの融合法からなる新しいアーキテクチャを提案する。
その結果, 患者の臨床データをDLモデルに組み込むことで, 胸部X線像の病的局在を平均精度で12%改善できることがわかった。
論文 参考訳(メタデータ) (2023-02-26T19:16:57Z) - A Novel Unified Conditional Score-based Generative Framework for
Multi-modal Medical Image Completion [54.512440195060584]
我々は、スコアベース生成モデル(SGM)を活用するために、統一多モードスコアベース生成モデル(UMM-CSGM)を提案する。
UMM-CSGMは、新しいマルチインマルチアウトコンディションスコアネットワーク(mm-CSN)を用いて、クロスモーダル条件分布の包括的集合を学習する。
BraTS19データセットの実験により、UMM-CSGMは腫瘍誘発病変における不均一な増強と不規則な領域をより確実に合成できることが示された。
論文 参考訳(メタデータ) (2022-07-07T16:57:21Z) - MMLN: Leveraging Domain Knowledge for Multimodal Diagnosis [10.133715767542386]
肺疾患診断のための知識駆動型およびデータ駆動型フレームワークを提案する。
本研究は, 臨床医学ガイドラインに従って診断規則を定式化し, テキストデータから規則の重みを学習する。
テキストと画像データからなるマルチモーダル融合は、肺疾患の限界確率を推定するために設計されている。
論文 参考訳(メタデータ) (2022-02-09T04:12:30Z) - Cross-Modal Information Maximization for Medical Imaging: CMIM [62.28852442561818]
病院では、同じ情報を異なるモダリティの下で利用できるようにする特定の情報システムにデータがサイロ化される。
これは、テスト時に常に利用できないかもしれない同じ情報の複数のビューを列車で取得し、使用するためのユニークな機会を提供する。
テスト時にモダリティの低下に耐性を持つマルチモーダル入力の優れた表現を学習することで、利用可能なデータを最大限活用する革新的なフレームワークを提案する。
論文 参考訳(メタデータ) (2020-10-20T20:05:35Z) - MS-Net: Multi-Site Network for Improving Prostate Segmentation with
Heterogeneous MRI Data [75.73881040581767]
本稿では,ロバスト表現を学習し,前立腺のセグメンテーションを改善するための新しいマルチサイトネットワーク(MS-Net)を提案する。
当社のMS-Netは,すべてのデータセットのパフォーマンスを一貫して改善し,マルチサイト学習における最先端の手法よりも優れています。
論文 参考訳(メタデータ) (2020-02-09T14:11:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。