論文の概要: HyperFusion: A Hypernetwork Approach to Multimodal Integration of Tabular and Medical Imaging Data for Predictive Modeling
- arxiv url: http://arxiv.org/abs/2403.13319v1
- Date: Wed, 20 Mar 2024 05:50:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-21 17:58:10.462888
- Title: HyperFusion: A Hypernetwork Approach to Multimodal Integration of Tabular and Medical Imaging Data for Predictive Modeling
- Title（参考訳）: HyperFusion: 予測モデリングのためのタブラリおよび医用画像データのマルチモーダル統合のためのハイパーネットワークアプローチ
- Authors: Daniel Duenias, Brennan Nichyporuk, Tal Arbel, Tammy Riklin Raviv,
- Abstract要約: EHRの値と測定値に画像処理を条件付け,臨床画像と表層データを融合させるハイパーネットワークに基づく新しいフレームワークを提案する。
我々は, 単一モダリティモデルと最先端MRI-タブラルデータ融合法の両方に優れることを示す。
- 参考スコア（独自算出の注目度）: 4.44283662576491
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The integration of diverse clinical modalities such as medical imaging and the tabular data obtained by the patients' Electronic Health Records (EHRs) is a crucial aspect of modern healthcare. The integrative analysis of multiple sources can provide a comprehensive understanding of a patient's condition and can enhance diagnoses and treatment decisions. Deep Neural Networks (DNNs) consistently showcase outstanding performance in a wide range of multimodal tasks in the medical domain. However, the complex endeavor of effectively merging medical imaging with clinical, demographic and genetic information represented as numerical tabular data remains a highly active and ongoing research pursuit. We present a novel framework based on hypernetworks to fuse clinical imaging and tabular data by conditioning the image processing on the EHR's values and measurements. This approach aims to leverage the complementary information present in these modalities to enhance the accuracy of various medical applications. We demonstrate the strength and the generality of our method on two different brain Magnetic Resonance Imaging (MRI) analysis tasks, namely, brain age prediction conditioned by subject's sex, and multiclass Alzheimer's Disease (AD) classification conditioned by tabular data. We show that our framework outperforms both single-modality models and state-of-the-art MRI-tabular data fusion methods. The code, enclosed to this manuscript will be made publicly available.
- Abstract（参考訳）: 医療画像や患者の電子健康記録(EHR)から得られた表型データなどの多様な臨床モダリティの統合は、現代医療の重要な側面である。
複数のソースの統合分析は、患者の状態を包括的に理解し、診断と治療の決定を強化することができる。
ディープニューラルネットワーク(DNN)は、医療領域における幅広いマルチモーダルタスクにおいて、一貫して優れたパフォーマンスを示す。
しかし、医療画像と臨床、人口統計、遺伝情報を数値表データとして効果的に融合する複雑な取り組みは、非常に活発で進行中の研究の追求である。
EHRの値と測定値に画像処理を条件付け,臨床画像と表層データを融合させるハイパーネットワークに基づく新しいフレームワークを提案する。
このアプローチは、これらのモダリティに存在する相補的な情報を活用し、様々な医療応用の精度を高めることを目的としている。
本研究では,2種類の脳磁気共鳴イメージング(MRI)解析課題,すなわち,被検者の性別による脳年齢予測,および表層データによる多クラスアルツハイマー病(AD)分類における本手法の強さと汎用性を実証した。
我々は, 単一モダリティモデルと最先端MRI-タブラルデータ融合法の両方に優れることを示す。
この写本に収められたコードは公開されます。
関連論文リスト
- Trustworthy Enhanced Multi-view Multi-modal Alzheimer's Disease Prediction with Brain-wide Imaging Transcriptomics Data [9.325994464749998]
脳の転写学は、脳が機能や過程を調節する分子機構に関する洞察を与える。
アルツハイマー病(AD)を予測するための既存のマルチモーダルな方法は、主に画像と時折遺伝データに依存しており、しばしば脳の転写学的基盤を無視している。
本稿では,広範囲な脳波と画像データを用いたAD診断のための多視点マルチモーダルグラフアテンションフレームワークTMMを提案する。
論文 参考訳（メタデータ） (2024-06-21T08:39:24Z) - Eye-gaze Guided Multi-modal Alignment for Medical Representation Learning [65.54680361074882]
アイゲイズガイドマルチモーダルアライメント(EGMA)フレームワークは、アイゲイズデータを利用して、医用視覚的特徴とテキスト的特徴のアライメントを改善する。
我々は4つの医療データセット上で画像分類と画像テキスト検索の下流タスクを行う。
論文 参考訳（メタデータ） (2024-03-19T03:59:14Z) - Radiology Report Generation Using Transformers Conditioned with
Non-imaging Data [55.17268696112258]
本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。
提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
論文 参考訳（メタデータ） (2023-11-18T14:52:26Z) - HEALNet -- Hybrid Multi-Modal Fusion for Heterogeneous Biomedical Data [12.109041184519281]
本稿では, フレキシブルなマルチモーダル融合アーキテクチャであるHybrid Early-fusion Attention Learning Network (HEALNet)を提案する。
The Cancer Genome Atlas (TCGA) の4つの癌コホートにおける全スライド画像と多モードデータの多モード生存解析を行った。
HEALNetは最先端のパフォーマンスを実現し、ユニモーダルベースラインと最近のマルチモーダルベースラインの両方を大幅に改善した。
論文 参考訳（メタデータ） (2023-11-15T17:06:26Z) - C^2M-DoT: Cross-modal consistent multi-view medical report generation
with domain transfer network [67.97926983664676]
ドメイン転送ネットワーク(C2M-DoT)を用いたクロスモーダルなマルチビュー医療レポート生成を提案する。
C2M-DoTは、すべてのメトリクスで最先端のベースラインを大幅に上回る。
論文 参考訳（メタデータ） (2023-10-09T02:31:36Z) - Multi-modal Graph Neural Network for Early Diagnosis of Alzheimer's
Disease from sMRI and PET Scans [11.420077093805382]
我々は,非ユークリッド領域の問題に対処するためのグラフニューラルネットワーク(GNN)を提案する。
本研究では,sMRIやPET画像から脳ネットワークを生成可能であることを示す。
次に、各モーダルが独自のGNNの分岐を持つマルチモーダルGNNフレームワークを提案し、その多モーダルデータを組み合わせる手法を提案する。
論文 参考訳（メタデータ） (2023-07-31T02:04:05Z) - MaxCorrMGNN: A Multi-Graph Neural Network Framework for Generalized
Multimodal Fusion of Medical Data for Outcome Prediction [3.2889220522843625]
我々はMaxCorr MGNNと呼ばれる革新的な融合手法を開発し、患者内および患者間の非線形モダリティ相関をモデル化する。
次に,多層グラフにおけるタスクインフォームド推論のための汎用多層グラフニューラルネットワーク(MGNN)を初めて設計する。
我々は,本モデルを結核データセットにおける結果予測タスクとして評価し,最先端のニューラルネットワーク,グラフベース,従来の融合技術より一貫して優れていることを示す。
論文 参考訳（メタデータ） (2023-07-13T23:52:41Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳（メタデータ） (2023-06-20T22:21:34Z) - RadFusion: Benchmarking Performance and Fairness for Multimodal
Pulmonary Embolism Detection from CT and EHR [14.586822005217485]
肺塞栓症と診断されたEHRデータとCTを併用した1794例のベンチマークデータセットであるRadFusionを報告する。
以上の結果から,画像とEHRデータの統合により,集団間での正の正の比率に大きな差が生じることなく,分類性能が向上することが示唆された。
論文 参考訳（メタデータ） (2021-11-23T06:10:07Z) - MIMO: Mutual Integration of Patient Journey and Medical Ontology for
Healthcare Representation Learning [49.57261599776167]
本稿では、医療表現学習と予測分析のための、エンドツーエンドの堅牢なトランスフォーマーベースのソリューション、患者旅行の相互統合、医療オントロジー(MIMO)を提案する。
論文 参考訳（メタデータ） (2021-07-20T07:04:52Z) - Cross-Modal Information Maximization for Medical Imaging: CMIM [62.28852442561818]
病院では、同じ情報を異なるモダリティの下で利用できるようにする特定の情報システムにデータがサイロ化される。
これは、テスト時に常に利用できないかもしれない同じ情報の複数のビューを列車で取得し、使用するためのユニークな機会を提供する。
テスト時にモダリティの低下に耐性を持つマルチモーダル入力の優れた表現を学習することで、利用可能なデータを最大限活用する革新的なフレームワークを提案する。
論文 参考訳（メタデータ） (2020-10-20T20:05:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。