論文の概要: Artificial Intelligence-Based Methods for Fusion of Electronic Health
Records and Imaging Data
- arxiv url: http://arxiv.org/abs/2210.13462v1
- Date: Sun, 23 Oct 2022 07:13:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-26 13:01:17.698219
- Title: Artificial Intelligence-Based Methods for Fusion of Electronic Health
Records and Imaging Data
- Title(参考訳): 電子健康記録とイメージングデータの融合のための人工知能による手法
- Authors: Farida Mohsen, Hazrat Ali, Nady El Hajj, Zubair Shah
- Abstract要約: 我々は、AI技術を用いて、異なる臨床応用のためにマルチモーダル医療データを融合する文献の合成と分析に重点を置いている。
本報告では, 各種核融合戦略, マルチモーダル核融合を用いた疾患, 臨床成績, 利用可能なマルチモーダル医療データセットを包括的に分析する。
- 参考スコア(独自算出の注目度): 0.9749560288448113
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Healthcare data are inherently multimodal, including electronic health
records (EHR), medical images, and multi-omics data. Combining these multimodal
data sources contributes to a better understanding of human health and provides
optimal personalized healthcare. Advances in artificial intelligence (AI)
technologies, particularly machine learning (ML), enable the fusion of these
different data modalities to provide multimodal insights. To this end, in this
scoping review, we focus on synthesizing and analyzing the literature that uses
AI techniques to fuse multimodal medical data for different clinical
applications. More specifically, we focus on studies that only fused EHR with
medical imaging data to develop various AI methods for clinical applications.
We present a comprehensive analysis of the various fusion strategies, the
diseases and clinical outcomes for which multimodal fusion was used, the ML
algorithms used to perform multimodal fusion for each clinical application, and
the available multimodal medical datasets. We followed the PRISMA-ScR
guidelines. We searched Embase, PubMed, Scopus, and Google Scholar to retrieve
relevant studies. We extracted data from 34 studies that fulfilled the
inclusion criteria. In our analysis, a typical workflow was observed: feeding
raw data, fusing different data modalities by applying conventional machine
learning (ML) or deep learning (DL) algorithms, and finally, evaluating the
multimodal fusion through clinical outcome predictions. Specifically, early
fusion was the most used technique in most applications for multimodal learning
(22 out of 34 studies). We found that multimodality fusion models outperformed
traditional single-modality models for the same task. Disease diagnosis and
prediction were the most common clinical outcomes (reported in 20 and 10
studies, respectively) from a clinical outcome perspective.
- Abstract(参考訳): 医療データは本質的にマルチモーダルであり、電子健康記録(EHR)、医療画像、マルチオミクスデータが含まれる。
これらのマルチモーダルなデータソースの組み合わせは、人間の健康をよりよく理解し、最適なパーソナライズされた医療を提供する。
人工知能(AI)技術の進歩、特に機械学習(ML)は、これらの異なるデータモダリティの融合を可能にし、マルチモーダルな洞察を提供する。
この目的のために,本論文では,ai技術を用いた文献の合成と分析に焦点をあて,多変量医療データを異なる臨床応用に融合する。
具体的には、臨床応用のための様々なAI手法を開発するために、EHRと医療画像データのみを融合させた研究に焦点を当てる。
本稿では, 各種核融合戦略, マルチモーダル核融合を応用した疾患, 臨床成績, 臨床応用ごとのマルチモーダル核融合を行うMLアルゴリズム, 利用可能なマルチモーダル医療データセットについて, 総合的な分析を行った。
PRISMA-ScRガイドラインに従った。
embase、pubmed、scopus、google scholarを検索して、関連する研究を検索した。
包含基準を満たした34の研究からデータを抽出した。
本分析では,従来の機械学習 (ML) やディープラーニング (DL) アルゴリズムを適用して, 生データの供給, 異なるデータモダリティの融合, そして, 臨床結果予測によるマルチモーダル融合の評価を行う。
特に、初期の融合は、多くのマルチモーダル学習(34研究中22研究)で使われているテクニックであった。
その結果,マルチモーダリティ融合モデルは従来の単一モーダリティモデルよりも優れていた。
疾患の診断と予測は、臨床結果の観点から最も一般的な臨床結果(それぞれ20と10の研究で報告されている)であった。
関連論文リスト
- Automated Ensemble Multimodal Machine Learning for Healthcare [52.500923923797835]
本稿では,自動機械学習を用いた構造化臨床(タブラル)データと医用画像の統合を実現するマルチモーダルフレームワークAutoPrognosis-Mを紹介する。
AutoPrognosis-Mには、畳み込みニューラルネットワークとビジョントランスフォーマーを含む17のイメージングモデルと、3つの異なるマルチモーダル融合戦略が含まれている。
論文 参考訳(メタデータ) (2024-07-25T17:46:38Z) - HyperFusion: A Hypernetwork Approach to Multimodal Integration of Tabular and Medical Imaging Data for Predictive Modeling [4.44283662576491]
EHRの値と測定値に画像処理を条件付け,臨床画像と表層データを融合させるハイパーネットワークに基づく新しいフレームワークを提案する。
我々は, 単一モダリティモデルと最先端MRI-タブラルデータ融合法の両方に優れることを示す。
論文 参考訳(メタデータ) (2024-03-20T05:50:04Z) - OpenMEDLab: An Open-source Platform for Multi-modality Foundation Models
in Medicine [55.29668193415034]
マルチモダリティ基盤モデルのためのオープンソースプラットフォームであるOpenMEDLabについて紹介する。
これは、最前線臨床および生体情報学応用のための大規模言語とビジョンモデルを刺激し、微調整する先駆的な試みの解決策をカプセル化する。
様々な医用画像のモダリティ、臨床テキスト、タンパク質工学など、事前訓練された基礎モデル群へのアクセスが可能である。
論文 参考訳(メタデータ) (2024-02-28T03:51:02Z) - Review of multimodal machine learning approaches in healthcare [0.0]
臨床医は、情報的な判断をするために、さまざまなデータソースに依存しています。
機械学習の最近の進歩は、より効率的なマルチモーダルデータの取り込みを促進する。
論文 参考訳(メタデータ) (2024-02-04T12:21:38Z) - XAI for In-hospital Mortality Prediction via Multimodal ICU Data [57.73357047856416]
マルチモーダルICUデータを用いて病院内死亡率を予測するための,効率的で説明可能なAIソリューションを提案する。
我々は,臨床データから異種入力を受信し,意思決定を行うマルチモーダル・ラーニングを我々のフレームワークに導入する。
我々の枠組みは、医療研究において重要な要素の発見を容易にする他の臨床課題に容易に移行することができる。
論文 参考訳(メタデータ) (2023-12-29T14:28:04Z) - INSPECT: A Multimodal Dataset for Pulmonary Embolism Diagnosis and
Prognosis [19.32686665459374]
肺塞栓症(PE)リスクの高い大コホートからの非同定型経時的記録を含むINSPECTについて紹介する。
INSPECTには、CT画像、放射線医学報告印象セクション、構造化電子健康記録(EHR)データ(人口統計、診断、手順、バイタル、医薬品など)を含む19,402人のデータが含まれている。
論文 参考訳(メタデータ) (2023-11-17T07:28:16Z) - Incomplete Multimodal Learning for Complex Brain Disorders Prediction [65.95783479249745]
本稿では,変換器と生成対向ネットワークを用いた不完全なマルチモーダルデータ統合手法を提案する。
アルツハイマー病神経画像イニシアチブコホートを用いたマルチモーダルイメージングによる認知変性と疾患予後の予測に本手法を適用した。
論文 参考訳(メタデータ) (2023-05-25T16:29:16Z) - Medical Diagnosis with Large Scale Multimodal Transformers: Leveraging
Diverse Data for More Accurate Diagnosis [0.15776842283814416]
我々は「学習可能なシナジー」の新しい技術的アプローチを提案する。
我々のアプローチは容易に拡張可能であり、臨床ルーチンからのマルチモーダルデータ入力に自然に適応する。
臨床的に関連のある診断タスクにおいて、最先端のモデルよりも優れています。
論文 参考訳(メタデータ) (2022-12-18T20:43:37Z) - SEMPAI: a Self-Enhancing Multi-Photon Artificial Intelligence for
prior-informed assessment of muscle function and pathology [48.54269377408277]
本稿では,仮説駆動型先行処理をデータ駆動型ディープラーニングアプローチに統合した,SEMPAI(Self-Enhancing Multi-Photon Artificial Intelligence)を紹介する。
SEMPAIは、小さなデータセットの予測を可能にするために、いくつかのタスクを共同で学習する。
SEMPAIは、少ないデータを含む7つの予測タスクのうち6つにおいて、最先端のバイオマーカーよりも優れています。
論文 参考訳(メタデータ) (2022-10-28T17:03:04Z) - Multimodal Machine Learning in Precision Health [10.068890037410316]
本総説は, この分野を要約し, 今後の研究に欠かせない話題を特定するものである。
コンテンツ分析と文献検索を組み合わせて,2011年から2021年にかけてPubMed, Google Scholar, IEEEXploreの検索文字列とデータベースを構築した。
情報融合の最も一般的な形態は、初期の融合であり、特に、異種データ融合を行う予測性能の改善があった。
論文 参考訳(メタデータ) (2022-04-10T21:56:07Z) - Cross-Modal Information Maximization for Medical Imaging: CMIM [62.28852442561818]
病院では、同じ情報を異なるモダリティの下で利用できるようにする特定の情報システムにデータがサイロ化される。
これは、テスト時に常に利用できないかもしれない同じ情報の複数のビューを列車で取得し、使用するためのユニークな機会を提供する。
テスト時にモダリティの低下に耐性を持つマルチモーダル入力の優れた表現を学習することで、利用可能なデータを最大限活用する革新的なフレームワークを提案する。
論文 参考訳(メタデータ) (2020-10-20T20:05:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。