論文の概要: Integrated multimodal artificial intelligence framework for healthcare
applications
- arxiv url: http://arxiv.org/abs/2202.12998v4
- Date: Mon, 26 Sep 2022 19:00:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-19 15:16:04.727530
- Title: Integrated multimodal artificial intelligence framework for healthcare
applications
- Title(参考訳): 医療応用のための統合型マルチモーダル人工知能フレームワーク
- Authors: Luis R. Soenksen, Yu Ma, Cynthia Zeng, Leonard D.J. Boussioux,
Kimberly Villalobos Carballo, Liangyuan Na, Holly M. Wiberg, Michael L. Li,
Ignacio Fuentes, Dimitris Bertsimas
- Abstract要約: 我々は,マルチモーダル入力を利用するAIシステムの生成とテストを容易にするために,統合されたホリスティックAI in Medicineフレームワークを提案し,評価する。
このアプローチでは、一般化可能なデータ前処理と機械学習モデリングステージを使用し、医療環境における研究やデプロイメントに容易に適応できる。
このフレームワークは、さまざまなヘルスケアのデモンストレーションにおいて、同様のシングルソースアプローチを上回る、一貫して、堅牢にモデルを生成できることを示します。
- 参考スコア(独自算出の注目度): 3.6222901399459215
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Artificial intelligence (AI) systems hold great promise to improve healthcare
over the next decades. Specifically, AI systems leveraging multiple data
sources and input modalities are poised to become a viable method to deliver
more accurate results and deployable pipelines across a wide range of
applications. In this work, we propose and evaluate a unified Holistic AI in
Medicine (HAIM) framework to facilitate the generation and testing of AI
systems that leverage multimodal inputs. Our approach uses generalizable data
pre-processing and machine learning modeling stages that can be readily adapted
for research and deployment in healthcare environments. We evaluate our HAIM
framework by training and characterizing 14,324 independent models based on
HAIM-MIMIC-MM, a multimodal clinical database (N=34,537 samples) containing
7,279 unique hospitalizations and 6,485 patients, spanning all possible input
combinations of 4 data modalities (i.e., tabular, time-series, text, and
images), 11 unique data sources and 12 predictive tasks. We show that this
framework can consistently and robustly produce models that outperform similar
single-source approaches across various healthcare demonstrations (by 6-33%),
including 10 distinct chest pathology diagnoses, along with length-of-stay and
48-hour mortality predictions. We also quantify the contribution of each
modality and data source using Shapley values, which demonstrates the
heterogeneity in data modality importance and the necessity of multimodal
inputs across different healthcare-relevant tasks. The generalizable properties
and flexibility of our Holistic AI in Medicine (HAIM) framework could offer a
promising pathway for future multimodal predictive systems in clinical and
operational healthcare settings.
- Abstract(参考訳): 人工知能(AI)システムは今後数十年にわたって医療を改善することを約束している。
具体的には、複数のデータソースと入力モダリティを活用するAIシステムは、より正確な結果を提供するための実行可能な方法になり、幅広いアプリケーションにわたってパイプラインをデプロイできるようになります。
本研究では,マルチモーダル入力を利用するAIシステムの生成とテストを容易にするために,統合されたHolistic AI in Medicine(HAIM)フレームワークを提案し,評価する。
このアプローチでは、一般化可能なデータ前処理と機械学習モデリングステージを使用し、医療環境における研究やデプロイメントに容易に適応できる。
HAIM-MIMIC-MMをベースとした14,324の独立したモデル,7,279のユニークな入院と6,485の患者を含む多段階臨床データベース(N=34,537のサンプル)をトレーニング,評価し,4つのデータモダリティ(表,時系列,テキスト,画像)、11のユニークなデータソースと12の予測タスクの入力組み合わせを網羅した。
このフレームワークは、様々な医療実演(6~33%)で類似の単一ソースアプローチを上回る、一貫して堅牢にモデルを作成できることを示し、胸部病理診断10例と、長期生存と48時間の死亡予測を行った。
また,shapley値を用いて各モダリティとデータソースの寄与度を定量化し,さまざまな医療関連タスクにおけるデータモダリティの重要性とマルチモダリティ入力の必要性を示す。
当社のHolistic AI in Medicine(HAIM)フレームワークの一般化可能な特性と柔軟性は、臨床および手術医療設定における将来のマルチモーダル予測システムにとって有望な経路を提供する可能性がある。
関連論文リスト
- Training Small Multimodal Models to Bridge Biomedical Competency Gap: A
Case Study in Radiology Imaging [114.43429928419755]
バイオメディカル・コンピテンシー・ギャップを橋渡しするオープンソース小型マルチモーダル・モデル(SMM)の訓練について検討する。
LLaVA-Radは高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文 参考訳(メタデータ) (2024-03-12T18:12:02Z) - XAI for In-hospital Mortality Prediction via Multimodal ICU Data [57.73357047856416]
マルチモーダルICUデータを用いて病院内死亡率を予測するための,効率的で説明可能なAIソリューションを提案する。
我々は,臨床データから異種入力を受信し,意思決定を行うマルチモーダル・ラーニングを我々のフレームワークに導入する。
我々の枠組みは、医療研究において重要な要素の発見を容易にする他の臨床課題に容易に移行することができる。
論文 参考訳(メタデータ) (2023-12-29T14:28:04Z) - HEALNet -- Hybrid Multi-Modal Fusion for Heterogeneous Biomedical Data [12.109041184519281]
本稿では, フレキシブルなマルチモーダル融合アーキテクチャであるHybrid Early-fusion Attention Learning Network (HEALNet)を提案する。
The Cancer Genome Atlas (TCGA) の4つの癌コホートにおける全スライド画像と多モードデータの多モード生存解析を行った。
HEALNetは最先端のパフォーマンスを実現し、ユニモーダルベースラインと最近のマルチモーダルベースラインの両方を大幅に改善した。
論文 参考訳(メタデータ) (2023-11-15T17:06:26Z) - Building Flexible, Scalable, and Machine Learning-ready Multimodal
Oncology Datasets [17.774341783844026]
本研究は、オンコロジーデータシステム(MINDS)のマルチモーダル統合を提案する。
MINDSはフレキシブルでスケーラブルで費用対効果の高いメタデータフレームワークで、公開ソースから異なるデータを効率的に分離する。
MINDSは、マルチモーダルデータを調和させることで、より分析能力の高い研究者を力づけることを目指している。
論文 参考訳(メタデータ) (2023-09-30T15:44:39Z) - Incomplete Multimodal Learning for Complex Brain Disorders Prediction [65.95783479249745]
本稿では,変換器と生成対向ネットワークを用いた不完全なマルチモーダルデータ統合手法を提案する。
アルツハイマー病神経画像イニシアチブコホートを用いたマルチモーダルイメージングによる認知変性と疾患予後の予測に本手法を適用した。
論文 参考訳(メタデータ) (2023-05-25T16:29:16Z) - Patchwork Learning: A Paradigm Towards Integrative Analysis across
Diverse Biomedical Data Sources [40.32772510980854]
パッチワーク学習(PL)とは、異なるデータモダリティからなる異なるデータセットからの情報を統合するパラダイムである。
PLはデータのプライバシを保持しながら、補完的なデータソースの同時利用を可能にする。
本稿では、パッチワーク学習の概念とその医療における実装について紹介し、潜在的な機会と適用可能なデータソースを探求する。
論文 参考訳(メタデータ) (2023-05-10T14:50:33Z) - Quantifying & Modeling Multimodal Interactions: An Information
Decomposition Framework [89.8609061423685]
本稿では,入力モーダル性と出力タスクを関連付けた冗長性,特異性,シナジーの度合いを定量化する情報理論手法を提案する。
PID推定を検証するために、PIDが知られている合成データセットと大規模マルチモーダルベンチマークの両方で広範な実験を行う。
本研究では,(1)マルチモーダルデータセット内の相互作用の定量化,(2)マルチモーダルモデルで捉えた相互作用の定量化,(3)モデル選択の原理的アプローチ,(4)実世界のケーススタディの3つにその有用性を示す。
論文 参考訳(メタデータ) (2023-02-23T18:59:05Z) - Artificial Intelligence-Based Methods for Fusion of Electronic Health
Records and Imaging Data [0.9749560288448113]
我々は、AI技術を用いて、異なる臨床応用のためにマルチモーダル医療データを融合する文献の合成と分析に重点を置いている。
本報告では, 各種核融合戦略, マルチモーダル核融合を用いた疾患, 臨床成績, 利用可能なマルチモーダル医療データセットを包括的に分析する。
論文 参考訳(メタデータ) (2022-10-23T07:13:37Z) - DIME: Fine-grained Interpretations of Multimodal Models via Disentangled
Local Explanations [119.1953397679783]
我々は,マルチモーダルモデルの解釈における最先端化に注力する。
提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
論文 参考訳(メタデータ) (2022-03-03T20:52:47Z) - CheXstray: Real-time Multi-Modal Data Concordance for Drift Detection in
Medical Imaging AI [1.359138408203412]
医用画像AIドリフトモニタリングワークフローを構築してテストし、同時代の地上真実なしにデータとモデルドリフトを追跡する。
主な貢献は,(1)VAEおよび領域特異的統計手法を含む医用画像ドリフト検出のための概念実証である。
この研究は、動的医療環境における継続的医療画像AIモデルモニタリングに関連する翻訳ギャップに対処するために重要な意味を持つ。
論文 参考訳(メタデータ) (2022-02-06T18:58:35Z) - Cross-Modal Information Maximization for Medical Imaging: CMIM [62.28852442561818]
病院では、同じ情報を異なるモダリティの下で利用できるようにする特定の情報システムにデータがサイロ化される。
これは、テスト時に常に利用できないかもしれない同じ情報の複数のビューを列車で取得し、使用するためのユニークな機会を提供する。
テスト時にモダリティの低下に耐性を持つマルチモーダル入力の優れた表現を学習することで、利用可能なデータを最大限活用する革新的なフレームワークを提案する。
論文 参考訳(メタデータ) (2020-10-20T20:05:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。