論文の概要: Integrated multimodal artificial intelligence framework for healthcare applications

• arxiv url: http://arxiv.org/abs/2202.12998v4
• Date: Mon, 26 Sep 2022 19:00:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-19 15:16:04.727530
• Title: Integrated multimodal artificial intelligence framework for healthcare applications
• Title（参考訳）: 医療応用のための統合型マルチモーダル人工知能フレームワーク
• Authors: Luis R. Soenksen, Yu Ma, Cynthia Zeng, Leonard D.J. Boussioux, Kimberly Villalobos Carballo, Liangyuan Na, Holly M. Wiberg, Michael L. Li, Ignacio Fuentes, Dimitris Bertsimas
• Abstract要約: 我々は,マルチモーダル入力を利用するAIシステムの生成とテストを容易にするために,統合されたホリスティックAI in Medicineフレームワークを提案し,評価する。 このアプローチでは、一般化可能なデータ前処理と機械学習モデリングステージを使用し、医療環境における研究やデプロイメントに容易に適応できる。 このフレームワークは、さまざまなヘルスケアのデモンストレーションにおいて、同様のシングルソースアプローチを上回る、一貫して、堅牢にモデルを生成できることを示します。
• 参考スコア（独自算出の注目度）: 3.6222901399459215
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Artificial intelligence (AI) systems hold great promise to improve healthcare over the next decades. Specifically, AI systems leveraging multiple data sources and input modalities are poised to become a viable method to deliver more accurate results and deployable pipelines across a wide range of applications. In this work, we propose and evaluate a unified Holistic AI in Medicine (HAIM) framework to facilitate the generation and testing of AI systems that leverage multimodal inputs. Our approach uses generalizable data pre-processing and machine learning modeling stages that can be readily adapted for research and deployment in healthcare environments. We evaluate our HAIM framework by training and characterizing 14,324 independent models based on HAIM-MIMIC-MM, a multimodal clinical database (N=34,537 samples) containing 7,279 unique hospitalizations and 6,485 patients, spanning all possible input combinations of 4 data modalities (i.e., tabular, time-series, text, and images), 11 unique data sources and 12 predictive tasks. We show that this framework can consistently and robustly produce models that outperform similar single-source approaches across various healthcare demonstrations (by 6-33%), including 10 distinct chest pathology diagnoses, along with length-of-stay and 48-hour mortality predictions. We also quantify the contribution of each modality and data source using Shapley values, which demonstrates the heterogeneity in data modality importance and the necessity of multimodal inputs across different healthcare-relevant tasks. The generalizable properties and flexibility of our Holistic AI in Medicine (HAIM) framework could offer a promising pathway for future multimodal predictive systems in clinical and operational healthcare settings.
• Abstract（参考訳）: 人工知能(AI)システムは今後数十年にわたって医療を改善することを約束している。 具体的には、複数のデータソースと入力モダリティを活用するAIシステムは、より正確な結果を提供するための実行可能な方法になり、幅広いアプリケーションにわたってパイプラインをデプロイできるようになります。 本研究では,マルチモーダル入力を利用するAIシステムの生成とテストを容易にするために,統合されたHolistic AI in Medicine(HAIM)フレームワークを提案し,評価する。 このアプローチでは、一般化可能なデータ前処理と機械学習モデリングステージを使用し、医療環境における研究やデプロイメントに容易に適応できる。 HAIM-MIMIC-MMをベースとした14,324の独立したモデル,7,279のユニークな入院と6,485の患者を含む多段階臨床データベース(N=34,537のサンプル)をトレーニング,評価し,4つのデータモダリティ(表,時系列,テキスト,画像)、11のユニークなデータソースと12の予測タスクの入力組み合わせを網羅した。 このフレームワークは、様々な医療実演(6～33%)で類似の単一ソースアプローチを上回る、一貫して堅牢にモデルを作成できることを示し、胸部病理診断10例と、長期生存と48時間の死亡予測を行った。 また,shapley値を用いて各モダリティとデータソースの寄与度を定量化し,さまざまな医療関連タスクにおけるデータモダリティの重要性とマルチモダリティ入力の必要性を示す。 当社のHolistic AI in Medicine(HAIM)フレームワークの一般化可能な特性と柔軟性は、臨床および手術医療設定における将来のマルチモーダル予測システムにとって有望な経路を提供する可能性がある。

関連論文リスト

• FEDKIM: Adaptive Federated Knowledge Injection into Medical Foundation Models [54.09244105445476]
  本研究は,フェデレート・ラーニング・フレームワーク内で医療基盤モデルを拡張するための新しい知識注入手法であるFedKIMを紹介する。 FedKIMは軽量なローカルモデルを活用して、プライベートデータから医療知識を抽出し、この知識を集中基盤モデルに統合する。 7つのモードで12タスクを対象に実験を行い,FedKIMの有効性について検討した。
  論文  参考訳（メタデータ） (2024-08-17T15:42:29Z)
• GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI [67.09501109871351]
  LVLM(Large Vision-Language Model)は、画像、テキスト、生理学的信号などの多様なデータタイプを扱うことができる。 GMAI-MMBenchは、よく分類されたデータ構造と、これまででもっとも包括的な一般医療用AIベンチマークである。 38の医療画像モダリティ、18の臨床関連タスク、18の部門、視覚質問回答(VQA)フォーマットの4つの知覚的粒度からなる284のデータセットで構成されている。
  論文  参考訳（メタデータ） (2024-08-06T17:59:21Z)
• Patient-centered data science: an integrative framework for evaluating and predicting clinical outcomes in the digital health era [0.0]
  本研究では,デジタルヘルス時代の患者中心型データサイエンスのための新たな統合的枠組みを提案する。 従来の臨床データと患者の報告した結果、健康の社会的決定要因、および多次元データを組み合わせて総合的なデジタル患者表現を作成する多次元モデルを開発した。
  論文  参考訳（メタデータ） (2024-07-31T02:36:17Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• XAI for In-hospital Mortality Prediction via Multimodal ICU Data [57.73357047856416]
  マルチモーダルICUデータを用いて病院内死亡率を予測するための,効率的で説明可能なAIソリューションを提案する。 我々は,臨床データから異種入力を受信し,意思決定を行うマルチモーダル・ラーニングを我々のフレームワークに導入する。 我々の枠組みは、医療研究において重要な要素の発見を容易にする他の臨床課題に容易に移行することができる。
  論文  参考訳（メタデータ） (2023-12-29T14:28:04Z)
• HEALNet: Multimodal Fusion for Heterogeneous Biomedical Data [10.774128925670183]
  本稿では,フレキシブルなマルチモーダル融合アーキテクチャであるHybrid Early-fusion Attention Learning Network (HEALNet)を提案する。 The Cancer Genome Atlas (TCGA) の4つのがんデータセットにおける全スライド画像と多モードデータを用いたマルチモーダルサバイバル解析を行った。 HEALNetは、他のエンドツーエンドの訓練された融合モデルと比較して最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-11-15T17:06:26Z)
• Building Flexible, Scalable, and Machine Learning-ready Multimodal Oncology Datasets [17.774341783844026]
  本研究は、オンコロジーデータシステム(MINDS)のマルチモーダル統合を提案する。 MINDSはフレキシブルでスケーラブルで費用対効果の高いメタデータフレームワークで、公開ソースから異なるデータを効率的に分離する。 MINDSは、マルチモーダルデータを調和させることで、より分析能力の高い研究者を力づけることを目指している。
  論文  参考訳（メタデータ） (2023-09-30T15:44:39Z)
• BiomedGPT: A Generalist Vision-Language Foundation Model for Diverse Biomedical Tasks [68.39821375903591]
  汎用AIは、さまざまなデータ型を解釈する汎用性のために、制限に対処する可能性を秘めている。 本稿では,最初のオープンソースかつ軽量な視覚言語基盤モデルであるBiomedGPTを提案する。
  論文  参考訳（メタデータ） (2023-05-26T17:14:43Z)
• Incomplete Multimodal Learning for Complex Brain Disorders Prediction [65.95783479249745]
  本稿では,変換器と生成対向ネットワークを用いた不完全なマルチモーダルデータ統合手法を提案する。 アルツハイマー病神経画像イニシアチブコホートを用いたマルチモーダルイメージングによる認知変性と疾患予後の予測に本手法を適用した。
  論文  参考訳（メタデータ） (2023-05-25T16:29:16Z)
• Patchwork Learning: A Paradigm Towards Integrative Analysis across Diverse Biomedical Data Sources [40.32772510980854]
  パッチワーク学習(PL)とは、異なるデータモダリティからなる異なるデータセットからの情報を統合するパラダイムである。 PLはデータのプライバシを保持しながら、補完的なデータソースの同時利用を可能にする。 本稿では、パッチワーク学習の概念とその医療における実装について紹介し、潜在的な機会と適用可能なデータソースを探求する。
  論文  参考訳（メタデータ） (2023-05-10T14:50:33Z)
• Artificial Intelligence-Based Methods for Fusion of Electronic Health Records and Imaging Data [0.9749560288448113]
  我々は、AI技術を用いて、異なる臨床応用のためにマルチモーダル医療データを融合する文献の合成と分析に重点を置いている。 本報告では, 各種核融合戦略, マルチモーダル核融合を用いた疾患, 臨床成績, 利用可能なマルチモーダル医療データセットを包括的に分析する。
  論文  参考訳（メタデータ） (2022-10-23T07:13:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。