論文の概要: Navigating the landscape of multimodal AI in medicine: a scoping review on technical challenges and clinical applications

• arxiv url: http://arxiv.org/abs/2411.03782v1
• Date: Wed, 06 Nov 2024 09:18:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:24:59.655956
• Title: Navigating the landscape of multimodal AI in medicine: a scoping review on technical challenges and clinical applications
• Title（参考訳）: 医療におけるマルチモーダルAIの展望 : 技術的な課題と臨床応用に関するスコーピングレビュー
• Authors: Daan Schouten, Giulia Nicoletti, Bas Dille, Catherine Chia, Pierpaolo Vendittelli, Megan Schuurmans, Geert Litjens, Nadieh Khalili,
• Abstract要約: 本稿では,医学領域全体にわたるディープラーニングベースのマルチモーダルAIアプリケーションの展望を概観する。 マルチモーダルAIモデルは、AUCの6.2ポイントの平均的な改善により、一貫して単調なAIモデルを上回っている。 我々は,マルチモーダルAI開発を推進している重要な要因を特定し,フィールドの成熟を促進するための推奨事項を提案する。
• 参考スコア（独自算出の注目度）: 2.3754862363513523
• License:
• Abstract: Recent technological advances in healthcare have led to unprecedented growth in patient data quantity and diversity. While artificial intelligence (AI) models have shown promising results in analyzing individual data modalities, there is increasing recognition that models integrating multiple complementary data sources, so-called multimodal AI, could enhance clinical decision-making. This scoping review examines the landscape of deep learning-based multimodal AI applications across the medical domain, analyzing 432 papers published between 2018 and 2024. We provide an extensive overview of multimodal AI development across different medical disciplines, examining various architectural approaches, fusion strategies, and common application areas. Our analysis reveals that multimodal AI models consistently outperform their unimodal counterparts, with an average improvement of 6.2 percentage points in AUC. However, several challenges persist, including cross-departmental coordination, heterogeneous data characteristics, and incomplete datasets. We critically assess the technical and practical challenges in developing multimodal AI systems and discuss potential strategies for their clinical implementation, including a brief overview of commercially available multimodal AI models for clinical decision-making. Additionally, we identify key factors driving multimodal AI development and propose recommendations to accelerate the field's maturation. This review provides researchers and clinicians with a thorough understanding of the current state, challenges, and future directions of multimodal AI in medicine.
• Abstract（参考訳）: 近年の医療技術の進歩により、患者のデータ量と多様性は前例のない成長を遂げた。 人工知能(AI)モデルは、個々のデータモダリティを分析する上で有望な結果を示しているが、複数の補完的データソースを統合するモデル、いわゆるマルチモーダルAIは、臨床上の意思決定を強化する可能性があると認識されている。 このスコーピングレビューでは、2018年から2024年にかけて発行された432の論文を分析し、医療領域全体にわたるディープラーニングベースのマルチモーダルAIアプリケーションの状況を調査している。 我々は、さまざまな医学分野にわたるマルチモーダルAI開発の概要を概観し、様々なアーキテクチャアプローチ、融合戦略、一般的な応用分野について検討する。 我々の分析によると、マルチモーダルAIモデルは、AUCの6.2ポイントの平均的な改善により、その単調なAIモデルよりも一貫して上回っている。 しかしながら、横断的なコーディネーション、異種データ特性、不完全なデータセットなど、いくつかの課題が続いている。 我々は、マルチモーダルAIシステムの開発における技術的・実践的な課題を批判的に評価し、臨床実践のための潜在的戦略について議論する。 さらに、マルチモーダルAI開発を推進している重要な要因を特定し、フィールドの成熟を促進するための推奨事項を提案する。 このレビューは、医学におけるマルチモーダルAIの現状、課題、今後の方向性について、研究者や臨床医に深い理解を与えるものである。

関連論文リスト

• From large language models to multimodal AI: A scoping review on the potential of generative AI in medicine [40.23383597339471]
  マルチモーダルAIは、イメージング、テキスト、構造化データを含む多様なデータモダリティを単一のモデルに統合することができる。 このスコーピングレビューは、マルチモーダルAIの進化を探求し、その方法、アプリケーション、データセット、臨床環境での評価を強調している。 診断支援,医療報告生成,薬物発見,会話型AIの革新を推進し,一過性のアプローチからマルチモーダルアプローチへのシフトを示唆した。
  論文  参考訳（メタデータ） (2025-02-13T11:57:51Z)
• Continually Evolved Multimodal Foundation Models for Cancer Prognosis [50.43145292874533]
  がん予後は、患者の予後と生存率を予測する重要なタスクである。 これまでの研究では、臨床ノート、医療画像、ゲノムデータなどの多様なデータモダリティを統合し、補完的な情報を活用している。 既存のアプローチには2つの大きな制限がある。まず、各病院の患者記録など、各種のトレーニングに新しく到着したデータを組み込むことに苦慮する。 第二に、ほとんどのマルチモーダル統合手法は単純化された結合やタスク固有のパイプラインに依存しており、モダリティ間の複雑な相互依存を捉えることができない。
  論文  参考訳（メタデータ） (2025-01-30T06:49:57Z)
• Explainable Artificial Intelligence for Medical Applications: A Review [42.33274794442013]
  本稿では、説明可能な人工知能(XAI)に関する最近の研究をレビューする。 視覚、オーディオ、マルチモーダルの観点からの医療実践に焦点を当てている。 我々は、将来の研究者や医療専門家に支援とガイダンスを提供することを目的として、これらのプラクティスを分類し、合成することに努めます。
  論文  参考訳（メタデータ） (2024-11-15T11:31:06Z)
• Artificial intelligence techniques in inherited retinal diseases: A review [19.107474958408847]
  遺伝性網膜疾患(英: InheritedRetinal disease、IRD)は、進行性視力低下を引き起こす多様な遺伝性疾患群であり、労働年齢層の視覚障害の主要な原因である。 人工知能(AI)の最近の進歩は、これらの課題に対する有望な解決策を提供する。 このレビューは既存の研究を統合し、ギャップを特定し、IRDの診断と管理におけるAIの可能性の概要を提供する。
  論文  参考訳（メタデータ） (2024-10-10T03:14:51Z)
• Automated Ensemble Multimodal Machine Learning for Healthcare [52.500923923797835]
  本稿では,自動機械学習を用いた構造化臨床(タブラル)データと医用画像の統合を実現するマルチモーダルフレームワークAutoPrognosis-Mを紹介する。 AutoPrognosis-Mには、畳み込みニューラルネットワークとビジョントランスフォーマーを含む17のイメージングモデルと、3つの異なるマルチモーダル融合戦略が含まれている。
  論文  参考訳（メタデータ） (2024-07-25T17:46:38Z)
• A Survey of Artificial Intelligence in Gait-Based Neurodegenerative Disease Diagnosis [51.07114445705692]
  神経変性疾患(神経変性疾患、ND)は、伝統的に医学的診断とモニタリングのために広範囲の医療資源と人的努力を必要とする。 重要な疾患関連運動症状として、ヒトの歩行を利用して異なるNDを特徴づけることができる。 人工知能(AI)モデルの現在の進歩は、NDの識別と分類のための自動歩行分析を可能にする。
  論文  参考訳（メタデータ） (2024-05-21T06:44:40Z)
• Multimodal Machine Learning in Image-Based and Clinical Biomedicine: Survey and Prospects [2.1070612998322438]
  本稿では,臨床予測のためのマルチモーダルモデルの変換可能性について検討する。 進歩にもかかわらず、多くの生物医学領域におけるデータバイアスや「ビッグデータ」の不足といった課題が続いている。
  論文  参考訳（メタデータ） (2023-11-04T05:42:51Z)
• Incomplete Multimodal Learning for Complex Brain Disorders Prediction [65.95783479249745]
  本稿では,変換器と生成対向ネットワークを用いた不完全なマルチモーダルデータ統合手法を提案する。 アルツハイマー病神経画像イニシアチブコホートを用いたマルチモーダルイメージングによる認知変性と疾患予後の予測に本手法を適用した。
  論文  参考訳（メタデータ） (2023-05-25T16:29:16Z)
• Artificial Intelligence-Based Methods for Fusion of Electronic Health Records and Imaging Data [0.9749560288448113]
  我々は、AI技術を用いて、異なる臨床応用のためにマルチモーダル医療データを融合する文献の合成と分析に重点を置いている。 本報告では, 各種核融合戦略, マルチモーダル核融合を用いた疾患, 臨床成績, 利用可能なマルチモーダル医療データセットを包括的に分析する。
  論文  参考訳（メタデータ） (2022-10-23T07:13:37Z)
• DIME: Fine-grained Interpretations of Multimodal Models via Disentangled Local Explanations [119.1953397679783]
  我々は,マルチモーダルモデルの解釈における最先端化に注力する。 提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
  論文  参考訳（メタデータ） (2022-03-03T20:52:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。