論文の概要: Navigating the landscape of multimodal AI in medicine: a scoping review on technical challenges and clinical applications

• arxiv url: http://arxiv.org/abs/2411.03782v1
• Date: Wed, 06 Nov 2024 09:18:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:24:59.655956
• Title: Navigating the landscape of multimodal AI in medicine: a scoping review on technical challenges and clinical applications
• Title（参考訳）: 医療におけるマルチモーダルAIの展望 : 技術的な課題と臨床応用に関するスコーピングレビュー
• Authors: Daan Schouten, Giulia Nicoletti, Bas Dille, Catherine Chia, Pierpaolo Vendittelli, Megan Schuurmans, Geert Litjens, Nadieh Khalili,
• Abstract要約: 本稿では,医学領域全体にわたるディープラーニングベースのマルチモーダルAIアプリケーションの展望を概観する。 マルチモーダルAIモデルは、AUCの6.2ポイントの平均的な改善により、一貫して単調なAIモデルを上回っている。 我々は,マルチモーダルAI開発を推進している重要な要因を特定し,フィールドの成熟を促進するための推奨事項を提案する。
• 参考スコア（独自算出の注目度）: 2.3754862363513523
• License:
• Abstract: Recent technological advances in healthcare have led to unprecedented growth in patient data quantity and diversity. While artificial intelligence (AI) models have shown promising results in analyzing individual data modalities, there is increasing recognition that models integrating multiple complementary data sources, so-called multimodal AI, could enhance clinical decision-making. This scoping review examines the landscape of deep learning-based multimodal AI applications across the medical domain, analyzing 432 papers published between 2018 and 2024. We provide an extensive overview of multimodal AI development across different medical disciplines, examining various architectural approaches, fusion strategies, and common application areas. Our analysis reveals that multimodal AI models consistently outperform their unimodal counterparts, with an average improvement of 6.2 percentage points in AUC. However, several challenges persist, including cross-departmental coordination, heterogeneous data characteristics, and incomplete datasets. We critically assess the technical and practical challenges in developing multimodal AI systems and discuss potential strategies for their clinical implementation, including a brief overview of commercially available multimodal AI models for clinical decision-making. Additionally, we identify key factors driving multimodal AI development and propose recommendations to accelerate the field's maturation. This review provides researchers and clinicians with a thorough understanding of the current state, challenges, and future directions of multimodal AI in medicine.
• Abstract（参考訳）: 近年の医療技術の進歩により、患者のデータ量と多様性は前例のない成長を遂げた。 人工知能(AI)モデルは、個々のデータモダリティを分析する上で有望な結果を示しているが、複数の補完的データソースを統合するモデル、いわゆるマルチモーダルAIは、臨床上の意思決定を強化する可能性があると認識されている。 このスコーピングレビューでは、2018年から2024年にかけて発行された432の論文を分析し、医療領域全体にわたるディープラーニングベースのマルチモーダルAIアプリケーションの状況を調査している。 我々は、さまざまな医学分野にわたるマルチモーダルAI開発の概要を概観し、様々なアーキテクチャアプローチ、融合戦略、一般的な応用分野について検討する。 我々の分析によると、マルチモーダルAIモデルは、AUCの6.2ポイントの平均的な改善により、その単調なAIモデルよりも一貫して上回っている。 しかしながら、横断的なコーディネーション、異種データ特性、不完全なデータセットなど、いくつかの課題が続いている。 我々は、マルチモーダルAIシステムの開発における技術的・実践的な課題を批判的に評価し、臨床実践のための潜在的戦略について議論する。 さらに、マルチモーダルAI開発を推進している重要な要因を特定し、フィールドの成熟を促進するための推奨事項を提案する。 このレビューは、医学におけるマルチモーダルAIの現状、課題、今後の方向性について、研究者や臨床医に深い理解を与えるものである。

関連論文リスト

• Artificial intelligence techniques in inherited retinal diseases: A review [19.107474958408847]
  遺伝性網膜疾患(英: InheritedRetinal disease、IRD)は、進行性視力低下を引き起こす多様な遺伝性疾患群であり、労働年齢層の視覚障害の主要な原因である。 人工知能(AI)の最近の進歩は、これらの課題に対する有望な解決策を提供する。 このレビューは既存の研究を統合し、ギャップを特定し、IRDの診断と管理におけるAIの可能性の概要を提供する。
  論文  参考訳（メタデータ） (2024-10-10T03:14:51Z)
• The Era of Foundation Models in Medical Imaging is Approaching : A Scoping Review of the Clinical Value of Large-Scale Generative AI Applications in Radiology [0.0]
  放射線技師の不足に起因する社会問題は激化しており、人工知能は潜在的な解決策として強調されている。 最近出現する大規模生成AIは、大規模言語モデル(LLM)からマルチモーダルモデルへと拡張されている。 このスコーピングレビューは、大規模生成型AIアプリケーションの臨床的価値に関する既存の文献を体系的に整理する。
  論文  参考訳（メタデータ） (2024-09-03T00:48:50Z)
• Automated Ensemble Multimodal Machine Learning for Healthcare [52.500923923797835]
  本稿では,自動機械学習を用いた構造化臨床(タブラル)データと医用画像の統合を実現するマルチモーダルフレームワークAutoPrognosis-Mを紹介する。 AutoPrognosis-Mには、畳み込みニューラルネットワークとビジョントランスフォーマーを含む17のイメージングモデルと、3つの異なるマルチモーダル融合戦略が含まれている。
  論文  参考訳（メタデータ） (2024-07-25T17:46:38Z)
• TrialBench: Multi-Modal Artificial Intelligence-Ready Clinical Trial Datasets [57.067409211231244]
  本稿では,マルチモーダルデータ(例えば,薬物分子,疾患コード,テキスト,分類・数値的特徴)と臨床治験設計における8つの重要な予測課題をカバーするAIreadyデータセットを精巧にキュレートした。 データセットのユーザビリティと信頼性を確保するため、各タスクに基本的な検証方法を提供する。 このようなオープンアクセスデータセットが利用可能になることは、臨床試験設計のための高度なAIアプローチの開発を促進することを期待する。
  論文  参考訳（メタデータ） (2024-06-30T09:13:10Z)
• A Survey of Artificial Intelligence in Gait-Based Neurodegenerative Disease Diagnosis [51.07114445705692]
  神経変性疾患(神経変性疾患、ND)は、伝統的に医学的診断とモニタリングのために広範囲の医療資源と人的努力を必要とする。 重要な疾患関連運動症状として、ヒトの歩行を利用して異なるNDを特徴づけることができる。 人工知能(AI)モデルの現在の進歩は、NDの識別と分類のための自動歩行分析を可能にする。
  論文  参考訳（メタデータ） (2024-05-21T06:44:40Z)
• Multimodal Machine Learning in Image-Based and Clinical Biomedicine: Survey and Prospects [2.1070612998322438]
  本稿では,臨床予測のためのマルチモーダルモデルの変換可能性について検討する。 進歩にもかかわらず、多くの生物医学領域におけるデータバイアスや「ビッグデータ」の不足といった課題が続いている。
  論文  参考訳（メタデータ） (2023-11-04T05:42:51Z)
• Validating polyp and instrument segmentation methods in colonoscopy through Medico 2020 and MedAI 2021 Challenges [58.32937972322058]
  メディコオートマチックポリープセグメンテーション(Medico 2020)と「メディコ:医療画像の透明性(MedAI 2021)」コンペティション。 本報告では, それぞれのコントリビューションを包括的に分析し, ベストパフォーマンスメソッドの強さを強調し, クリニックへの臨床翻訳の可能性について考察する。
  論文  参考訳（メタデータ） (2023-07-30T16:08:45Z)
• Incomplete Multimodal Learning for Complex Brain Disorders Prediction [65.95783479249745]
  本稿では,変換器と生成対向ネットワークを用いた不完全なマルチモーダルデータ統合手法を提案する。 アルツハイマー病神経画像イニシアチブコホートを用いたマルチモーダルイメージングによる認知変性と疾患予後の予測に本手法を適用した。
  論文  参考訳（メタデータ） (2023-05-25T16:29:16Z)
• Artificial Intelligence-Based Methods for Fusion of Electronic Health Records and Imaging Data [0.9749560288448113]
  我々は、AI技術を用いて、異なる臨床応用のためにマルチモーダル医療データを融合する文献の合成と分析に重点を置いている。 本報告では, 各種核融合戦略, マルチモーダル核融合を用いた疾患, 臨床成績, 利用可能なマルチモーダル医療データセットを包括的に分析する。
  論文  参考訳（メタデータ） (2022-10-23T07:13:37Z)
• Deep Multi-modal Fusion of Image and Non-image Data in Disease Diagnosis and Prognosis: A Review [8.014632186417423]
  医療における診断技術の急速な発展は、医師が日常的に発生する異質で相補的なデータを扱い、統合することの要求が高まっている。 近年のマルチモーダルディープラーニング技術の発展に伴い、我々はどのようにして多モーダル情報を抽出して集約し、究極的にはより客観的で定量的なコンピュータ支援の臨床的意思決定を提供するかという重要な疑問に、ますます多くの努力が注がれている。 本総説では,(1)現在のマルチモーダル・ラーニングの概要,(2)マルチモーダル・フュージョン法の要約,(3)パフォーマンスの議論,(4)疾患診断と予後の応用,(5)課題と将来について概説する。
  論文  参考訳（メタデータ） (2022-03-25T18:50:03Z)
• DIME: Fine-grained Interpretations of Multimodal Models via Disentangled Local Explanations [119.1953397679783]
  我々は,マルチモーダルモデルの解釈における最先端化に注力する。 提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
  論文  参考訳（メタデータ） (2022-03-03T20:52:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。