論文の概要: From large language models to multimodal AI: A scoping review on the potential of generative AI in medicine

• arxiv url: http://arxiv.org/abs/2502.09242v1
• Date: Thu, 13 Feb 2025 11:57:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:48:39.973378
• Title: From large language models to multimodal AI: A scoping review on the potential of generative AI in medicine
• Title（参考訳）: 大規模言語モデルからマルチモーダルAI:医療における生成AIの可能性に関するスコーピングレビュー
• Authors: Lukas Buess, Matthias Keicher, Nassir Navab, Andreas Maier, Soroosh Tayebi Arasteh,
• Abstract要約: マルチモーダルAIは、イメージング、テキスト、構造化データを含む多様なデータモダリティを単一のモデルに統合することができる。 このスコーピングレビューは、マルチモーダルAIの進化を探求し、その方法、アプリケーション、データセット、臨床環境での評価を強調している。 診断支援,医療報告生成,薬物発見,会話型AIの革新を推進し,一過性のアプローチからマルチモーダルアプローチへのシフトを示唆した。
• 参考スコア（独自算出の注目度）: 40.23383597339471
• License:
• Abstract: Generative artificial intelligence (AI) models, such as diffusion models and OpenAI's ChatGPT, are transforming medicine by enhancing diagnostic accuracy and automating clinical workflows. The field has advanced rapidly, evolving from text-only large language models for tasks such as clinical documentation and decision support to multimodal AI systems capable of integrating diverse data modalities, including imaging, text, and structured data, within a single model. The diverse landscape of these technologies, along with rising interest, highlights the need for a comprehensive review of their applications and potential. This scoping review explores the evolution of multimodal AI, highlighting its methods, applications, datasets, and evaluation in clinical settings. Adhering to PRISMA-ScR guidelines, we systematically queried PubMed, IEEE Xplore, and Web of Science, prioritizing recent studies published up to the end of 2024. After rigorous screening, 144 papers were included, revealing key trends and challenges in this dynamic field. Our findings underscore a shift from unimodal to multimodal approaches, driving innovations in diagnostic support, medical report generation, drug discovery, and conversational AI. However, critical challenges remain, including the integration of heterogeneous data types, improving model interpretability, addressing ethical concerns, and validating AI systems in real-world clinical settings. This review summarizes the current state of the art, identifies critical gaps, and provides insights to guide the development of scalable, trustworthy, and clinically impactful multimodal AI solutions in healthcare.
• Abstract（参考訳）: 拡散モデルやOpenAIのChatGPTのような生成人工知能(AI)モデルは、診断精度を高め、臨床ワークフローを自動化することで医療を変革している。 この分野は急速に発展し、臨床ドキュメントや意思決定支援などのタスクのためのテキストのみの大規模言語モデルから、イメージング、テキスト、構造化データを含む多様なデータモダリティを単一のモデルに統合できるマルチモーダルAIシステムへと進化してきた。 これらの技術の多様な展望は、関心の高まりとともに、アプリケーションと潜在可能性に関する包括的なレビューの必要性を強調している。 このスコーピングレビューは、マルチモーダルAIの進化を探求し、その方法、アプリケーション、データセット、臨床環境での評価を強調している。 PRISMA-ScRガイドラインに従って, PubMed, IEEE Xplore, Web of Scienceを体系的に検索し, 2024年末までの最近の研究を優先した。 厳密なスクリーニングの後、144の論文が含まれ、このダイナミックな分野における重要なトレンドと課題を明らかにした。 診断支援,医療報告生成,薬物発見,会話型AIの革新を推進し,一過性のアプローチからマルチモーダルアプローチへのシフトを示唆した。 しかし、異種データ型の統合、モデルの解釈可能性の改善、倫理的懸念への対処、現実の臨床環境でのAIシステムの検証など、重要な課題が残っている。 このレビューでは、現在の最先端の状況を要約し、重要なギャップを特定し、医療におけるスケーラブルで信頼性が高く、臨床的に影響のあるマルチモーダルAIソリューションの開発をガイドするための洞察を提供する。

関連論文リスト

• A Survey of Medical Vision-and-Language Applications and Their Techniques [48.268198631277315]
  医療ビジョン・アンド・ランゲージモデル(MVLM)は、複雑な医療データを解釈するための自然言語インタフェースを提供する能力から、大きな関心を集めている。 本稿では,MVLMの概要と適用した各種医療課題について概観する。 また、これらのタスクに使用するデータセットについても検討し、標準化された評価指標に基づいて異なるモデルの性能を比較した。
  論文  参考訳（メタデータ） (2024-11-19T03:27:05Z)
• Navigating the landscape of multimodal AI in medicine: a scoping review on technical challenges and clinical applications [2.3754862363513523]
  本稿では,医学領域全体にわたるディープラーニングベースのマルチモーダルAIアプリケーションの展望を概観する。 マルチモーダルAIモデルは、AUCの6.2ポイントの平均的な改善により、一貫して単調なAIモデルを上回っている。 我々は,マルチモーダルAI開発を推進している重要な要因を特定し,フィールドの成熟を促進するための推奨事項を提案する。
  論文  参考訳（メタデータ） (2024-11-06T09:18:05Z)
• The Era of Foundation Models in Medical Imaging is Approaching : A Scoping Review of the Clinical Value of Large-Scale Generative AI Applications in Radiology [0.0]
  放射線技師の不足に起因する社会問題は激化しており、人工知能は潜在的な解決策として強調されている。 最近出現する大規模生成AIは、大規模言語モデル(LLM)からマルチモーダルモデルへと拡張されている。 このスコーピングレビューは、大規模生成型AIアプリケーションの臨床的価値に関する既存の文献を体系的に整理する。
  論文  参考訳（メタデータ） (2024-09-03T00:48:50Z)
• Practical Applications of Advanced Cloud Services and Generative AI Systems in Medical Image Analysis [17.4235794108467]
  本稿では、医用画像における生成AIの変換可能性について考察し、合成ACM-2データを生成する能力を強調した。 データセットのサイズと多様性の制限に対処することにより、これらのモデルはより正確な診断と患者の結果の改善に寄与する。
  論文  参考訳（メタデータ） (2024-03-26T09:55:49Z)
• OpenMEDLab: An Open-source Platform for Multi-modality Foundation Models in Medicine [55.29668193415034]
  マルチモダリティ基盤モデルのためのオープンソースプラットフォームであるOpenMEDLabについて紹介する。 これは、最前線臨床および生体情報学応用のための大規模言語とビジョンモデルを刺激し、微調整する先駆的な試みの解決策をカプセル化する。 様々な医用画像のモダリティ、臨床テキスト、タンパク質工学など、事前訓練された基礎モデル群へのアクセスが可能である。
  論文  参考訳（メタデータ） (2024-02-28T03:51:02Z)
• Multimodal Machine Learning in Image-Based and Clinical Biomedicine: Survey and Prospects [2.1070612998322438]
  本稿では,臨床予測のためのマルチモーダルモデルの変換可能性について検討する。 進歩にもかかわらず、多くの生物医学領域におけるデータバイアスや「ビッグデータ」の不足といった課題が続いている。
  論文  参考訳（メタデータ） (2023-11-04T05:42:51Z)
• A Comprehensive Review of Generative AI in Healthcare [0.0]
  生成AIモデル、特にトランスフォーマーと拡散モデルは、多様な形式のデータを分析する上で重要な役割を担っている。 これらのモデルは、医用画像、タンパク質構造予測、臨床ドキュメント、診断補助、放射線学解釈、臨床診断支援、医用コーディング、請求など、様々な種類のデータを分析する上で重要な役割を果たしてきた。 本稿では、トランスフォーマーと拡散モデルに焦点をあて、医療における生成AI応用の概要を概観することを目的とする。
  論文  参考訳（メタデータ） (2023-10-01T21:13:14Z)
• Validating polyp and instrument segmentation methods in colonoscopy through Medico 2020 and MedAI 2021 Challenges [58.32937972322058]
  メディコオートマチックポリープセグメンテーション(Medico 2020)と「メディコ:医療画像の透明性(MedAI 2021)」コンペティション。 本報告では, それぞれのコントリビューションを包括的に分析し, ベストパフォーマンスメソッドの強さを強調し, クリニックへの臨床翻訳の可能性について考察する。
  論文  参考訳（メタデータ） (2023-07-30T16:08:45Z)
• BiomedGPT: A Generalist Vision-Language Foundation Model for Diverse Biomedical Tasks [68.39821375903591]
  汎用AIは、さまざまなデータ型を解釈する汎用性のために、制限に対処する可能性を秘めている。 本稿では,最初のオープンソースかつ軽量な視覚言語基盤モデルであるBiomedGPTを提案する。
  論文  参考訳（メタデータ） (2023-05-26T17:14:43Z)
• DIME: Fine-grained Interpretations of Multimodal Models via Disentangled Local Explanations [119.1953397679783]
  我々は,マルチモーダルモデルの解釈における最先端化に注力する。 提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
  論文  参考訳（メタデータ） (2022-03-03T20:52:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。