論文の概要: MedCoDi-M: A Multi-Prompt Foundation Model for Multimodal Medical Data Generation

• arxiv url: http://arxiv.org/abs/2501.04614v1
• Date: Wed, 08 Jan 2025 16:53:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-09 14:56:36.613611
• Title: MedCoDi-M: A Multi-Prompt Foundation Model for Multimodal Medical Data Generation
• Title（参考訳）: MedCoDi-M:マルチモーダル医療データ生成のためのマルチプロンプト基礎モデル
• Authors: Daniele Molino, Francesco Di Feola, Eliodoro Faiella, Deborah Fazzini, Domiziana Santucci, Linlin Shen, Valerio Guarrasi, Paolo Soda,
• Abstract要約: マルチモーダル医療データ生成モデルであるMedCoDi-Mを提案する。 MIMIC-CXRデータセット上の5つの競合と比較した。 MedCoDi-Mの医療分野における課題に対する有効性について検討した。
• 参考スコア（独自算出の注目度）: 22.908801443059758
• License:
• Abstract: Artificial Intelligence is revolutionizing medical practice, enhancing diagnostic accuracy and healthcare delivery. However, its adaptation in medical settings still faces significant challenges, related to data availability and privacy constraints. Synthetic data has emerged as a promising solution to mitigate these issues, addressing data scarcity while preserving privacy. Recently, Latent Diffusion Models have emerged as a powerful tool for generating high-quality synthetic data. Meanwhile, the integration of different modalities has gained interest, emphasizing the need of models capable of handle multimodal medical data.Existing approaches struggle to integrate complementary information and lack the ability to generate modalities simultaneously. To address this challenge, we present MedCoDi-M, a 6.77-billion-parameter model, designed for multimodal medical data generation, that, following Foundation Model paradigm, exploits contrastive learning and large quantity of data to build a shared latent space which capture the relationships between different data modalities. Further, we introduce the Multi-Prompt training technique, which significantly boosts MedCoDi-M's generation under different settings. We extensively validate MedCoDi-M: first we benchmark it against five competitors on the MIMIC-CXR dataset, a state-of-the-art dataset for Chest X-ray and radiological report generation. Secondly, we perform a Visual Turing Test with expert radiologists to assess the realism and clinical relevance of the generated data, ensuring alignment with real-world scenarios. Finally, we assess the utility of MedCoDi-M in addressing key challenges in the medical field, such as anonymization, data scarcity and imbalance learning. The results are promising, demonstrating the applicability of MedCoDi-M in medical contexts. Project page is at https://cosbidev.github.io/MedCoDi-M/.
• Abstract（参考訳）: 人工知能は医療の実践に革命をもたらし、診断精度と医療提供の精度を高めている。 しかし、医療環境への適応は、データ可用性やプライバシーの制約など、依然として重大な課題に直面している。 合成データはこれらの問題を解決するための有望なソリューションとして登場し、プライバシーを維持しながらデータの不足に対処している。 近年,高品質な合成データを生成する強力なツールとして潜在拡散モデルが登場している。 一方、様々なモダリティの統合が注目され、マルチモーダルな医療データを扱うモデルの必要性が強調され、既存のアプローチは相補的な情報の統合と同時にモダリティを生成する能力の欠如に苦慮している。 この課題に対処するために、我々はMedCoDi-Mという6.77ビリオンパラメータモデルを提案し、MedCoDi-Mはマルチモーダル医療データ生成のために設計されており、ファンデーションモデルパラダイムに従って、コントラスト学習と大量のデータを利用して、異なるデータモダリティ間の関係をキャプチャする共有潜在空間を構築する。 さらに,MedCoDi-Mの生成を異なる設定で大幅に促進するマルチプロンプトトレーニング手法を導入する。 まず、MIMIC-CXRデータセット、Chest X線および放射線学的レポート生成のための最先端データセットの5つの競合に対してベンチマークを行う。 第2に、専門家の放射線学者によるビジュアルチューリングテストを行い、生成したデータのリアリズムと臨床的関連性を評価し、現実のシナリオと整合性を確保する。 最後に、匿名化、データ不足、不均衡学習といった医療分野における重要な課題に対処する上で、MedCoDi-Mの有用性を評価する。 その結果,医療分野でのMedCoDi-Mの有効性が示された。 プロジェクトページはhttps://cosbidev.github.io/MedCoDi-M/にある。

関連論文リスト

• Towards Precision Healthcare: Robust Fusion of Time Series and Image Data [8.579651833717763]
  本稿では,データの種類毎に2つのエンコーダを用いて,視覚情報と時間情報の両方において複雑なパターンをモデル化する手法を提案する。 また、不均衡なデータセットに対処し、不確実性損失関数を使用し、改善した結果を得る。 本手法は,臨床応用におけるマルチモーダルディープラーニングの改善に有効であることを示す。
  論文  参考訳（メタデータ） (2024-05-24T11:18:13Z)
• MMIST-ccRCC: A Real World Medical Dataset for the Development of Multi-Modal Systems [12.914295902429]
  本稿では,MMIST-CCRCCと呼ばれる実世界のマルチモーダルデータセットを紹介する。 このデータセットは、クリア細胞腎細胞癌(ccRCC)618例の2つの放射線学的モダリティ(CTとMRI)、病理組織学、ゲノム学、臨床データからなる。 このような深刻な欠落率であっても、モダリティの融合は生存予測の改善につながることを示す。
  論文  参考訳（メタデータ） (2024-05-02T18:29:05Z)
• Capabilities of Gemini Models in Medicine [100.60391771032887]
  医療専門のマルチモーダルモデルであるMed-Geminiを紹介する。 メドジェニーニを14の医療ベンチマークで評価し,その内10に新たな最先端(SoTA)性能を確立した。 我々の結果は、Med-Geminiの可能性を示唆する証拠を提供するが、より厳密な評価は実世界の展開に先立って重要である。
  論文  参考訳（メタデータ） (2024-04-29T04:11:28Z)
• HyperFusion: A Hypernetwork Approach to Multimodal Integration of Tabular and Medical Imaging Data for Predictive Modeling [4.44283662576491]
  EHRの値と測定値に画像処理を条件付け,臨床画像と表層データを融合させるハイパーネットワークに基づく新しいフレームワークを提案する。 我々は, 単一モダリティモデルと最先端MRI-タブラルデータ融合法の両方に優れることを示す。
  論文  参考訳（メタデータ） (2024-03-20T05:50:04Z)
• DrFuse: Learning Disentangled Representation for Clinical Multi-Modal Fusion with Missing Modality and Modal Inconsistency [18.291267748113142]
  そこで本研究では,DrFuseを効果的に多モード核融合を実現するために提案する。 モダリティに共通する特徴と各モダリティに特有の特徴を分離することで、モダリティの欠如に対処する。 実世界の大規模データセットMIMIC-IVとMIMIC-CXRを用いて提案手法を検証する。
  論文  参考訳（メタデータ） (2024-03-10T12:41:34Z)
• MedDiffusion: Boosting Health Risk Prediction via Diffusion-based Data Augmentation [58.93221876843639]
  本稿では,MedDiffusion という,エンドツーエンドの拡散に基づくリスク予測モデルを提案する。 トレーニング中に合成患者データを作成し、サンプルスペースを拡大することで、リスク予測性能を向上させる。 ステップワイズ・アテンション・メカニズムを用いて患者の来訪者間の隠れた関係を識別し、高品質なデータを生成する上で最も重要な情報をモデルが自動的に保持することを可能にする。
  論文  参考訳（メタデータ） (2023-10-04T01:36:30Z)
• Building Flexible, Scalable, and Machine Learning-ready Multimodal Oncology Datasets [17.774341783844026]
  本研究は、オンコロジーデータシステム(MINDS)のマルチモーダル統合を提案する。 MINDSはフレキシブルでスケーラブルで費用対効果の高いメタデータフレームワークで、公開ソースから異なるデータを効率的に分離する。 MINDSは、マルチモーダルデータを調和させることで、より分析能力の高い研究者を力づけることを目指している。
  論文  参考訳（メタデータ） (2023-09-30T15:44:39Z)
• Towards Generalist Foundation Model for Radiology by Leveraging Web-scale 2D&3D Medical Data [66.9359934608229]
  この研究はRadFMと呼ばれるRadlogy Foundation Modelの開発を開始することを目的としている。 われわれの知る限りでは、これは2Dスキャンと3Dスキャンによる、最初の大規模で高品質な医療用ビジュアル言語データセットである。 本稿では,モダリティ認識,疾患診断,視覚的質問応答,レポート生成,合理的診断の5つのタスクからなる新しい評価ベンチマークRadBenchを提案する。
  論文  参考訳（メタデータ） (2023-08-04T17:00:38Z)
• LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
  LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
  論文  参考訳（メタデータ） (2023-06-20T22:21:34Z)
• Understanding the Tricks of Deep Learning in Medical Image Segmentation: Challenges and Future Directions [66.40971096248946]
  本稿では,モデル実装の異なるフェーズに対して,MedISegの一連のトリックを収集する。 本稿では,これらの手法の有効性を一貫したベースライン上で実験的に検討する。 私たちはまた、それぞれのコンポーネントがプラグインとプレイの利点を持つ強力なMedISegリポジトリをオープンソースにしました。
  論文  参考訳（メタデータ） (2022-09-21T12:30:05Z)
• Competence-based Multimodal Curriculum Learning for Medical Report Generation [98.10763792453925]
  本稿では,コンピテンスベースのマルチモーダルカリキュラム学習フレームワーク(CMCL)を提案する。 具体的には、CMCLは放射線学者の学習過程をシミュレートし、段階的にモデルを最適化する。 パブリックIU-XrayとMIMIC-CXRデータセットの実験は、CMCLを既存のモデルに組み込んでパフォーマンスを向上させることができることを示している。
  論文  参考訳（メタデータ） (2022-06-24T08:16:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。