論文の概要: A Multimodal Vision Foundation Model for Clinical Dermatology

• arxiv url: http://arxiv.org/abs/2410.15038v2
• Date: Wed, 26 Mar 2025 00:32:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 13:18:54.840222
• Title: A Multimodal Vision Foundation Model for Clinical Dermatology
• Title（参考訳）: 臨床皮膚科におけるマルチモーダルビジョン基礎モデル
• Authors: Siyuan Yan, Zhen Yu, Clare Primiero, Cristina Vico-Alonso, Zhonghua Wang, Litao Yang, Philipp Tschandl, Ming Hu, Lie Ju, Gin Tan, Vincent Tang, Aik Beng Ng, David Powell, Paul Bonnington, Simon See, Elisabetta Magnaterra, Peter Ferguson, Jennifer Nguyen, Pascale Guitera, Jose Banuls, Monika Janda, Victoria Mar, Harald Kittler, H. Peter Soyer, Zongyuan Ge,
• Abstract要約: PanDermは、200万以上の現実世界の皮膚疾患の画像に対する自己教師付き学習を通じて事前訓練されたマルチモーダル皮膚科学の基礎モデルである。 PanDermは、評価されたすべてのタスクで最先端のパフォーマンスを達成し、ラベル付きデータの10%しか使用していない場合、しばしば既存のモデルを上回った。
• 参考スコア（独自算出の注目度）: 14.481765406970657
• License:
• Abstract: Diagnosing and treating skin diseases require advanced visual skills across domains and the ability to synthesize information from multiple imaging modalities. While current deep learning models excel at specific tasks like skin cancer diagnosis from dermoscopic images, they struggle to meet the complex, multimodal requirements of clinical practice. Here, we introduce PanDerm, a multimodal dermatology foundation model pretrained through self-supervised learning on over 2 million real-world skin disease images from 11 clinical institutions across 4 imaging modalities. We evaluated PanDerm on 28 diverse benchmarks, including skin cancer screening, risk stratification, differential diagnosis of common and rare skin conditions, lesion segmentation, longitudinal monitoring, and metastasis prediction and prognosis. PanDerm achieved state-of-the-art performance across all evaluated tasks, often outperforming existing models when using only 10% of labeled data. We conducted three reader studies to assess PanDerm's potential clinical utility. PanDerm outperformed clinicians by 10.2% in early-stage melanoma detection through longitudinal analysis, improved clinicians' skin cancer diagnostic accuracy by 11% on dermoscopy images, and enhanced non-dermatologist healthcare providers' differential diagnosis by 16.5% across 128 skin conditions on clinical photographs. These results demonstrate PanDerm's potential to improve patient care across diverse clinical scenarios and serve as a model for developing multimodal foundation models in other medical specialties, potentially accelerating the integration of AI support in healthcare.
• Abstract（参考訳）: 皮膚疾患の診断と治療には、領域をまたいだ高度な視覚スキルと、複数の画像モダリティから情報を合成する能力が必要である。 現在のディープラーニングモデルは、皮膚内視鏡画像からの皮膚がん診断のような特定のタスクに優れていますが、臨床実践の複雑なマルチモーダル要件を満たすのに苦労しています。 そこで本研究では,4つの画像モダリティにまたがる11の臨床機関から,200万以上の現実世界の皮膚疾患の画像について,自己教師付き学習を通じて事前学習したマルチモーダル皮膚科学基礎モデルであるPanDermを紹介する。 PanDermは, 皮膚がん検診, リスク層化, 一般的および稀な皮膚疾患の鑑別診断, 病変の分節化, 経時的モニタリング, 転移予測, 予後など28種類のベンチマークで評価した。 PanDermは、評価されたすべてのタスクで最先端のパフォーマンスを達成し、ラベル付きデータの10%しか使用していない場合、しばしば既存のモデルを上回った。 本研究はPanDermの臨床的有用性を評価するために3つの読者調査を行った。 パンデスムは、経時的分析による早期メラノーマ検出で10.2%、皮膚内視鏡画像で11%の皮膚がん診断精度の改善、臨床写真で128枚の皮膚条件で、非皮膚科医の診断を16.5%向上させた。 これらの結果は、PanDermが様々な臨床シナリオで患者ケアを改善する可能性を示し、他の医療分野におけるマルチモーダル基盤モデルの開発モデルとして機能し、医療におけるAIサポートの統合を加速する可能性を示している。

関連論文リスト

• Equitable Skin Disease Prediction Using Transfer Learning and Domain Adaptation [1.9505972437091028]
  皮膚科学における既存の人工知能(AI)モデルは、様々な皮膚のトーンで病気を正確に診断する上で困難に直面している。 我々は、様々な画像領域からのリッチでトランスファー可能な知識を活かしたトランスファーラーニングアプローチを採用する。 あらゆる手法の中で、Med-ViTは様々な画像ソースから学んだ包括的な特徴表現のためにトップパフォーマーとして登場した。
  論文  参考訳（メタデータ） (2024-09-01T23:48:26Z)
• Potential of Multimodal Large Language Models for Data Mining of Medical Images and Free-text Reports [51.45762396192655]
  特にGemini-Vision-Series (Gemini) と GPT-4-Series (GPT-4) は、コンピュータビジョンのための人工知能のパラダイムシフトを象徴している。 本研究は,14の医用画像データセットを対象に,Gemini,GPT-4,および4つの一般的な大規模モデルの性能評価を行った。
  論文  参考訳（メタデータ） (2024-07-08T09:08:42Z)
• Optimizing Skin Lesion Classification via Multimodal Data and Auxiliary Task Integration [54.76511683427566]
  本研究は, スマートフォンで撮影した画像と本質的な臨床および人口統計情報を統合することで, 皮膚病変を分類する新しいマルチモーダル手法を提案する。 この手法の特徴は、超高解像度画像予測に焦点を当てた補助的なタスクの統合である。 PAD-UFES20データセットを用いて,様々なディープラーニングアーキテクチャを用いて実験を行った。
  論文  参考訳（メタデータ） (2024-02-16T05:16:20Z)
• Skin Cancer Segmentation and Classification Using Vision Transformer for Automatic Analysis in Dermatoscopy-based Non-invasive Digital System [0.0]
  本研究では,Vision Transformerを用いた皮膚癌分類における画期的なアプローチを提案する。 Vision Transformerは、多様な画像解析タスクの成功で有名な最先端のディープラーニングアーキテクチャである。 Segment Anything Modelは、癌領域の正確なセグメンテーションを支援し、高いIOUとDice Coefficientを達成する。
  論文  参考訳（メタデータ） (2024-01-09T11:22:54Z)
• Revamping AI Models in Dermatology: Overcoming Critical Challenges for Enhanced Skin Lesion Diagnosis [8.430482797862926]
  我々は、分散-textbfClinical TriageモデルのオールインワンのtextbfHierarchical-textbfOutを示す。 臨床画像では,階層的予測,アウト・オブ・ディストリビューション画像の警告,皮膚内視鏡の推奨の3つの出力を生成する。 我々の汎用モデルは、病変診断のための貴重な意思決定支援を提供し、医療AI応用の有望な先例を定めている。
  論文  参考訳（メタデータ） (2023-11-02T06:08:49Z)
• Can GPT-4V(ision) Serve Medical Applications? Case Studies on GPT-4V for Multimodal Medical Diagnosis [59.35504779947686]
  GPT-4VはOpenAIの最新のマルチモーダル診断モデルである。 評価対象は17の人体システムである。 GPT-4Vは、医用画像のモダリティと解剖学を区別する能力を示す。 疾患の診断と包括的報告作成において重大な課題に直面している。
  論文  参考訳（メタデータ） (2023-10-15T18:32:27Z)
• A Novel Multi-Task Model Imitating Dermatologists for Accurate Differential Diagnosis of Skin Diseases in Clinical Images [27.546559936765863]
  皮膚科医の診断手順と戦略を模倣して,このギャップを埋めるために,新しいマルチタスクモデルDermImitFormerを提案する。 モデルは、疾患自体に加えて、身体の部分と病変の属性を同時に予測し、診断精度を高め、診断の解釈性を向上させる。
  論文  参考訳（メタデータ） (2023-07-17T08:05:30Z)
• A Transformer-based representation-learning model with unified processing of multimodal input for clinical diagnostics [63.106382317917344]
  本稿では,マルチモーダル入力を統一的に処理する臨床診断支援として,トランスフォーマーを用いた表現学習モデルについて報告する。 統一モデルは, 肺疾患の同定において, 画像のみのモデル, 非統一型マルチモーダル診断モデルより優れていた。
  論文  参考訳（メタデータ） (2023-06-01T16:23:47Z)
• Malignancy Prediction and Lesion Identification from Clinical Dermatological Images [65.1629311281062]
  臨床皮膚画像から機械学習に基づく悪性度予測と病変の同定を検討する。 まず, サブタイプや悪性度に関わらず画像に存在するすべての病変を同定し, その悪性度を推定し, 凝集により, 画像レベルの悪性度も生成する。
  論文  参考訳（メタデータ） (2021-04-02T20:52:05Z)
• Co-Heterogeneous and Adaptive Segmentation from Multi-Source and Multi-Phase CT Imaging Data: A Study on Pathological Liver and Lesion Segmentation [48.504790189796836]
  我々は,新しいセグメンテーション戦略,コヘテロジネティック・アダプティブセグメンテーション(CHASe)を提案する。 本稿では,外見に基づく半スーパービジョン,マスクに基づく対向ドメイン適応,擬似ラベルを融合した多目的フレームワークを提案する。 CHASeは4.2% sim 9.4%$の範囲で、病理的な肝臓マスクDice-Sorensen係数をさらに改善することができる。
  論文  参考訳（メタデータ） (2020-05-27T06:58:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。