論文の概要: A General-Purpose Multimodal Foundation Model for Dermatology

• arxiv url: http://arxiv.org/abs/2410.15038v1
• Date: Sat, 19 Oct 2024 08:48:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:20:39.340589
• Title: A General-Purpose Multimodal Foundation Model for Dermatology
• Title（参考訳）: 皮膚科学のための汎用多目的基礎モデル
• Authors: Siyuan Yan, Zhen Yu, Clare Primiero, Cristina Vico-Alonso, Zhonghua Wang, Litao Yang, Philipp Tschandl, Ming Hu, Gin Tan, Vincent Tang, Aik Beng Ng, David Powell, Paul Bonnington, Simon See, Monika Janda, Victoria Mar, Harald Kittler, H. Peter Soyer, Zongyuan Ge,
• Abstract要約: PanDermは、皮膚疾患の200万以上の現実世界の画像のデータセット上で、自己教師付き学習を通じて事前訓練されたマルチモーダル皮膚科学の基礎モデルである。 PanDermは評価されたすべてのタスクで最先端のパフォーマンスを達成した。 PanDermは皮膚疾患の管理を強化し、他の医療分野におけるマルチモーダルファンデーションモデルの開発モデルとして機能する。
• 参考スコア（独自算出の注目度）: 14.114262475562846
• License:
• Abstract: Diagnosing and treating skin diseases require advanced visual skills across multiple domains and the ability to synthesize information from various imaging modalities. Current deep learning models, while effective at specific tasks such as diagnosing skin cancer from dermoscopic images, fall short in addressing the complex, multimodal demands of clinical practice. Here, we introduce PanDerm, a multimodal dermatology foundation model pretrained through self-supervised learning on a dataset of over 2 million real-world images of skin diseases, sourced from 11 clinical institutions across 4 imaging modalities. We evaluated PanDerm on 28 diverse datasets covering a range of clinical tasks, including skin cancer screening, phenotype assessment and risk stratification, diagnosis of neoplastic and inflammatory skin diseases, skin lesion segmentation, change monitoring, and metastasis prediction and prognosis. PanDerm achieved state-of-the-art performance across all evaluated tasks, often outperforming existing models even when using only 5-10% of labeled data. PanDerm's clinical utility was demonstrated through reader studies in real-world clinical settings across multiple imaging modalities. It outperformed clinicians by 10.2% in early-stage melanoma detection accuracy and enhanced clinicians' multiclass skin cancer diagnostic accuracy by 11% in a collaborative human-AI setting. Additionally, PanDerm demonstrated robust performance across diverse demographic factors, including different body locations, age groups, genders, and skin tones. The strong results in benchmark evaluations and real-world clinical scenarios suggest that PanDerm could enhance the management of skin diseases and serve as a model for developing multimodal foundation models in other medical specialties, potentially accelerating the integration of AI support in healthcare.
• Abstract（参考訳）: 皮膚疾患の診断と治療には、複数の領域にわたる高度な視覚スキルと、様々な画像モダリティから情報を合成する能力が必要である。 現在のディープラーニングモデルは、皮膚内視鏡画像から皮膚がんを診断するなどの特定のタスクに効果的であるが、臨床の複雑なマルチモーダルな要求に対処するには不十分である。 そこで本研究では,4つの画像モダリティにまたがる11の臨床機関から得られた200万以上の皮膚疾患のリアルな画像のデータセットを,自己教師付き学習によって事前訓練したマルチモーダル皮膚科基礎モデルであるPanDermを紹介する。 皮膚がんスクリーニング, 表現型評価, リスク階層化, 腫瘍性および炎症性皮膚疾患の診断, 皮膚病変のセグメンテーション, 変化モニタリング, 転移予測, 予後など, 様々な臨床課題をカバーする28種類のデータセットについてPanDermの評価を行った。 PanDermは評価されたすべてのタスクにまたがって最先端のパフォーマンスを達成し、ラベル付きデータの5～10%しか使用していない場合でも、既存のモデルを上回った。 PanDermの臨床的有用性は、複数の画像モダリティにまたがる実世界の臨床環境での読者による研究を通じて実証された。 早期メラノーマ検出精度は10.2%、臨床医の多型皮膚がん診断精度は11%向上した。 さらにPanDermは、異なる身体位置、年齢グループ、性別、肌のトーンなど、多様な人口統計要因にまたがる堅牢なパフォーマンスを示した。 ベンチマーク評価と実際の臨床シナリオの強い結果は、PanDermが皮膚疾患の管理を強化し、他の医療専門分野におけるマルチモーダル基盤モデルを開発するモデルとして機能し、医療におけるAIサポートの統合を加速する可能性があることを示唆している。

関連論文リスト

• Equitable Skin Disease Prediction Using Transfer Learning and Domain Adaptation [1.9505972437091028]
  皮膚科学における既存の人工知能(AI)モデルは、様々な皮膚のトーンで病気を正確に診断する上で困難に直面している。 我々は、様々な画像領域からのリッチでトランスファー可能な知識を活かしたトランスファーラーニングアプローチを採用する。 あらゆる手法の中で、Med-ViTは様々な画像ソースから学んだ包括的な特徴表現のためにトップパフォーマーとして登場した。
  論文  参考訳（メタデータ） (2024-09-01T23:48:26Z)
• Potential of Multimodal Large Language Models for Data Mining of Medical Images and Free-text Reports [51.45762396192655]
  特にGemini-Vision-Series (Gemini) と GPT-4-Series (GPT-4) は、コンピュータビジョンのための人工知能のパラダイムシフトを象徴している。 本研究は,14の医用画像データセットを対象に,Gemini,GPT-4,および4つの一般的な大規模モデルの性能評価を行った。
  論文  参考訳（メタデータ） (2024-07-08T09:08:42Z)
• Optimizing Skin Lesion Classification via Multimodal Data and Auxiliary Task Integration [54.76511683427566]
  本研究は, スマートフォンで撮影した画像と本質的な臨床および人口統計情報を統合することで, 皮膚病変を分類する新しいマルチモーダル手法を提案する。 この手法の特徴は、超高解像度画像予測に焦点を当てた補助的なタスクの統合である。 PAD-UFES20データセットを用いて,様々なディープラーニングアーキテクチャを用いて実験を行った。
  論文  参考訳（メタデータ） (2024-02-16T05:16:20Z)
• Skin Cancer Segmentation and Classification Using Vision Transformer for Automatic Analysis in Dermatoscopy-based Non-invasive Digital System [0.0]
  本研究では,Vision Transformerを用いた皮膚癌分類における画期的なアプローチを提案する。 Vision Transformerは、多様な画像解析タスクの成功で有名な最先端のディープラーニングアーキテクチャである。 Segment Anything Modelは、癌領域の正確なセグメンテーションを支援し、高いIOUとDice Coefficientを達成する。
  論文  参考訳（メタデータ） (2024-01-09T11:22:54Z)
• Revamping AI Models in Dermatology: Overcoming Critical Challenges for Enhanced Skin Lesion Diagnosis [8.430482797862926]
  我々は、分散-textbfClinical TriageモデルのオールインワンのtextbfHierarchical-textbfOutを示す。 臨床画像では,階層的予測,アウト・オブ・ディストリビューション画像の警告,皮膚内視鏡の推奨の3つの出力を生成する。 我々の汎用モデルは、病変診断のための貴重な意思決定支援を提供し、医療AI応用の有望な先例を定めている。
  論文  参考訳（メタデータ） (2023-11-02T06:08:49Z)
• Can GPT-4V(ision) Serve Medical Applications? Case Studies on GPT-4V for Multimodal Medical Diagnosis [59.35504779947686]
  GPT-4VはOpenAIの最新のマルチモーダル診断モデルである。 評価対象は17の人体システムである。 GPT-4Vは、医用画像のモダリティと解剖学を区別する能力を示す。 疾患の診断と包括的報告作成において重大な課題に直面している。
  論文  参考訳（メタデータ） (2023-10-15T18:32:27Z)
• A Novel Multi-Task Model Imitating Dermatologists for Accurate Differential Diagnosis of Skin Diseases in Clinical Images [27.546559936765863]
  皮膚科医の診断手順と戦略を模倣して,このギャップを埋めるために,新しいマルチタスクモデルDermImitFormerを提案する。 モデルは、疾患自体に加えて、身体の部分と病変の属性を同時に予測し、診断精度を高め、診断の解釈性を向上させる。
  論文  参考訳（メタデータ） (2023-07-17T08:05:30Z)
• A Transformer-based representation-learning model with unified processing of multimodal input for clinical diagnostics [63.106382317917344]
  本稿では,マルチモーダル入力を統一的に処理する臨床診断支援として,トランスフォーマーを用いた表現学習モデルについて報告する。 統一モデルは, 肺疾患の同定において, 画像のみのモデル, 非統一型マルチモーダル診断モデルより優れていた。
  論文  参考訳（メタデータ） (2023-06-01T16:23:47Z)
• Malignancy Prediction and Lesion Identification from Clinical Dermatological Images [65.1629311281062]
  臨床皮膚画像から機械学習に基づく悪性度予測と病変の同定を検討する。 まず, サブタイプや悪性度に関わらず画像に存在するすべての病変を同定し, その悪性度を推定し, 凝集により, 画像レベルの悪性度も生成する。
  論文  参考訳（メタデータ） (2021-04-02T20:52:05Z)
• Co-Heterogeneous and Adaptive Segmentation from Multi-Source and Multi-Phase CT Imaging Data: A Study on Pathological Liver and Lesion Segmentation [48.504790189796836]
  我々は,新しいセグメンテーション戦略,コヘテロジネティック・アダプティブセグメンテーション(CHASe)を提案する。 本稿では,外見に基づく半スーパービジョン,マスクに基づく対向ドメイン適応,擬似ラベルを融合した多目的フレームワークを提案する。 CHASeは4.2% sim 9.4%$の範囲で、病理的な肝臓マスクDice-Sorensen係数をさらに改善することができる。
  論文  参考訳（メタデータ） (2020-05-27T06:58:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。