論文の概要: Enhancing Skin Disease Diagnosis: Interpretable Visual Concept Discovery with SAM Empowerment

• arxiv url: http://arxiv.org/abs/2409.09520v1
• Date: Sat, 14 Sep 2024 20:11:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 20:27:38.558071
• Title: Enhancing Skin Disease Diagnosis: Interpretable Visual Concept Discovery with SAM Empowerment
• Title（参考訳）: 皮膚疾患の診断の強化:SAMエンパワーメントによる解釈可能な視覚概念発見
• Authors: Xin Hu, Janet Wang, Jihun Hamm, Rie R Yotsu, Zhengming Ding,
• Abstract要約: 現在のAIによる皮膚画像診断は、皮膚がんの分類において皮膚科レベルのパフォーマンスを達成している。 皮膚病変診断のための新しいクロス・アテテーティブ・フュージョン・フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 41.398287899966995
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current AI-assisted skin image diagnosis has achieved dermatologist-level performance in classifying skin cancer, driven by rapid advancements in deep learning architectures. However, unlike traditional vision tasks, skin images in general present unique challenges due to the limited availability of well-annotated datasets, complex variations in conditions, and the necessity for detailed interpretations to ensure patient safety. Previous segmentation methods have sought to reduce image noise and enhance diagnostic performance, but these techniques require fine-grained, pixel-level ground truth masks for training. In contrast, with the rise of foundation models, the Segment Anything Model (SAM) has been introduced to facilitate promptable segmentation, enabling the automation of the segmentation process with simple yet effective prompts. Efforts applying SAM predominantly focus on dermatoscopy images, which present more easily identifiable lesion boundaries than clinical photos taken with smartphones. This limitation constrains the practicality of these approaches to real-world applications. To overcome the challenges posed by noisy clinical photos acquired via non-standardized protocols and to improve diagnostic accessibility, we propose a novel Cross-Attentive Fusion framework for interpretable skin lesion diagnosis. Our method leverages SAM to generate visual concepts for skin diseases using prompts, integrating local visual concepts with global image features to enhance model performance. Extensive evaluation on two skin disease datasets demonstrates our proposed method's effectiveness on lesion diagnosis and interpretability.
• Abstract（参考訳）: 現在のAIによる皮膚画像診断は、深層学習アーキテクチャの急速な進歩により、皮膚がんの分類における皮膚科レベルのパフォーマンスを達成している。 しかし、従来の視覚タスクとは異なり、一般的な皮膚画像は、十分に注釈付けされたデータセットの可用性の制限、条件の複雑なバリエーション、患者の安全性を確保するための詳細な解釈の必要性など、ユニークな課題を呈している。 従来のセグメンテーション手法では画像ノイズの低減と診断性能の向上が試みられているが,これらの手法は訓練には細粒度でピクセルレベルの地中真実マスクを必要とする。 対照的に、基礎モデルの台頭とともに、素早いセグメンテーションを促進するためにSegment Anything Model (SAM)が導入され、シンプルで効果的なプロンプトによるセグメンテーションプロセスの自動化を可能にした。 SAMを応用する取り組みは主に皮膚内視鏡画像に焦点を当てており、スマートフォンで撮影された臨床写真よりも容易に病変境界を同定できる。 この制限は、現実世界のアプリケーションに対するこれらのアプローチの実用性を制限する。 非標準化プロトコルで取得したノイズの多い臨床写真による課題を克服し、診断のアクセシビリティを向上させるために、皮膚病変診断のための新しいクロス・アテンタティブ・フュージョン・フレームワークを提案する。 本手法はSAMを用いて皮膚疾患の視覚的概念をプロンプトを用いて生成し,局所的な視覚的概念をグローバルな画像特徴と統合し,モデル性能を向上させる。 2つの皮膚疾患データセットの広範囲な評価は,本手法が病変の診断と解釈可能性に与える影響を実証するものである。

関連論文リスト

• SkinGEN: an Explainable Dermatology Diagnosis-to-Generation Framework with Interactive Vision-Language Models [52.90397538472582]
  SkinGENは、VLMが提供する診断結果から参照デモを生成する、診断から生成までのフレームワークである。 システム性能と説明可能性の両方を評価するために,32人の参加者によるユーザスタディを実施している。 その結果、SkinGENはVLM予測に対するユーザの理解を著しく改善し、診断プロセスへの信頼を高めることが示されている。
  論文  参考訳（メタデータ） (2024-04-23T05:36:33Z)
• Optimizing Skin Lesion Classification via Multimodal Data and Auxiliary Task Integration [54.76511683427566]
  本研究は, スマートフォンで撮影した画像と本質的な臨床および人口統計情報を統合することで, 皮膚病変を分類する新しいマルチモーダル手法を提案する。 この手法の特徴は、超高解像度画像予測に焦点を当てた補助的なタスクの統合である。 PAD-UFES20データセットを用いて,様々なディープラーニングアーキテクチャを用いて実験を行った。
  論文  参考訳（メタデータ） (2024-02-16T05:16:20Z)
• Convolutional Neural Networks Towards Facial Skin Lesions Detection [0.0]
  本研究は,顔画像の点滅や皮膚病変の検出を容易にするモデルを提供することで貢献する。 提案手法は, 簡単なアーキテクチャ, 高速, 画像処理に適するといった利点を提供する。
  論文  参考訳（メタデータ） (2024-02-13T16:52:10Z)
• Revamping AI Models in Dermatology: Overcoming Critical Challenges for Enhanced Skin Lesion Diagnosis [8.430482797862926]
  我々は、分散-textbfClinical TriageモデルのオールインワンのtextbfHierarchical-textbfOutを示す。 臨床画像では,階層的予測,アウト・オブ・ディストリビューション画像の警告,皮膚内視鏡の推奨の3つの出力を生成する。 我々の汎用モデルは、病変診断のための貴重な意思決定支援を提供し、医療AI応用の有望な先例を定めている。
  論文  参考訳（メタデータ） (2023-11-02T06:08:49Z)
• AMLP:Adaptive Masking Lesion Patches for Self-supervised Medical Image Segmentation [67.97926983664676]
  自己監督型マスク画像モデリングは自然画像に対して有望な結果を示した。 しかし,このような手法を医用画像に直接適用することは依然として困難である。 適応型マスキング病変パッチ(AMLP)の自己管理型医用画像分割フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-08T13:18:10Z)
• A Novel Multi-Task Model Imitating Dermatologists for Accurate Differential Diagnosis of Skin Diseases in Clinical Images [27.546559936765863]
  皮膚科医の診断手順と戦略を模倣して,このギャップを埋めるために,新しいマルチタスクモデルDermImitFormerを提案する。 モデルは、疾患自体に加えて、身体の部分と病変の属性を同時に予測し、診断精度を高め、診断の解釈性を向上させる。
  論文  参考訳（メタデータ） (2023-07-17T08:05:30Z)
• Malignancy Prediction and Lesion Identification from Clinical Dermatological Images [65.1629311281062]
  臨床皮膚画像から機械学習に基づく悪性度予測と病変の同定を検討する。 まず, サブタイプや悪性度に関わらず画像に存在するすべての病変を同定し, その悪性度を推定し, 凝集により, 画像レベルの悪性度も生成する。
  論文  参考訳（メタデータ） (2021-04-02T20:52:05Z)
• Explaining Clinical Decision Support Systems in Medical Imaging using Cycle-Consistent Activation Maximization [112.2628296775395]
  ディープニューラルネットワークを用いた臨床意思決定支援は、着実に関心が高まりつつあるトピックとなっている。 臨床医は、その根底にある意思決定プロセスが不透明で理解しにくいため、この技術の採用をためらうことが多い。 そこで我々は,より小さなデータセットであっても,分類器決定の高品質な可視化を生成するCycleGANアクティベーションに基づく,新たな意思決定手法を提案する。
  論文  参考訳（メタデータ） (2020-10-09T14:39:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。