論文の概要: SkinGEN: an Explainable Dermatology Diagnosis-to-Generation Framework with Interactive Vision-Language Models
- arxiv url: http://arxiv.org/abs/2404.14755v1
- Date: Tue, 23 Apr 2024 05:36:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-24 15:10:30.544087
- Title: SkinGEN: an Explainable Dermatology Diagnosis-to-Generation Framework with Interactive Vision-Language Models
- Title(参考訳): SkinGEN:対話型視覚言語モデルを用いた説明可能な皮膚科診断・生成フレームワーク
- Authors: Bo Lin, Yingjing Xu, Xuanwen Bao, Zhou Zhao, Zuyong Zhang, Zhouyang Wang, Jie Zhang, Shuiguang Deng, Jianwei Yin,
- Abstract要約: SkinGENは、VLMが提供する診断結果から参照デモを生成する、診断から生成までのフレームワークである。
システム性能と説明可能性の両方を評価するために,32人の参加者によるユーザスタディを実施している。
その結果、SkinGENはVLM予測に対するユーザの理解を著しく改善し、診断プロセスへの信頼を高めることが示されている。
- 参考スコア(独自算出の注目度): 52.90397538472582
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the continuous advancement of vision language models (VLMs) technology, remarkable research achievements have emerged in the dermatology field, the fourth most prevalent human disease category. However, despite these advancements, VLM still faces "hallucination" in dermatological diagnosis, and due to the inherent complexity of dermatological conditions, existing tools offer relatively limited support for user comprehension. We propose SkinGEN, a diagnosis-to-generation framework that leverages the stable diffusion (SD) method to generate reference demonstrations from diagnosis results provided by VLM, thereby enhancing the visual explainability for users. Through extensive experiments with Low-Rank Adaptation (LoRA), we identify optimal strategies for skin condition image generation. We conduct a user study with 32 participants evaluating both the system performance and explainability. Results demonstrate that SkinGEN significantly improves users' comprehension of VLM predictions and fosters increased trust in the diagnostic process. This work paves the way for more transparent and user-centric VLM applications in dermatology and beyond.
- Abstract(参考訳): 視覚言語モデル(VLM)技術の継続的な進歩により、皮膚科学分野における顕著な研究成果は、ヒトの病気のカテゴリーで第4位である。
しかしながら、これらの進歩にもかかわらず、VLMはなおも皮膚疾患の診断において「ハロシン化」に直面しており、皮膚疾患の本質的な複雑さのため、既存のツールはユーザ理解を比較的限定的にサポートしている。
本稿では,VLM による診断結果から参照デモを生成するために,SD 法を利用した診断から生成までのフレームワークである SkinGEN を提案する。
ローランド適応 (LoRA) を用いた広範囲な実験により, 皮膚条件画像生成のための最適戦略を同定した。
システム性能と説明可能性の両方を評価するために,32人の参加者によるユーザスタディを実施している。
その結果、SkinGENはVLM予測に対するユーザの理解を著しく改善し、診断プロセスへの信頼を高めることが示されている。
この作業は、皮膚科などにおけるより透明でユーザ中心のVLMアプリケーションへの道を開くものだ。
関連論文リスト
- Optimizing Skin Lesion Classification via Multimodal Data and Auxiliary
Task Integration [54.76511683427566]
本研究は, スマートフォンで撮影した画像と本質的な臨床および人口統計情報を統合することで, 皮膚病変を分類する新しいマルチモーダル手法を提案する。
この手法の特徴は、超高解像度画像予測に焦点を当てた補助的なタスクの統合である。
PAD-UFES20データセットを用いて,様々なディープラーニングアーキテクチャを用いて実験を行った。
論文 参考訳(メタデータ) (2024-02-16T05:16:20Z) - Revamping AI Models in Dermatology: Overcoming Critical Challenges for
Enhanced Skin Lesion Diagnosis [8.430482797862926]
我々は、分散-textbfClinical TriageモデルのオールインワンのtextbfHierarchical-textbfOutを示す。
臨床画像では,階層的予測,アウト・オブ・ディストリビューション画像の警告,皮膚内視鏡の推奨の3つの出力を生成する。
我々の汎用モデルは、病変診断のための貴重な意思決定支援を提供し、医療AI応用の有望な先例を定めている。
論文 参考訳(メタデータ) (2023-11-02T06:08:49Z) - Robust and Interpretable Medical Image Classifiers via Concept
Bottleneck Models [49.95603725998561]
本稿では,自然言語の概念を用いた堅牢で解釈可能な医用画像分類器を構築するための新しいパラダイムを提案する。
具体的には、まず臨床概念をGPT-4から検索し、次に視覚言語モデルを用いて潜在画像の特徴を明示的な概念に変換する。
論文 参考訳(メタデータ) (2023-10-04T21:57:09Z) - Deep Learning and Computer Vision for Glaucoma Detection: A Review [0.8379286663107844]
緑内障は世界中で不可逆的な盲目の原因となっている。
コンピュータビジョンとディープラーニングの最近の進歩は、自動評価の可能性を示している。
眼底,光コヒーレンス断層撮影,視野画像を用いたAIによる緑内障の診断に関する最近の研究について調査した。
論文 参考訳(メタデータ) (2023-07-31T09:49:51Z) - A Novel Multi-Task Model Imitating Dermatologists for Accurate
Differential Diagnosis of Skin Diseases in Clinical Images [27.546559936765863]
皮膚科医の診断手順と戦略を模倣して,このギャップを埋めるために,新しいマルチタスクモデルDermImitFormerを提案する。
モデルは、疾患自体に加えて、身体の部分と病変の属性を同時に予測し、診断精度を高め、診断の解釈性を向上させる。
論文 参考訳(メタデータ) (2023-07-17T08:05:30Z) - Cross-Modal Causal Intervention for Medical Report Generation [109.83549148448469]
医療報告生成(MRG)は、コンピュータ支援診断と治療指導に不可欠である。
視覚的および言語的バイアスによって引き起こされる画像テキストデータ内の素早い相関のため、病変領域を確実に記述した正確なレポートを生成することは困難である。
本稿では,視覚分解モジュール (VDM) と言語分解モジュール (LDM) からなるMRGのための新しい視覚言語因果干渉 (VLCI) フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-16T07:23:55Z) - Towards Transparency in Dermatology Image Datasets with Skin Tone
Annotations by Experts, Crowds, and an Algorithm [3.6888633946892044]
皮膚疾患のパブリックおよびプライベート画像データセットには、皮膚の色に関する情報がほとんど含まれない。
透明性を高めるための出発点として、AI研究者は、患者の光感受性の尺度から皮膚のトーンを推定する尺度まで、Fitzpatrick skin type (FST)の使用を適当に検討した。
ITA-FSTに基づくアルゴリズムは,大規模な画像データセットのアノテートには信頼性が低いことを示す。
論文 参考訳(メタデータ) (2022-07-06T19:50:39Z) - SSD-KD: A Self-supervised Diverse Knowledge Distillation Method for
Lightweight Skin Lesion Classification Using Dermoscopic Images [62.60956024215873]
皮膚がんは最も一般的な悪性腫瘍の1つであり、人口に影響を与え、世界中で経済的な重荷を負っている。
皮膚がん検出のほとんどの研究は、ポータブルデバイス上での計算資源の制限を考慮せずに、高い予測精度を追求している。
本研究は,皮膚疾患分類のための汎用的なKDフレームワークに多様な知識を統一する,SSD-KDと呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2022-03-22T06:54:29Z) - VBridge: Connecting the Dots Between Features, Explanations, and Data
for Healthcare Models [85.4333256782337]
VBridgeは、臨床医の意思決定ワークフローに機械学習の説明をシームレスに組み込むビジュアル分析ツールである。
我々は,臨床医がMLの特徴に慣れていないこと,文脈情報の欠如,コホートレベルの証拠の必要性など,3つの重要な課題を特定した。
症例スタディと専門医4名のインタビューを通じて, VBridgeの有効性を実証した。
論文 参考訳(メタデータ) (2021-08-04T17:34:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。