論文の概要: SkinGEN: an Explainable Dermatology Diagnosis-to-Generation Framework with Interactive Vision-Language Models

• arxiv url: http://arxiv.org/abs/2404.14755v1
• Date: Tue, 23 Apr 2024 05:36:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-24 15:10:30.544087
• Title: SkinGEN: an Explainable Dermatology Diagnosis-to-Generation Framework with Interactive Vision-Language Models
• Title（参考訳）: SkinGEN:対話型視覚言語モデルを用いた説明可能な皮膚科診断・生成フレームワーク
• Authors: Bo Lin, Yingjing Xu, Xuanwen Bao, Zhou Zhao, Zuyong Zhang, Zhouyang Wang, Jie Zhang, Shuiguang Deng, Jianwei Yin,
• Abstract要約: SkinGENは、VLMが提供する診断結果から参照デモを生成する、診断から生成までのフレームワークである。 システム性能と説明可能性の両方を評価するために,32人の参加者によるユーザスタディを実施している。 その結果、SkinGENはVLM予測に対するユーザの理解を著しく改善し、診断プロセスへの信頼を高めることが示されている。
• 参考スコア（独自算出の注目度）: 52.90397538472582
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the continuous advancement of vision language models (VLMs) technology, remarkable research achievements have emerged in the dermatology field, the fourth most prevalent human disease category. However, despite these advancements, VLM still faces "hallucination" in dermatological diagnosis, and due to the inherent complexity of dermatological conditions, existing tools offer relatively limited support for user comprehension. We propose SkinGEN, a diagnosis-to-generation framework that leverages the stable diffusion (SD) method to generate reference demonstrations from diagnosis results provided by VLM, thereby enhancing the visual explainability for users. Through extensive experiments with Low-Rank Adaptation (LoRA), we identify optimal strategies for skin condition image generation. We conduct a user study with 32 participants evaluating both the system performance and explainability. Results demonstrate that SkinGEN significantly improves users' comprehension of VLM predictions and fosters increased trust in the diagnostic process. This work paves the way for more transparent and user-centric VLM applications in dermatology and beyond.
• Abstract（参考訳）: 視覚言語モデル(VLM)技術の継続的な進歩により、皮膚科学分野における顕著な研究成果は、ヒトの病気のカテゴリーで第4位である。 しかしながら、これらの進歩にもかかわらず、VLMはなおも皮膚疾患の診断において「ハロシン化」に直面しており、皮膚疾患の本質的な複雑さのため、既存のツールはユーザ理解を比較的限定的にサポートしている。 本稿では,VLM による診断結果から参照デモを生成するために,SD 法を利用した診断から生成までのフレームワークである SkinGEN を提案する。 ローランド適応 (LoRA) を用いた広範囲な実験により, 皮膚条件画像生成のための最適戦略を同定した。 システム性能と説明可能性の両方を評価するために,32人の参加者によるユーザスタディを実施している。 その結果、SkinGENはVLM予測に対するユーザの理解を著しく改善し、診断プロセスへの信頼を高めることが示されている。 この作業は、皮膚科などにおけるより透明でユーザ中心のVLMアプリケーションへの道を開くものだ。

関連論文リスト

• Enhancing Skin Disease Diagnosis: Interpretable Visual Concept Discovery with SAM Empowerment [41.398287899966995]
  現在のAIによる皮膚画像診断は、皮膚がんの分類において皮膚科レベルのパフォーマンスを達成している。 皮膚病変診断のための新しいクロス・アテテーティブ・フュージョン・フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-14T20:11:25Z)
• Equitable Skin Disease Prediction Using Transfer Learning and Domain Adaptation [1.9505972437091028]
  皮膚科学における既存の人工知能(AI)モデルは、様々な皮膚のトーンで病気を正確に診断する上で困難に直面している。 我々は、様々な画像領域からのリッチでトランスファー可能な知識を活かしたトランスファーラーニングアプローチを採用する。 あらゆる手法の中で、Med-ViTは様々な画像ソースから学んだ包括的な特徴表現のためにトップパフォーマーとして登場した。
  論文  参考訳（メタデータ） (2024-09-01T23:48:26Z)
• Dr-LLaVA: Visual Instruction Tuning with Symbolic Clinical Grounding [53.629132242389716]
  VLM(Vision-Language Models)は、医用画像を分析し、自然言語の相互作用に関与することによって、臨床医を支援する。 VLMはしばしば「幻覚的」な振る舞いを示し、文脈的マルチモーダル情報に基づかないテキスト出力を生成する。 本稿では,臨床推論の象徴的表現を用いて医療知識にVLMを基盤とする新たなアライメントアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-29T23:19:28Z)
• Dermacen Analytica: A Novel Methodology Integrating Multi-Modal Large Language Models with Machine Learning in tele-dermatology [1.999925939110439]
  我々は,皮膚病変やその他の皮膚疾患の診断プロセスを支援するために,人工知能を活用したシステムと手法を記述し,実装し,評価する。 提案手法は次世代の遠隔皮膚科アプリケーションの開発に有用であることが期待される。
  論文  参考訳（メタデータ） (2024-03-21T09:02:17Z)
• Optimizing Skin Lesion Classification via Multimodal Data and Auxiliary Task Integration [54.76511683427566]
  本研究は, スマートフォンで撮影した画像と本質的な臨床および人口統計情報を統合することで, 皮膚病変を分類する新しいマルチモーダル手法を提案する。 この手法の特徴は、超高解像度画像予測に焦点を当てた補助的なタスクの統合である。 PAD-UFES20データセットを用いて,様々なディープラーニングアーキテクチャを用いて実験を行った。
  論文  参考訳（メタデータ） (2024-02-16T05:16:20Z)
• Revamping AI Models in Dermatology: Overcoming Critical Challenges for Enhanced Skin Lesion Diagnosis [8.430482797862926]
  我々は、分散-textbfClinical TriageモデルのオールインワンのtextbfHierarchical-textbfOutを示す。 臨床画像では,階層的予測,アウト・オブ・ディストリビューション画像の警告,皮膚内視鏡の推奨の3つの出力を生成する。 我々の汎用モデルは、病変診断のための貴重な意思決定支援を提供し、医療AI応用の有望な先例を定めている。
  論文  参考訳（メタデータ） (2023-11-02T06:08:49Z)
• Robust and Interpretable Medical Image Classifiers via Concept Bottleneck Models [49.95603725998561]
  本稿では,自然言語の概念を用いた堅牢で解釈可能な医用画像分類器を構築するための新しいパラダイムを提案する。 具体的には、まず臨床概念をGPT-4から検索し、次に視覚言語モデルを用いて潜在画像の特徴を明示的な概念に変換する。
  論文  参考訳（メタデータ） (2023-10-04T21:57:09Z)
• SSD-KD: A Self-supervised Diverse Knowledge Distillation Method for Lightweight Skin Lesion Classification Using Dermoscopic Images [62.60956024215873]
  皮膚がんは最も一般的な悪性腫瘍の1つであり、人口に影響を与え、世界中で経済的な重荷を負っている。 皮膚がん検出のほとんどの研究は、ポータブルデバイス上での計算資源の制限を考慮せずに、高い予測精度を追求している。 本研究は,皮膚疾患分類のための汎用的なKDフレームワークに多様な知識を統一する,SSD-KDと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-22T06:54:29Z)
• VBridge: Connecting the Dots Between Features, Explanations, and Data for Healthcare Models [85.4333256782337]
  VBridgeは、臨床医の意思決定ワークフローに機械学習の説明をシームレスに組み込むビジュアル分析ツールである。 我々は,臨床医がMLの特徴に慣れていないこと,文脈情報の欠如,コホートレベルの証拠の必要性など,3つの重要な課題を特定した。 症例スタディと専門医4名のインタビューを通じて, VBridgeの有効性を実証した。
  論文  参考訳（メタデータ） (2021-08-04T17:34:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。