論文の概要: Towards Concept-based Interpretability of Skin Lesion Diagnosis using
Vision-Language Models
- arxiv url: http://arxiv.org/abs/2311.14339v2
- Date: Wed, 6 Mar 2024 14:23:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 20:39:03.698673
- Title: Towards Concept-based Interpretability of Skin Lesion Diagnosis using
Vision-Language Models
- Title(参考訳): 視覚言語モデルを用いた皮膚病変診断の概念的解釈可能性に向けて
- Authors: Cristiano Patr\'icio, Lu\'is F. Teixeira, Jo\~ao C. Neves
- Abstract要約: 視覚言語モデルを用いて,多数の概念アノテーションを用いたサンプルへの依存を緩和できることを示す。
特に,概念に基づく記述をテキスト埋め込みとして用いて,CLIPを皮膚病変分類の下流タスクに適用するための埋め込み学習戦略を提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Concept-based models naturally lend themselves to the development of
inherently interpretable skin lesion diagnosis, as medical experts make
decisions based on a set of visual patterns of the lesion. Nevertheless, the
development of these models depends on the existence of concept-annotated
datasets, whose availability is scarce due to the specialized knowledge and
expertise required in the annotation process. In this work, we show that
vision-language models can be used to alleviate the dependence on a large
number of concept-annotated samples. In particular, we propose an embedding
learning strategy to adapt CLIP to the downstream task of skin lesion
classification using concept-based descriptions as textual embeddings. Our
experiments reveal that vision-language models not only attain better accuracy
when using concepts as textual embeddings, but also require a smaller number of
concept-annotated samples to attain comparable performance to approaches
specifically devised for automatic concept generation.
- Abstract(参考訳): 概念に基づくモデルは、本質的に解釈可能な皮膚病変の診断の開発に自然に役立ち、医療の専門家は病変の一連の視覚パターンに基づいて決定を下す。
それにもかかわらず、これらのモデルの開発は、アノテーションプロセスに必要な専門的な知識と専門知識のために可用性が低い概念注釈データセットの存在に依存する。
本研究では,視覚言語モデルを用いて,多数の概念注釈付きサンプルへの依存を緩和できることを示す。
特に,CLIPをテキスト埋め込みとして概念に基づく記述を用いた皮膚病変分類の下流タスクに適用するための埋め込み学習戦略を提案する。
実験により,視覚言語モデルでは,概念をテキスト埋め込みとして使用する場合の精度が向上するだけでなく,概念注釈付きサンプルを少なくすることで,概念自動生成のためのアプローチに匹敵する性能が得られることが明らかとなった。
関連論文リスト
- MICA: Towards Explainable Skin Lesion Diagnosis via Multi-Level
Image-Concept Alignment [4.861768967055006]
本稿では, 医療画像と臨床関連概念を多層的に意味的に整合させるマルチモーダル説明型疾患診断フレームワークを提案する。
提案手法は, モデル解釈可能性を維持しながら, 概念検出と疾患診断に高い性能とラベル効率を実現する。
論文 参考訳(メタデータ) (2024-01-16T17:45:01Z) - Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。
ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。
本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-11-08T20:41:18Z) - Robust and Interpretable Medical Image Classifiers via Concept
Bottleneck Models [49.95603725998561]
本稿では,自然言語の概念を用いた堅牢で解釈可能な医用画像分類器を構築するための新しいパラダイムを提案する。
具体的には、まず臨床概念をGPT-4から検索し、次に視覚言語モデルを用いて潜在画像の特徴を明示的な概念に変換する。
論文 参考訳(メタデータ) (2023-10-04T21:57:09Z) - Coherent Concept-based Explanations in Medical Image and Its Application
to Skin Lesion Diagnosis [0.0]
既存のメラノーマ皮膚病変診断のための深層学習アプローチはブラックボックスモデルとみなす。
本稿では,概念ベースモデルの解釈可能性を改善するために,本質的に解釈可能なフレームワークを提案する。
本手法は皮膚病変分類のための既存のブラックボックスとコンセプトベースモデルより優れている。
論文 参考訳(メタデータ) (2023-04-10T13:32:04Z) - Towards Trustable Skin Cancer Diagnosis via Rewriting Model's Decision [12.306688233127312]
本稿では,モデルトレーニングプロセスにHuman-in-the-loopフレームワークを導入する。
提案手法は, 共起因子を自動的に検出する。
容易に得られる概念の模範を用いて、相反する概念を学習することができる。
論文 参考訳(メタデータ) (2023-03-02T01:02:18Z) - Learnable Visual Words for Interpretable Image Recognition [70.85686267987744]
モデル予測動作を2つの新しいモジュールで解釈するLearable Visual Words (LVW)を提案する。
意味的な視覚的単語学習は、カテゴリ固有の制約を緩和し、異なるカテゴリ間で共有される一般的な視覚的単語を可能にする。
6つの視覚的ベンチマーク実験により,提案したLVWの精度とモデル解釈における優れた効果が示された。
論文 参考訳(メタデータ) (2022-05-22T03:24:45Z) - Translational Concept Embedding for Generalized Compositional Zero-shot
Learning [73.60639796305415]
一般合成ゼロショット学習は、ゼロショット方式で属性オブジェクト対の合成概念を学習する手段である。
本稿では,これら2つの課題を統一的なフレームワークで解決するために,翻訳概念の埋め込み(translational concept embedded)という新しいアプローチを提案する。
論文 参考訳(メタデータ) (2021-12-20T21:27:51Z) - Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。
共通情報と相補情報の両方を敵意で抽出することを目的としている。
特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
論文 参考訳(メタデータ) (2021-02-15T18:46:44Z) - Concept Bottleneck Models [79.91795150047804]
現在の最先端モデルは、通常「骨の支柱の存在」のような概念の操作をサポートしない。
トレーニング時に提供される概念を最初に予測し、ラベルを予測するためにこれらの概念を使用するという古典的な考え方を再考する。
X線グレーディングと鳥の識別では、概念ボトルネックモデルが標準のエンドツーエンドモデルと競合する精度を達成する。
論文 参考訳(メタデータ) (2020-07-09T07:47:28Z) - On Interpretability of Deep Learning based Skin Lesion Classifiers using
Concept Activation Vectors [6.188009802619095]
メラノーマ, メラノーマ, セボリックケラトーシスの3種類の皮膚腫瘍の分類には, 十分に訓練された高性能ニューラルネットワークを用いている。
概念活性化ベクトル(CAV)の助けを借りて、人間の理解可能な概念をRECOD画像分類モデルにマッピングする
論文 参考訳(メタデータ) (2020-05-05T08:27:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。