論文の概要: Towards Concept-based Interpretability of Skin Lesion Diagnosis using Vision-Language Models

• arxiv url: http://arxiv.org/abs/2311.14339v1
• Date: Fri, 24 Nov 2023 08:31:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-27 15:36:53.920818
• Title: Towards Concept-based Interpretability of Skin Lesion Diagnosis using Vision-Language Models
• Title（参考訳）: 視覚言語モデルを用いた皮膚病変診断の概念的解釈可能性に向けて
• Authors: Cristiano Patr\'icio, Lu\'is F. Teixeira, Jo\~ao C. Neves
• Abstract要約: 視覚言語モデルを用いて,多数の概念アノテーションを用いたサンプルへの依存を緩和できることを示す。 特に,概念に基づく記述をテキスト埋め込みとして用いて,CLIPを皮膚病変分類の下流タスクに適用するための埋め込み学習戦略を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Concept-based models naturally lend themselves to the development of inherently interpretable skin lesion diagnosis, as medical experts make decisions based on a set of visual patterns of the lesion. Nevertheless, the development of these models depends on the existence of concept-annotated datasets, whose availability is scarce due to the specialized knowledge and expertise required in the annotation process. In this work, we show that vision-language models can be used to alleviate the dependence on a large number of concept-annotated samples. In particular, we propose an embedding learning strategy to adapt CLIP to the downstream task of skin lesion classification using concept-based descriptions as textual embeddings. Our experiments reveal that vision-language models not only attain better accuracy when using concepts as textual embeddings, but also require a smaller number of concept-annotated samples to attain comparable performance to approaches specifically devised for automatic concept generation.
• Abstract（参考訳）: 概念に基づくモデルは、本質的に解釈可能な皮膚病変の診断の開発に自然に役立ち、医療の専門家は病変の一連の視覚パターンに基づいて決定を下す。 それにもかかわらず、これらのモデルの開発は、アノテーションプロセスに必要な専門的な知識と専門知識のために可用性が低い概念注釈データセットの存在に依存する。 本研究では,視覚言語モデルを用いて,多数の概念注釈付きサンプルへの依存を緩和できることを示す。 特に,CLIPをテキスト埋め込みとして概念に基づく記述を用いた皮膚病変分類の下流タスクに適用するための埋め込み学習戦略を提案する。 実験により,視覚言語モデルでは,概念をテキスト埋め込みとして使用する場合の精度が向上するだけでなく,概念注釈付きサンプルを少なくすることで,概念自動生成のためのアプローチに匹敵する性能が得られることが明らかとなった。

関連論文リスト

• A Two-Step Concept-Based Approach for Enhanced Interpretability and Trust in Skin Lesion Diagnosis [6.6635650150737815]
  概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の理解できない概念のセットに対する最終疾患予測を制約することにより、固有の解釈可能性を提供する。 これらの課題に対処する新しい2段階の方法論を導入する。 CBMの2段階をシミュレートすることにより,臨床概念の自動予測にVLM(Pretrained Vision Language Model),疾患診断にLLM(Large Language Model)を用いる。
  論文  参考訳（メタデータ） (2024-11-08T14:52:42Z)
• Concept Complement Bottleneck Model for Interpretable Medical Image Diagnosis [8.252227380729188]
  本稿では,医用画像診断のための補完的ボトルネックモデルを提案する。 そこで本研究では,概念の相違点を抽出し,それぞれの注意チャンネルで概念をスコアリングするために,概念アダプタを利用することを提案する。 本モデルでは,概念検出と疾患診断の課題において,最先端の競争相手よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-20T16:52:09Z)
• Aligning Human Knowledge with Visual Concepts Towards Explainable Medical Image Classification [8.382606243533942]
  本稿では,説明可能な言語インフォームド基準に基づく診断に向けて,シンプルで効果的なフレームワークであるExplicdを紹介した。 事前訓練された視覚言語モデルを活用することで、Explicdはこれらの基準を知識アンカーとして埋め込み空間に注入する。 最終的な診断結果は、符号化された視覚概念とテキストの基準埋め込みとの類似度スコアに基づいて決定される。
  論文  参考訳（メタデータ） (2024-06-08T23:23:28Z)
• MICA: Towards Explainable Skin Lesion Diagnosis via Multi-Level Image-Concept Alignment [4.861768967055006]
  本稿では, 医療画像と臨床関連概念を多層的に意味的に整合させるマルチモーダル説明型疾患診断フレームワークを提案する。 提案手法は, モデル解釈可能性を維持しながら, 概念検出と疾患診断に高い性能とラベル効率を実現する。
  論文  参考訳（メタデータ） (2024-01-16T17:45:01Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Robust and Interpretable Medical Image Classifiers via Concept Bottleneck Models [49.95603725998561]
  本稿では,自然言語の概念を用いた堅牢で解釈可能な医用画像分類器を構築するための新しいパラダイムを提案する。 具体的には、まず臨床概念をGPT-4から検索し、次に視覚言語モデルを用いて潜在画像の特徴を明示的な概念に変換する。
  論文  参考訳（メタデータ） (2023-10-04T21:57:09Z)
• Coherent Concept-based Explanations in Medical Image and Its Application to Skin Lesion Diagnosis [0.0]
  既存のメラノーマ皮膚病変診断のための深層学習アプローチはブラックボックスモデルとみなす。 本稿では,概念ベースモデルの解釈可能性を改善するために,本質的に解釈可能なフレームワークを提案する。 本手法は皮膚病変分類のための既存のブラックボックスとコンセプトベースモデルより優れている。
  論文  参考訳（メタデータ） (2023-04-10T13:32:04Z)
• Learnable Visual Words for Interpretable Image Recognition [70.85686267987744]
  モデル予測動作を2つの新しいモジュールで解釈するLearable Visual Words (LVW)を提案する。 意味的な視覚的単語学習は、カテゴリ固有の制約を緩和し、異なるカテゴリ間で共有される一般的な視覚的単語を可能にする。 6つの視覚的ベンチマーク実験により,提案したLVWの精度とモデル解釈における優れた効果が示された。
  論文  参考訳（メタデータ） (2022-05-22T03:24:45Z)
• Translational Concept Embedding for Generalized Compositional Zero-shot Learning [73.60639796305415]
  一般合成ゼロショット学習は、ゼロショット方式で属性オブジェクト対の合成概念を学習する手段である。 本稿では,これら2つの課題を統一的なフレームワークで解決するために,翻訳概念の埋め込み(translational concept embedded)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-12-20T21:27:51Z)
• Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
  マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。 共通情報と相補情報の両方を敵意で抽出することを目的としている。 特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
  論文  参考訳（メタデータ） (2021-02-15T18:46:44Z)
• Concept Bottleneck Models [79.91795150047804]
  現在の最先端モデルは、通常「骨の支柱の存在」のような概念の操作をサポートしない。 トレーニング時に提供される概念を最初に予測し、ラベルを予測するためにこれらの概念を使用するという古典的な考え方を再考する。 X線グレーディングと鳥の識別では、概念ボトルネックモデルが標準のエンドツーエンドモデルと競合する精度を達成する。
  論文  参考訳（メタデータ） (2020-07-09T07:47:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。