論文の概要: Mammo-CLIP Dissect: A Framework for Analysing Mammography Concepts in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2509.21102v1
• Date: Thu, 25 Sep 2025 12:47:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-26 20:58:12.909402
• Title: Mammo-CLIP Dissect: A Framework for Analysing Mammography Concepts in Vision-Language Models
• Title（参考訳）: Mammo-CLIP Dissect:視覚言語モデルにおけるマンモグラフィーの概念分析のためのフレームワーク
• Authors: Suaiba Amina Salahuddin, Teresa Dorszewski, Marit Almenning Martiniussen, Tone Hovda, Antonio Portaluri, Solveig Thrun, Michael Kampffmeyer, Elisabeth Wetzer, Kristoffer Wickstrøm, Robert Jenssen,
• Abstract要約: Mammo-CLIP Dissectは、マンモグラフィーで訓練されたディープラーニングビジョンモデルを体系的に分離するための、最初の概念ベースの説明可能性フレームワークである。 一般的な画像データセットで訓練されたDLビジョンモデルとマンモグラフィー固有のデータセットのコンセプト学習の違いについて検討する。 マンモグラフィーデータで訓練されたモデルは,マンモグラフィーデータで訓練されていないモデルよりも臨床的に関連性のある概念を捉え,放射線科医とより緊密に一致していることを示す。
• 参考スコア（独自算出の注目度）: 18.596949417108423
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding what deep learning (DL) models learn is essential for the safe deployment of artificial intelligence (AI) in clinical settings. While previous work has focused on pixel-based explainability methods, less attention has been paid to the textual concepts learned by these models, which may better reflect the reasoning used by clinicians. We introduce Mammo-CLIP Dissect, the first concept-based explainability framework for systematically dissecting DL vision models trained for mammography. Leveraging a mammography-specific vision-language model (Mammo-CLIP) as a "dissector," our approach labels neurons at specified layers with human-interpretable textual concepts and quantifies their alignment to domain knowledge. Using Mammo-CLIP Dissect, we investigate three key questions: (1) how concept learning differs between DL vision models trained on general image datasets versus mammography-specific datasets; (2) how fine-tuning for downstream mammography tasks affects concept specialisation; and (3) which mammography-relevant concepts remain underrepresented. We show that models trained on mammography data capture more clinically relevant concepts and align more closely with radiologists' workflows than models not trained on mammography data. Fine-tuning for task-specific classification enhances the capture of certain concept categories (e.g., benign calcifications) but can reduce coverage of others (e.g., density-related features), indicating a trade-off between specialisation and generalisation. Our findings show that Mammo-CLIP Dissect provides insights into how convolutional neural networks (CNNs) capture mammography-specific knowledge. By comparing models across training data and fine-tuning regimes, we reveal how domain-specific training and task-specific adaptation shape concept learning. Code and concept set are available: https://github.com/Suaiba/Mammo-CLIP-Dissect.
• Abstract（参考訳）: 深層学習(DL)モデルが何を学ぶかを理解することは、臨床環境における人工知能(AI)の安全な展開に不可欠である。 これまでの研究はピクセルベースの説明可能性法に焦点が当てられていたが、これらのモデルで学んだテキストの概念にはあまり注意が払われていない。 マンモグラフィで訓練されたDLビジョンモデルを体系的に分離するための,最初の概念ベースの説明可能性フレームワークであるMammo-CLIP Dissectを紹介する。 マンモグラフィー固有の視覚言語モデル(Mammo-CLIP)を「ディセクター」として活用し、人間の解釈可能なテキストの概念で特定の層でニューロンをラベル付けし、ドメイン知識との整合性を定量化する。 Mammo-CLIP Dissectを用いて,(1)一般的な画像データセットとマンモグラフィー固有のデータセットで訓練されたDLビジョンモデルの違い,(2)下流マンモグラフィータスクの微調整がコンセプトの特殊化にどのように影響するか,(3)マンモグラフィ関連概念の不足について検討する。 マンモグラフィーデータで訓練されたモデルは,マンモグラフィーデータで訓練されていないモデルよりも臨床的に関係のある概念を捉え,放射線医のワークフローとより密接に一致していることを示す。 タスク固有の分類のための微調整は、特定の概念カテゴリ(例えば、良性石灰化)のキャプチャを促進するが、他のカテゴリ(例えば、密度に関連した特徴)のカバレッジを減らし、特殊化と一般化のトレードオフを示す。 以上の結果から,Mammo-CLIP Dissectは,畳み込みニューラルネットワーク(CNN)がマンモグラフィー特有の知識をいかに捉えているかが分かる。 トレーニングデータと微調整体制のモデルを比較することで、ドメイン固有のトレーニングとタスク固有の適応形概念学習の方法を明らかにする。 コードとコンセプトセットは、https://github.com/Suaiba/Mammo-CLIP-Dissect.comで入手できる。

関連論文リスト

• Training-free Test-time Improvement for Explainable Medical Image Classification [11.320534249593171]
  医用画像分類のための訓練不要な混乱概念識別戦略を提案する。 提案手法は,ソース領域の精度を犠牲にすることなく,領域外の性能を向上させる。 本手法は皮膚と白血球の双方で有効である。
  論文  参考訳（メタデータ） (2025-06-22T15:37:13Z)
• Pathological Prior-Guided Multiple Instance Learning For Mitigating Catastrophic Forgetting in Breast Cancer Whole Slide Image Classification [50.899861205016265]
  乳癌のWSI分類における破滅的忘れを緩和する新しい枠組みであるPaGMILを提案する。 私たちのフレームワークでは、共通のMILモデルアーキテクチャに2つの重要なコンポーネントを導入しています。 複数の乳がんデータセットを対象としたPaGMILの連続学習性能の評価を行った。
  論文  参考訳（メタデータ） (2025-03-08T04:51:58Z)
• MLIP: Enhancing Medical Visual Representation with Divergence Encoder and Knowledge-guided Contrastive Learning [48.97640824497327]
  本稿では、画像テキストのコントラスト学習を通じて、言語情報を視覚領域に統合するための案内信号として、ドメイン固有の医療知識を活用する新しいフレームワークを提案する。 我々のモデルには、設計した分散エンコーダによるグローバルコントラスト学習、局所トークン・知識・パッチアライメントコントラスト学習、知識誘導型カテゴリレベルのコントラスト学習、エキスパートナレッジによるコントラスト学習が含まれる。 特に、MLIPは、限られた注釈付きデータであっても最先端の手法を超越し、医療表現学習の進歩におけるマルチモーダル事前学習の可能性を強調している。
  論文  参考訳（メタデータ） (2024-02-03T05:48:50Z)
• Robust and Interpretable Medical Image Classifiers via Concept Bottleneck Models [49.95603725998561]
  本稿では,自然言語の概念を用いた堅牢で解釈可能な医用画像分類器を構築するための新しいパラダイムを提案する。 具体的には、まず臨床概念をGPT-4から検索し、次に視覚言語モデルを用いて潜在画像の特徴を明示的な概念に変換する。
  論文  参考訳（メタデータ） (2023-10-04T21:57:09Z)
• LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
  LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
  論文  参考訳（メタデータ） (2023-06-20T22:21:34Z)
• Pixel-Level Explanation of Multiple Instance Learning Models in Biomedical Single Cell Images [52.527733226555206]
  複数のインスタンス学習モデルを説明するための4つの属性法について検討する。 急性骨髄性白血病の2つのデータセットと100万以上の単細胞画像について検討した。 我々は、属性マップと医療専門家の注釈を比較し、モデルの意思決定が人間の基準とどのように異なるかを確認する。
  論文  参考訳（メタデータ） (2023-03-15T14:00:11Z)
• IAIA-BL: A Case-based Interpretable Deep Learning Model for Classification of Mass Lesions in Digital Mammography [20.665935997959025]
  機械学習モデルの解釈性は、高リスク決定において重要である。 機械学習に基づくマンモグラフィを解釈可能なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-23T05:00:21Z)
• Abstracting Deep Neural Networks into Concept Graphs for Concept Level Interpretability [0.39635467316436124]
  我々は,学習した概念のグラフィカルな表現を構築することで,医療領域における画像処理タスクを実行する訓練されたモデルの振る舞いを理解することを試みる。 本稿では,脳腫瘍の分節化と基底画像の分類という2つの生体医学的問題に対する提案手法の適用について述べる。
  論文  参考訳（メタデータ） (2020-08-14T16:34:32Z)
• On Interpretability of Deep Learning based Skin Lesion Classifiers using Concept Activation Vectors [6.188009802619095]
  メラノーマ, メラノーマ, セボリックケラトーシスの3種類の皮膚腫瘍の分類には, 十分に訓練された高性能ニューラルネットワークを用いている。 概念活性化ベクトル(CAV)の助けを借りて、人間の理解可能な概念をRECOD画像分類モデルにマッピングする
  論文  参考訳（メタデータ） (2020-05-05T08:27:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。