論文の概要: Interactive Medical Image Analysis with Concept-based Similarity Reasoning
- arxiv url: http://arxiv.org/abs/2503.06873v2
- Date: Tue, 11 Mar 2025 09:06:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-12 12:20:30.156736
- Title: Interactive Medical Image Analysis with Concept-based Similarity Reasoning
- Title(参考訳): 概念的類似性推論を用いた医用画像の対話的分析
- Authors: Ta Duc Huy, Sen Kim Tran, Phan Nguyen, Nguyen Hoang Tran, Tran Bao Sam, Anton van den Hengel, Zhibin Liao, Johan W. Verjans, Minh-Son To, Vu Minh Hieu Phan,
- Abstract要約: 概念ベースの類似推論ネットワーク(CSR)は、固有の概念解釈を備えたパッチレベルのプロトタイプを提供する。
CSRは3つのバイオメディカルデータセットで、最先端の解釈可能な手法を最大4.5%改善する。
- 参考スコア(独自算出の注目度): 32.38056136570339
- License:
- Abstract: The ability to interpret and intervene model decisions is important for the adoption of computer-aided diagnosis methods in clinical workflows. Recent concept-based methods link the model predictions with interpretable concepts and modify their activation scores to interact with the model. However, these concepts are at the image level, which hinders the model from pinpointing the exact patches the concepts are activated. Alternatively, prototype-based methods learn representations from training image patches and compare these with test image patches, using the similarity scores for final class prediction. However, interpreting the underlying concepts of these patches can be challenging and often necessitates post-hoc guesswork. To address this issue, this paper introduces the novel Concept-based Similarity Reasoning network (CSR), which offers (i) patch-level prototype with intrinsic concept interpretation, and (ii) spatial interactivity. First, the proposed CSR provides localized explanation by grounding prototypes of each concept on image regions. Second, our model introduces novel spatial-level interaction, allowing doctors to engage directly with specific image areas, making it an intuitive and transparent tool for medical imaging. CSR improves upon prior state-of-the-art interpretable methods by up to 4.5\% across three biomedical datasets. Our code is released at https://github.com/tadeephuy/InteractCSR.
- Abstract(参考訳): 臨床ワークフローにおけるコンピュータ支援診断手法の採用には,モデル決定の解釈と解釈が重要である。
最近の概念に基づく手法では、モデル予測と解釈可能な概念を結びつけ、アクティベーションスコアを変更してモデルと対話する。
しかし、これらの概念はイメージレベルで、概念がアクティベートされている正確なパッチをピンポイントすることを妨げる。
あるいは、プロトタイプベースの手法は、イメージパッチのトレーニングから表現を学習し、これらをテストイメージパッチと比較する。
しかし、これらのパッチの根底にある概念を解釈することは困難であり、しばしばポストホックな推測を必要とする。
本稿では,概念に基づく類似性推論ネットワーク(CSR)について紹介する。
(i)本質的な概念解釈を伴うパッチレベルのプロトタイプ、及び
(ii)空間的相互作用性。
まず,各概念のプロトタイプを画像領域に接地することで,局所的な説明を提供する。
第二に、我々のモデルは空間レベルの新しい相互作用を導入し、医師が特定の画像領域に直接関与できるようにし、医療画像の直感的で透明なツールとなる。
CSRは3つのバイオメディカルデータセットにおいて、最先端の解釈可能な手法を最大4.5\%改善する。
私たちのコードはhttps://github.com/tadeephuy/InteractCSR.comでリリースされています。
関連論文リスト
- COMIX: Compositional Explanations using Prototypes [46.15031477955461]
本稿では,機械表現を人間の理解と整合させる手法を提案する。
提案手法はCOMIXと呼ばれ,学習概念に基づいて領域に分解することで画像の分類を行う。
提案手法は説明の完全性を提供し,その効率性は他の本質的に解釈可能なアーキテクチャと競合することを示す。
論文 参考訳(メタデータ) (2025-01-10T15:40:31Z) - Label-free Concept Based Multiple Instance Learning for Gigapixel Histopathology [3.3353153750791718]
MIL(Multiple Instance Learning)メソッドは、スライドレベルのアノテーションだけで、ギガピクセルのWSI(Whole-Slide Image)解析を可能にする。
本稿では,人間の理解可能な病理概念を用いて説明を生成するWSI分類手法を提案する。
論文 参考訳(メタデータ) (2025-01-06T11:03:04Z) - Visual-TCAV: Concept-based Attribution and Saliency Maps for Post-hoc Explainability in Image Classification [3.9626211140865464]
近年,畳み込みニューラルネットワーク(CNN)のパフォーマンスが大幅に向上している。
しかし、そのサイズと複雑さのため、ブラックボックスとして機能し、透明性の懸念につながります。
本稿では,これらの手法間のギャップを埋めることを目的とした,ポストホックな説明可能性フレームワークであるVisual-TCAVを紹介する。
論文 参考訳(メタデータ) (2024-11-08T16:52:52Z) - Autoregressive Sequence Modeling for 3D Medical Image Representation [48.706230961589924]
本稿では, 自己回帰シーケンス事前学習フレームワークを用いて, 3次元医用画像表現を学習するための先駆的手法を提案する。
我々は,空間的,コントラスト的,意味的相関に基づく様々な3次元医用画像にアプローチし,トークンシーケンス内の相互接続された視覚トークンとして扱う。
論文 参考訳(メタデータ) (2024-09-13T10:19:10Z) - Improving Intervention Efficacy via Concept Realignment in Concept Bottleneck Models [57.86303579812877]
概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の理解可能な概念に基づいて、解釈可能なモデル決定を可能にする画像分類である。
既存のアプローチは、強いパフォーマンスを達成するために、画像ごとに多数の人間の介入を必要とすることが多い。
本稿では,概念関係を利用した学習型概念認識介入モジュールについて紹介する。
論文 参考訳(メタデータ) (2024-05-02T17:59:01Z) - MICA: Towards Explainable Skin Lesion Diagnosis via Multi-Level
Image-Concept Alignment [4.861768967055006]
本稿では, 医療画像と臨床関連概念を多層的に意味的に整合させるマルチモーダル説明型疾患診断フレームワークを提案する。
提案手法は, モデル解釈可能性を維持しながら, 概念検出と疾患診断に高い性能とラベル効率を実現する。
論文 参考訳(メタデータ) (2024-01-16T17:45:01Z) - Cross-Modal Conceptualization in Bottleneck Models [21.2577097041883]
概念ボトルネックモデル(CBM)は、訓練例(例えば、x線画像)が高レベルの概念で注釈付けされていると仮定する。
このアプローチでは、より穏健な仮定を採用し、代わりに、訓練中の画像に付随するテキスト記述を用いて概念の導出を誘導する。
我々のクロスモーダルアプローチは,概念を離散潜在変数として扱い,(1)ラベルの予測,(2)画像とテキストの両方から確実に予測できる概念を促進する。
論文 参考訳(メタデータ) (2023-10-23T11:00:19Z) - Robust and Interpretable Medical Image Classifiers via Concept
Bottleneck Models [49.95603725998561]
本稿では,自然言語の概念を用いた堅牢で解釈可能な医用画像分類器を構築するための新しいパラダイムを提案する。
具体的には、まず臨床概念をGPT-4から検索し、次に視覚言語モデルを用いて潜在画像の特徴を明示的な概念に変換する。
論文 参考訳(メタデータ) (2023-10-04T21:57:09Z) - Improving Human-Object Interaction Detection via Virtual Image Learning [68.56682347374422]
人間-物体相互作用(Human-Object Interaction、HOI)は、人間と物体の相互作用を理解することを目的としている。
本稿では,仮想画像学習(Virtual Image Leaning, VIL)による不均衡分布の影響を軽減することを提案する。
ラベルからイメージへの新たなアプローチであるMultiple Steps Image Creation (MUSIC)が提案され、実際の画像と一貫した分布を持つ高品質なデータセットを作成する。
論文 参考訳(メタデータ) (2023-08-04T10:28:48Z) - Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。
共通情報と相補情報の両方を敵意で抽出することを目的としている。
特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
論文 参考訳(メタデータ) (2021-02-15T18:46:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。