論文の概要: Case-Aware Medical Image Classification with Multimodal Knowledge Graphs and Reliability-Guided Refinement
- arxiv url: http://arxiv.org/abs/2605.22547v2
- Date: Wed, 27 May 2026 05:22:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-28 17:38:54.869179
- Title: Case-Aware Medical Image Classification with Multimodal Knowledge Graphs and Reliability-Guided Refinement
- Title(参考訳): マルチモーダル知識グラフを用いた症例認識型医用画像分類と信頼性誘導リファインメント
- Authors: Yiming Xu, Yixuan Liu, Yuhang Zhang, Ling Zheng, Yihan Wang, Qi Song,
- Abstract要約: 医療画像分類のためのマルチモーダル知識グラフを用いたケースアウェア推論フレームワークを提案する。
入力画像が与えられた場合、このメモリから類似したケースを適応的に検索し、対応するケース中心のサブグラフを抽出する。
複数の医用画像データセットの実験は、我々のアプローチが強いベースラインを一貫して上回っていることを示している。
- 参考スコア(独自算出の注目度): 27.443476988184994
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning has brought significant progress to medical image classification, yet most existing methods still rely on isolated visual evidence and cannot effectively leverage similar cases or external knowledge. In clinical practice, diagnosis is typically supported by similar historical cases and their associated symptoms. To explicitly model this evidence-based diagnostic process, we propose a case-aware reasoning framework driven by multimodal knowledge graphs for medical image classification. Specifically, we construct a case-aware multimodal knowledge graph as a structured diagnostic memory, where diseases, images, and symptoms are hierarchically organized. Given an input image, our method adaptively retrieves similar cases from this memory and extracts their corresponding case-centered subgraphs. We further introduce a knowledge propagation and injection mechanism, in which an image-centric Graph Attention Network aggregates heterogeneous semantics into case-based features, followed by a bidirectional cross-modal attention mechanism that injects these features into visual representations for cross-modal alignment. To mitigate noisy retrieval, we design a confidence-calibrated decision refinement scheme that estimates the reliability of each retrieved case by jointly considering prediction confidence and sample similarity, and reweights its contribution to the final prediction, providing interpretable case-level evidence. Extensive experiments on multiple medical imaging datasets demonstrate that our approach consistently outperforms strong baselines, while ablation and qualitative analyses validate its effectiveness and interpretability. The code is available at https://anonymous.4open.science/r/MKG-CARE-8B7B.
- Abstract(参考訳): 深層学習は医用画像分類に大きな進歩をもたらしたが、既存のほとんどの手法は依然として孤立した視覚的証拠に依存しており、類似の事例や外部知識を効果的に活用することはできない。
臨床実践においては、診断は典型的に類似した歴史的症例とその関連する症状によって支持される。
このエビデンスに基づく診断プロセスを明確にモデル化するために,医療画像分類のためのマルチモーダル知識グラフを用いたケースアウェア推論フレームワークを提案する。
具体的には、疾患、画像、症状が階層的に整理される構造化診断記憶として、ケース対応マルチモーダル知識グラフを構築した。
入力画像が与えられた場合、このメモリから類似したケースを適応的に検索し、対応するケース中心のサブグラフを抽出する。
さらに,画像中心のグラフアテンションネットワークが異種セマンティクスをケースベースの特徴に集約し,これら特徴を視覚的表現に注入する双方向のモーダルアテンション機構を導入する,知識伝播・インジェクション機構を導入する。
ノイズ検索を緩和するために、予測信頼度とサンプル類似度を共同で考慮し、検索された各ケースの信頼性を推定し、最終的な予測への貢献を再重み付けし、解釈可能なケースレベルの証拠を提供する信頼度補正方式を設計する。
複数の医用画像データセットに対する大規模な実験により、我々のアプローチは強いベースラインを一貫して上回り、アブレーションと質的分析は、その有効性と解釈可能性を検証する。
コードはhttps://anonymous.4open.science/r/MKG-CARE-8B7Bで公開されている。
関連論文リスト
- RAD: Towards Trustworthy Retrieval-Augmented Multi-modal Clinical Diagnosis [56.373297358647655]
Retrieval-Augmented Diagnosis (RAD)は、下流タスクで直接マルチモーダルモデルに外部知識を注入する新しいフレームワークである。
RADは、複数の医療ソースからの疾患中心の知識の検索と改善、ガイドライン強化コントラスト損失トランスフォーマー、デュアルデコーダの3つの主要なメカニズムで機能する。
論文 参考訳(メタデータ) (2025-09-24T10:36:14Z) - Multimodal Medical Image Classification via Synergistic Learning Pre-training [20.818508328120974]
マルチモーダルな半教師付き医用画像分類のための新しいフレームワークを提案する。
1つのモダリティを他のモダリティの強化サンプルとして扱うことにより、自己教師付き学習事前訓練を実装した。
微調整の段階では、異なるエンコーダを設定し、元のモダリティから特徴を抽出する。
論文 参考訳(メタデータ) (2025-09-22T08:21:19Z) - A Textbook Remedy for Domain Shifts: Knowledge Priors for Medical Image Analysis [48.84443450990355]
ディープネットワークは、医学的なスキャンに適用すると、例外のない状況で失敗することが多いため、自然画像の解析において広く成功している。
胸部X線や皮膚病変画像の文脈において、異なる病院から採取したデータや、性別、人種などの人口統計学的変数によって構築されたデータなど、ドメインシフトに対するモデル感度に焦点をあてる。
医学教育からインスピレーションを得て,自然言語で伝達される明示的な医学知識を基盤としたディープネットワークを提案する。
論文 参考訳(メタデータ) (2024-05-23T17:55:02Z) - Multi-modal Medical Neurological Image Fusion using Wavelet Pooled Edge
Preserving Autoencoder [3.3828292731430545]
本稿では,エッジ保存型高密度オートエンコーダネットワークに基づくマルチモーダル医用画像に対するエンドツーエンド非教師付き核融合モデルを提案する。
提案モデルでは,特徴マップのウェーブレット分解に基づくアテンションプールを用いて特徴抽出を改善する。
提案モデルでは,ソース画像の強度分布の把握を支援する様々な医用画像ペアを訓練する。
論文 参考訳(メタデータ) (2023-10-18T11:59:35Z) - Causality-Driven One-Shot Learning for Prostate Cancer Grading from MRI [1.049712834719005]
本稿では,画像中の弱い因果信号を学習し,活用する医用画像の自動分類手法を提案する。
我々のフレームワークは畳み込みニューラルネットワークのバックボーンと因果抽出モジュールで構成されている。
本研究は,特徴間の因果関係が,関連情報を識別するモデルの能力を高める上で重要な役割を担っていることを示す。
論文 参考訳(メタデータ) (2023-09-19T16:08:33Z) - Multimorbidity Content-Based Medical Image Retrieval Using Proxies [37.47987844057842]
本稿では、分類とコンテンツに基づく画像検索の両方に使用できる新しい多ラベルメトリック学習法を提案する。
本モデルは,疾患の存在を予測し,これらの予測の証拠を提供することによって診断を支援することができる。
分類とコンテンツに基づく画像検索へのアプローチの有効性を2つのマルチモービディティー・ラジオロジー・データセットで実証した。
論文 参考訳(メタデータ) (2022-11-22T11:23:53Z) - Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。
共通情報と相補情報の両方を敵意で抽出することを目的としている。
特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
論文 参考訳(メタデータ) (2021-02-15T18:46:44Z) - Explaining Clinical Decision Support Systems in Medical Imaging using
Cycle-Consistent Activation Maximization [112.2628296775395]
ディープニューラルネットワークを用いた臨床意思決定支援は、着実に関心が高まりつつあるトピックとなっている。
臨床医は、その根底にある意思決定プロセスが不透明で理解しにくいため、この技術の採用をためらうことが多い。
そこで我々は,より小さなデータセットであっても,分類器決定の高品質な可視化を生成するCycleGANアクティベーションに基づく,新たな意思決定手法を提案する。
論文 参考訳(メタデータ) (2020-10-09T14:39:27Z) - Semi-supervised Medical Image Classification with Relation-driven
Self-ensembling Model [71.80319052891817]
医用画像分類のための関係駆動型半教師付きフレームワークを提案する。
これは、摂動下で与えられた入力の予測一貫性を促進することでラベルのないデータを利用する。
本手法は,シングルラベルおよびマルチラベル画像分類のシナリオにおいて,最先端の半教師付き学習手法よりも優れる。
論文 参考訳(メタデータ) (2020-05-15T06:57:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。