論文の概要: Enhancing Multimodal Medical Image Classification using Cross-Graph Modal Contrastive Learning

• arxiv url: http://arxiv.org/abs/2410.17494v2
• Date: Mon, 25 Nov 2024 18:35:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:14:23.909741
• Title: Enhancing Multimodal Medical Image Classification using Cross-Graph Modal Contrastive Learning
• Title（参考訳）: クロスグラフモーダルコントラスト学習を用いたマルチモーダル医用画像分類の強化
• Authors: Jun-En Ding, Chien-Chin Hsu, Feng Liu,
• Abstract要約: 本稿では,マルチモーダルな医用画像分類のためのクロスグラフ・モーダルコントラスト学習フレームワークを提案する。 提案手法は、パーキンソン病(PD)データセットと公共メラノーマデータセットの2つのデータセットで評価される。 以上の結果から,CGMCLは従来手法よりも精度,解釈可能性,早期疾患予測に優れていたことが示唆された。
• 参考スコア（独自算出の注目度）: 5.660131312162423
• License:
• Abstract: The classification of medical images is a pivotal aspect of disease diagnosis, often enhanced by deep learning techniques. However, traditional approaches typically focus on unimodal medical image data, neglecting the integration of diverse non-image patient data. This paper proposes a novel Cross-Graph Modal Contrastive Learning (CGMCL) framework for multimodal medical image classification. The model effectively integrates both image and non-image data by constructing cross-modality graphs and leveraging contrastive learning to align multimodal features in a shared latent space. An inter-modality feature scaling module further optimizes the representation learning process by reducing the gap between heterogeneous modalities. The proposed approach is evaluated on two datasets: a Parkinson's disease (PD) dataset and a public melanoma dataset. Results demonstrate that CGMCL outperforms conventional unimodal methods in accuracy, interpretability, and early disease prediction. Additionally, the method shows superior performance in multi-class melanoma classification. The CGMCL framework provides valuable insights into medical image classification while offering improved disease interpretability and predictive capabilities.
• Abstract（参考訳）: 医学画像の分類は疾患診断の重要な側面であり、しばしば深層学習技術によって強化される。 しかし、伝統的なアプローチは、通常、多様な非イメージの患者データの統合を無視して、一過性の医療画像データに焦点をあてる。 本稿では,マルチモーダル画像分類のためのクロスグラフ・モーダルコントラスト学習(CGMCL)フレームワークを提案する。 このモデルは、画像データと非画像データの両方を、クロスモダリティグラフを構築し、コントラスト学習を活用して、共有潜在空間におけるマルチモーダル特徴を整合させることにより、効果的に統合する。 モダリティ間特徴スケーリングモジュールは、不均一なモダリティ間のギャップを減らし、表現学習プロセスをさらに最適化する。 提案手法は、パーキンソン病(PD)データセットと公共メラノーマデータセットの2つのデータセットで評価される。 以上の結果から,CGMCLは従来手法よりも精度,解釈可能性,早期疾患予測に優れていたことが示唆された。 さらに,マルチクラスメラノーマ分類において優れた性能を示す。 CGMCLフレームワークは、疾患の解釈可能性と予測能力を改善しながら、医療画像分類に関する貴重な洞察を提供する。

関連論文リスト

• Cross- and Intra-image Prototypical Learning for Multi-label Disease Diagnosis and Interpretation [15.303610605543746]
  医用画像からの正確なマルチラベル診断と解釈のためのクロスタイプおよびイントライメージ型学習フレームワークを提案する。 本稿では,一貫性のある画像内情報を効果的に活用し,解釈の堅牢性と予測性能を向上させる2段階アライメントに基づく新たな正規化戦略を提案する。
  論文  参考訳（メタデータ） (2024-11-07T10:46:01Z)
• Multi-task Learning Approach for Intracranial Hemorrhage Prognosis [0.0]
  本稿では,Glasgow Coma Scale と Age の3次元マルチタスク画像モデルを提案する。 提案手法は現状のベースライン画像モデルより優れており,CTスキャンのみを入力として用いた4名の脳神経科医と比較してICH予後に優れていた。
  論文  参考訳（メタデータ） (2024-08-16T14:56:17Z)
• Cross-model Mutual Learning for Exemplar-based Medical Image Segmentation [25.874281336821685]
  Exemplar-based Medical Image(CMEMS)のためのクロスモデル相互学習フレームワーク 外来医用画像のためのクロスモデル相互学習フレームワーク(CMEMS)について紹介する。
  論文  参考訳（メタデータ） (2024-04-18T00:18:07Z)
• Parkinson's Disease Classification Using Contrastive Graph Cross-View Learning with Multimodal Fusion of SPECT Images and Clinical Features [5.660131312162423]
  パーキンソン病(PD)は世界中の何百万もの人に影響を与え、運動に影響を与えている。 以前の研究では、ディープラーニングをPD予測に利用し、主に医療画像に焦点を当て、データの基盤となる多様体構造を無視した。 本研究では,画像特徴と非画像特徴の両方を包含するマルチモーダルアプローチを提案し,PD分類にコントラッシブなクロスビューグラフ融合を利用する。
  論文  参考訳（メタデータ） (2023-11-25T02:32:46Z)
• C^2M-DoT: Cross-modal consistent multi-view medical report generation with domain transfer network [67.97926983664676]
  ドメイン転送ネットワーク(C2M-DoT)を用いたクロスモーダルなマルチビュー医療レポート生成を提案する。 C2M-DoTは、すべてのメトリクスで最先端のベースラインを大幅に上回る。
  論文  参考訳（メタデータ） (2023-10-09T02:31:36Z)
• LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
  LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
  論文  参考訳（メタデータ） (2023-06-20T22:21:34Z)
• GraVIS: Grouping Augmented Views from Independent Sources for Dermatology Analysis [52.04899592688968]
  皮膚科画像から自己教師付き特徴を学習するために特に最適化されたGraVISを提案する。 GraVISは、病変のセグメンテーションと疾患分類のタスクにおいて、転送学習と自己教師型学習を著しく上回っている。
  論文  参考訳（メタデータ） (2023-01-11T11:38:37Z)
• Metadata-enhanced contrastive learning from retinal optical coherence tomography images [7.932410831191909]
  従来のコントラストフレームワークを新しいメタデータ強化戦略で拡張する。 本手法では,画像間のコントラスト関係の真のセットを近似するために,患者メタデータを広く活用する。 提案手法は、6つの画像レベル下流タスクのうち5つにおいて、標準コントラスト法と網膜画像基盤モデルの両方に優れる。
  論文  参考訳（メタデータ） (2022-08-04T08:53:15Z)
• Malignancy Prediction and Lesion Identification from Clinical Dermatological Images [65.1629311281062]
  臨床皮膚画像から機械学習に基づく悪性度予測と病変の同定を検討する。 まず, サブタイプや悪性度に関わらず画像に存在するすべての病変を同定し, その悪性度を推定し, 凝集により, 画像レベルの悪性度も生成する。
  論文  参考訳（メタデータ） (2021-04-02T20:52:05Z)
• Learning Binary Semantic Embedding for Histology Image Classification and Retrieval [56.34863511025423]
  バイナリ・セマンティック・エンベディング(LBSE)の学習方法を提案する。 効率的な埋め込み、分類、検索を行い、組織像の解釈可能なコンピュータ支援診断を提供する。 3つのベンチマークデータセットで実施された実験は、様々なシナリオにおいてLBSEの優位性を検証する。
  論文  参考訳（メタデータ） (2020-10-07T08:36:44Z)
• Semi-supervised Medical Image Classification with Relation-driven Self-ensembling Model [71.80319052891817]
  医用画像分類のための関係駆動型半教師付きフレームワークを提案する。 これは、摂動下で与えられた入力の予測一貫性を促進することでラベルのないデータを利用する。 本手法は,シングルラベルおよびマルチラベル画像分類のシナリオにおいて,最先端の半教師付き学習手法よりも優れる。
  論文  参考訳（メタデータ） (2020-05-15T06:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。