論文の概要: Cross-modal ultra-scale learning with tri-modalities of renal biopsy images for glomerular multi-disease auxiliary diagnosis

• arxiv url: http://arxiv.org/abs/2512.15171v1
• Date: Wed, 17 Dec 2025 08:07:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-18 17:06:26.895897
• Title: Cross-modal ultra-scale learning with tri-modalities of renal biopsy images for glomerular multi-disease auxiliary diagnosis
• Title（参考訳）: 腎生検像のトリモダリティを用いた超大規模クロスモーダル学習による糸球体多変量補助診断
• Authors: Kaixing Long, Danyi Weng, Yun Mi, Zhentai Zhang, Yanmeng Lu, Jian Geng, Zhitao Zhou, Liming Zhong, Qianjin Feng, Wei Yang, Lei Cao,
• Abstract要約: 複数の糸球体疾患の補助診断のためのクロスモーダル超大規模学習ネットワーク(CMUS-Net)を提案する。 CMUS-Netは、ナノメートル画像とマイクロメートル画像のスケール差をブリッジするために複数の超構造情報を利用する。 本法は, 腎生検診断の従来のプロセスに従って, 複数の糸球体疾患の自動分類を行った。
• 参考スコア（独自算出の注目度）: 11.365912757366372
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Constructing a multi-modal automatic classification model based on three types of renal biopsy images can assist pathologists in glomerular multi-disease identification. However, the substantial scale difference between transmission electron microscopy (TEM) image features at the nanoscale and optical microscopy (OM) or immunofluorescence microscopy (IM) images at the microscale poses a challenge for existing multi-modal and multi-scale models in achieving effective feature fusion and improving classification accuracy. To address this issue, we propose a cross-modal ultra-scale learning network (CMUS-Net) for the auxiliary diagnosis of multiple glomerular diseases. CMUS-Net utilizes multiple ultrastructural information to bridge the scale difference between nanometer and micrometer images. Specifically, we introduce a sparse multi-instance learning module to aggregate features from TEM images. Furthermore, we design a cross-modal scale attention module to facilitate feature interaction, enhancing pathological semantic information. Finally, multiple loss functions are combined, allowing the model to weigh the importance among different modalities and achieve precise classification of glomerular diseases. Our method follows the conventional process of renal biopsy pathology diagnosis and, for the first time, performs automatic classification of multiple glomerular diseases including IgA nephropathy (IgAN), membranous nephropathy (MN), and lupus nephritis (LN) based on images from three modalities and two scales. On an in-house dataset, CMUS-Net achieves an ACC of 95.37+/-2.41%, an AUC of 99.05+/-0.53%, and an F1-score of 95.32+/-2.41%. Extensive experiments demonstrate that CMUS-Net outperforms other well-known multi-modal or multi-scale methods and show its generalization capability in staging MN. Code is available at https://github.com/SMU-GL-Group/MultiModal_lkx/tree/main.
• Abstract（参考訳）: 3種類の腎生検画像に基づくマルチモーダル自動分類モデルの構築は,糸球体多疾患同定における病理学の助けとなる。 しかし、ナノスケールにおける透過電子顕微鏡(TEM)像とマイクロスケールでの光学顕微鏡(OM)像と免疫蛍光顕微鏡(IM)像との相当なスケール差は、効果的な機能融合を実現し、分類精度を向上させる上で、既存のマルチモーダル・マルチスケールモデルに課題をもたらす。 そこで本研究では,複数の糸球体疾患の診断を補助するクロスモーダル・ウルトラスケール学習ネットワーク(CMUS-Net)を提案する。 CMUS-Netは、ナノメートル画像とマイクロメートル画像のスケール差をブリッジするために複数の超構造情報を利用する。 具体的には、TEM画像から特徴を集約するスパースマルチインスタンス学習モジュールを提案する。 さらに,機能間相互作用を容易にし,病的意味情報を高めるために,クロスモーダルスケールアテンションモジュールを設計する。 最後に、複数の損失関数が組み合わされ、異なるモード間の重要性を重み付け、糸球体疾患の正確な分類が可能になる。 IgA腎症 (IgAN) , 膜性腎症 (MN) , ループス腎炎 (LN) などの多発糸球体疾患を3つのモードと2つのスケールの画像に基づいて自動分類した。 社内データセットでは、CMUS-NetのACCは95.37+/-2.41%、AUCは99.05+/-0.53%、F1スコアは95.32+/-2.41%である。 CMUS-Netは、他のよく知られたマルチモーダル法やマルチスケール法よりも優れており、MNのステージングにおける一般化能力を示している。 コードはhttps://github.com/SMU-GL-Group/MultiModal_lkx/tree/mainで入手できる。

関連論文リスト

• Small Lesions-aware Bidirectional Multimodal Multiscale Fusion Network for Lung Disease Classification [9.266365198478741]
  我々はMMCAF-Net(Multimodal Multiscale Cross-Attention Fusion Network)を提案する。 本モデルは, 3次元医用画像から病変特異的な特徴を抽出するために, 効率的な3次元多次元コンボリューション・アテンション・モジュールと組み合わせた特徴ピラミッド構造を用いる。 その結果, 診断精度は, 最先端の方法よりも有意に向上した。
  論文  参考訳（メタデータ） (2025-08-06T08:37:06Z)
• NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation [55.51412454263856]
  本稿では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。 様々な個人から約67,000 fMRI-imageペアのトレーニングを行うことで,fMRI-to-imageデコーディング能力に優れたモデルが得られた。
  論文  参考訳（メタデータ） (2024-03-27T02:42:52Z)
• MultiFusionNet: Multilayer Multimodal Fusion of Deep Neural Networks for Chest X-Ray Image Classification [16.479941416339265]
  畳み込みニューラルネットワーク(CNN)を用いた自動システムは胸部X線画像分類の精度と効率を向上させることを約束している。 本稿では,異なる層から特徴を抽出し,それらを融合させる深層学習に基づく多層核融合モデルを提案する。 提案モデルでは,3クラス分類と2クラス分類の両方において,97.21%,99.60%の精度を実現している。
  論文  参考訳（メタデータ） (2024-01-01T11:50:01Z)
• Large-scale Long-tailed Disease Diagnosis on Radiology Images [51.453990034460304]
  RadDiagは、様々なモダリティと解剖学にわたる2Dおよび3D入力をサポートする基礎モデルである。 私たちのデータセットであるRP3D-DiagDSは、5,568の障害をカバーする195,010のスキャンで40,936の症例を含む。
  論文  参考訳（メタデータ） (2023-12-26T18:20:48Z)
• Style transfer between Microscopy and Magnetic Resonance Imaging via Generative Adversarial Network in small sample size settings [45.62331048595689]
  磁気共鳴イメージング(MRI)のクロスモーダル増強と、同じ組織サンプルに基づく顕微鏡イメージングが期待できる。 コンディショナル・ジェネレーティブ・ディベサール・ネットワーク(cGAN)アーキテクチャを用いて,ヒト・コーパス・カロサムのMRI画像から顕微鏡組織像を生成する方法を検討した。
  論文  参考訳（メタデータ） (2023-10-16T13:58:53Z)
• Multi-scale Multi-site Renal Microvascular Structures Segmentation for Whole Slide Imaging in Renal Pathology [4.743463035587953]
  Omni-Segは,マルチサイト,マルチスケールのトレーニングデータを活用する新しい動的ネットワーク手法である。 我々は、HuBMAPとNEPTUNEという2つのデータセットの画像を用いて、特異なディープネットワークを訓練する。 提案手法は,腎微小血管構造の定量的解析のための強力な計算ツールを腎病理医に提供する。
  論文  参考訳（メタデータ） (2023-08-10T16:26:03Z)
• M$^{2}$SNet: Multi-scale in Multi-scale Subtraction Network for Medical Image Segmentation [66.89632406480949]
  医用画像から多様なセグメンテーションを仕上げるマルチスケールサブトラクションネットワーク(M$2$SNet)を提案する。 本手法は,4つの異なる医用画像セグメンテーションタスクの11つのデータセットに対して,異なる評価基準の下で,ほとんどの最先端手法に対して好意的に機能する。
  論文  参考訳（メタデータ） (2023-03-20T06:26:49Z)
• Multi-Modal Multi-Instance Learning for Retinal Disease Recognition [10.294738095942812]
  我々は、特定の症例に対する複数の視覚障害を認識できるディープニューラルネットワークの構築を目指している。 データ取得と手動ラベリングは医療分野では非常に高価であるため、ネットワークは比較的軽量でなければならない。
  論文  参考訳（メタデータ） (2021-09-25T08:16:47Z)
• MSA-MIL: A deep residual multiple instance learning model based on multi-scale annotation for classification and visualization of glomerular spikes [9.432314992011099]
  膜性腎症の生検では,糸球体基底膜へのスパイク様投射がMNの顕著な特徴である。 本稿では,マルチスケールアノテーション・マルチインスタンス・ラーニング(MSA-MIL)に基づく可視化された分類モデルを構築し,球状分類とスパイクス・ビジュアライゼーションを実現する。
  論文  参考訳（メタデータ） (2020-07-02T03:49:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。