論文の概要: Multimodal Knowledge Distillation for Gastric Adenocarcinoma Classification from Whole-Slide Images
- arxiv url: http://arxiv.org/abs/2610.07913v1
- Date: Tue, 06 Oct 2026 07:56:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.878114
- Title: Multimodal Knowledge Distillation for Gastric Adenocarcinoma Classification from Whole-Slide Images
- Title(参考訳): 全スライディング画像を用いた胃腺癌分類のための多モード知識蒸留法
- Abstract要約: 胃腺癌は世界中でがん関連死亡の原因となっている。
病理報告テキストと全スライド画像を統合するマルチモーダルアプローチは、分類を改善することができる。
低ランクマルチモーダルフュージョン(LMF)を用いた事前訓練されたWSI画像エンコーダと臨床テキストエンコーダを組み合わせたフレームワークを提案する。
PatchGastricベンチマークデータセット上で本手法を評価し,最先端手法よりも少なくとも3.35%高い平均精度を実現する。
- 参考スコア(独自算出の注目度): 0.2291770711277359
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gastric adenocarcinoma (GA) is a leading cause of cancer-related mortality worldwide, and accurate histopathological subtype classification from whole-slide images (WSIs) is essential for effective treatment planning. While multimodal approaches that integrate pathology report text with WSIs can improve classification, existing methods often depend on computationally expensive transformer architectures and large language models. We propose a multimodal knowledge distillation (MKD) framework that combines a pretrained WSI image encoder and a clinical text encoder using Low-Rank Multimodal Fusion (LMF) to efficiently model cross-modal interactions during training. Each WSI is represented as a bag of patches paired with a slide-level diagnostic caption. The teacher model learns fused image-text representations for subtype classification, while the student model distills this knowledge to enable accurate image-only inference. We evaluate our method on the PatchGastric benchmark dataset and achieve at least 3.35% higher mean accuracy than state-of-the-art approaches, without relying on transformer-based fusion, multi-task learning, or large language models. The source code is available at https://github.com/helomelo1/MKD-LMF.
- Abstract(参考訳): 胃腺癌(GA)は世界中のがん関連死亡の原因であり,全スライディング画像(WSI)からの正確な組織学的サブタイプ分類は治療計画に不可欠である。
病理報告テキストとWSIを統合するマルチモーダルアプローチは分類を改善することができるが、既存の手法は計算に高価なトランスフォーマーアーキテクチャや大規模言語モデルに依存していることが多い。
本稿では,事前訓練されたWSI画像エンコーダと低ランクマルチモーダルフュージョン(LMF)を用いた臨床テキストエンコーダを組み合わせたマルチモーダル知識蒸留(MKD)フレームワークを提案する。
各WSIは、スライドレベルの診断キャプションと組み合わせられたパッチの袋として表現される。
教師モデルは、サブタイプ分類のための融合画像テキスト表現を学習し、学生モデルは、この知識を蒸留し、正確な画像のみの推論を可能にする。
提案手法をPatchGastricベンチマークデータセット上で評価し,トランスフォーマーベースの融合,マルチタスク学習,あるいは大規模言語モデルに頼ることなく,最先端手法よりも少なくとも3.35%高い平均精度を達成する。
ソースコードはhttps://github.com/helomelo1/MKD-LMFで公開されている。
関連論文リスト
- Multimodal Visual Surrogate Compression for Alzheimer's Disease Classification [69.87877580725768]
MVSC(Multimodal Visual Surrogate Compression)は、大規模な3D sMRIボリュームをコンパクトな2D機能に圧縮し、適応させることを学ぶ。
MVSCには2つの重要なコンポーネントがある: テキストガイダンスの下でグローバルなクロススライスコンテキストをキャプチャするボリュームコンテキストと、テキストエンハンスでパッチワイズな方法でスライスレベルの情報を集約するAdaptive Slice Fusionモジュール。
論文 参考訳(メタデータ) (2026-01-29T13:05:46Z) - SimCroP: Radiograph Representation Learning with Similarity-driven Cross-granularity Pre-training [25.763109982379703]
胸部CTにおける類似性駆動型クロスグラニュラリティ事前学習フレームワークを提案する。
類似性駆動アライメントとクロスグラニュラリティ融合を組み合わせて、ラジオグラフィーの解釈を改善する。
SimCroPは、大規模なペアCTレポートデータセットで事前トレーニングされ、画像分類とセグメンテーションタスクで検証される。
論文 参考訳(メタデータ) (2025-09-10T06:20:53Z) - Adapting Visual-Language Models for Generalizable Anomaly Detection in Medical Images [68.42215385041114]
本稿では,CLIPモデルを用いた医用異常検出のための軽量な多レベル適応と比較フレームワークを提案する。
提案手法では,複数の残像アダプタを事前学習した視覚エンコーダに統合し,視覚的特徴の段階的向上を実現する。
医学的異常検出ベンチマーク実験により,本手法が現在の最先端モデルを大幅に上回っていることが示された。
論文 参考訳(メタデータ) (2024-03-19T09:28:19Z) - MultiFusionNet: Multilayer Multimodal Fusion of Deep Neural Networks for
Chest X-Ray Image Classification [16.479941416339265]
畳み込みニューラルネットワーク(CNN)を用いた自動システムは胸部X線画像分類の精度と効率を向上させることを約束している。
本稿では,異なる層から特徴を抽出し,それらを融合させる深層学習に基づく多層核融合モデルを提案する。
提案モデルでは,3クラス分類と2クラス分類の両方において,97.21%,99.60%の精度を実現している。
論文 参考訳(メタデータ) (2024-01-01T11:50:01Z) - Affine-Consistent Transformer for Multi-Class Cell Nuclei Detection [76.11864242047074]
本稿では, 原子核位置を直接生成する新しいアフィン一貫性変換器 (AC-Former) を提案する。
本稿では,AAT (Adaptive Affine Transformer) モジュールを導入し,ローカルネットワークトレーニングのためのオリジナル画像をワープするための重要な空間変換を自動学習する。
実験結果から,提案手法は様々なベンチマークにおいて既存の最先端アルゴリズムを著しく上回ることがわかった。
論文 参考訳(メタデータ) (2023-10-22T02:27:02Z) - Gene-induced Multimodal Pre-training for Image-omic Classification [20.465959546613554]
本稿では、ゲノム情報と全スライド画像(WSI)を併用した遺伝子誘導型マルチモーダル事前学習フレームワークを提案する。
TCGAデータセットによる実験結果から,ネットワークアーキテクチャと事前学習フレームワークの優位性が示され,画像-オミクス分類の精度は99.47%に達した。
論文 参考訳(メタデータ) (2023-09-06T04:30:15Z) - Learning to Exploit Temporal Structure for Biomedical Vision-Language
Processing [53.89917396428747]
視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。
トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。
我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
論文 参考訳(メタデータ) (2023-01-11T16:35:33Z) - Hierarchical Transformer for Survival Prediction Using Multimodality
Whole Slide Images and Genomics [63.76637479503006]
下流タスクのためのギガピクセルレベルのスライド病理画像(WSI)の良質な表現を学習することが重要である。
本稿では,病理画像と対応する遺伝子間の階層的マッピングを学習する階層型マルチモーダルトランスフォーマーフレームワークを提案する。
より優れたWSI表現能力を維持しながら、ベンチマーク手法と比較してGPUリソースが少ないアーキテクチャです。
論文 参考訳(メタデータ) (2022-11-29T23:47:56Z) - HiFuse: Hierarchical Multi-Scale Feature Fusion Network for Medical
Image Classification [16.455887856811465]
本稿では,医用画像分類のためのHiFuseと呼ばれる3分岐階層型マルチスケール機能融合ネットワーク構造を提案する。
提案したISICデータセットの精度はベースラインより7.6%高く、Covid-19データセットは21.5%、Kvasirデータセットは10.4%である。
論文 参考訳(メタデータ) (2022-09-21T09:30:20Z) - Application of Transfer Learning and Ensemble Learning in Image-level
Classification for Breast Histopathology [9.037868656840736]
CAD(Computer-Aided Diagnosis)では、従来の分類モデルでは、主に1つのネットワークを使って特徴を抽出する。
本稿では良性病変と悪性病変のバイナリ分類のための画像レベルラベルに基づく深層アンサンブルモデルを提案する。
結果: アンサンブルネットワークモデルにおいて、画像レベルのバイナリ分類は9,8.90%の精度を達成する。
論文 参考訳(メタデータ) (2022-04-18T13:31:53Z) - A Multi-Stage Attentive Transfer Learning Framework for Improving
COVID-19 Diagnosis [49.3704402041314]
新型コロナの診断を改善するための多段階集中移動学習フレームワークを提案する。
提案するフレームワークは、複数のソースタスクと異なるドメインのデータから知識を学習し、正確な診断モデルを訓練する3つの段階からなる。
本稿では,肺CT画像のマルチスケール表現を学習するための自己教師付き学習手法を提案する。
論文 参考訳(メタデータ) (2021-01-14T01:39:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。