論文の概要: PathMoE: Interpretable Multimodal Interaction Experts for Pediatric Brain Tumor Classification
- arxiv url: http://arxiv.org/abs/2603.01547v1
- Date: Mon, 02 Mar 2026 07:17:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-03 19:50:56.732775
- Title: PathMoE: Interpretable Multimodal Interaction Experts for Pediatric Brain Tumor Classification
- Title（参考訳）: PathMoE:小児脳腫瘍分類のための解釈可能なマルチモーダルインタラクションエキスパート
- Authors: Jian Yu, Joakim Nguyen, Jinrui Fang, Awais Naeem, Zeyuan Cao, Sanjay Krishnan, Nicholas Konz, Tianlong Chen, Chandra Krishnan, Hairong Wang, Edward Castillo, Ying Ding, Ankita Shukla,
- Abstract要約: PathMoEは、H&Eスライド、病理報告、核レベルセルグラフを統合する、解釈可能なマルチモーダルフレームワークである。
内科的脳腫瘍データセットと外部TGAデータセットの2つのデータセット固有の分類タスクについて,本フレームワークの評価を行った。
- 参考スコア（独自算出の注目度）: 30.58342408480846
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Accurate classification of pediatric central nervous system tumors remains challenging due to histological complexity and limited training data. While pathology foundation models have advanced whole-slide image (WSI) analysis, they often fail to leverage the rich, complementary information found in clinical text and tissue microarchitecture. To this end, we propose PathMoE, an interpretable multimodal framework that integrates H\&E slides, pathology reports, and nuclei-level cell graphs via an interaction-aware mixture-of-experts architecture built on state-of-the-art foundation models for each modality. By training specialized experts to capture modality uniqueness, redundancy, and synergy, PathMoE employs an input-dependent gating mechanism that dynamically weights these interactions, providing sample-level interpretability. We evaluate our framework on two dataset-specific classification tasks on an internal pediatric brain tumor dataset (PBT) and external TCGA datasets. PathMoE improves macro-F1 from 0.762 to 0.799 (+0.037) on PBT when integrating WSI, text, and graph modalities; on TCGA, augmenting WSI with graph knowledge improves macro-F1 from 0.668 to 0.709 (+0.041). These results demonstrate significant performance gains over state-of-the-art image-only baselines while revealing the specific modality interactions driving individual predictions. This interpretability is particularly critical for rare tumor subtypes, where transparent model reasoning is essential for clinical trust and diagnostic validation.
- Abstract（参考訳）: 小児中枢神経腫瘍の正確な分類は, 組織学的に複雑であり, 訓練データも限られているため, 依然として困難である。
病理基盤モデルには高度な全スライディング画像(WSI)解析があるが、臨床テキストや組織微細構造に見られる豊かで相補的な情報の活用に失敗することが多い。
そこで我々は,H&Eスライド,病理報告,核レベルセルグラフを統合した解釈可能なマルチモーダルフレームワークPathMoEを提案する。
PathMoEは、特殊専門家にモダリティの独特さ、冗長性、シナジーを捉える訓練によって、これらの相互作用を動的に重み付けし、サンプルレベルの解釈可能性を提供する入力依存のゲーティング機構を採用している。
内科的脳腫瘍データセット(PBT)と外部TGAデータセットの2つのデータセット固有の分類タスクについて,本フレームワークの評価を行った。
PathMoEは、WSI、テキスト、グラフモダリティを統合する際に、PBT上のマクロF1を0.762から0.799(+0.037)に改善し、TCGAでは、グラフ知識でWSIを増強することで、マクロF1を0.668から0.709(+0.041)に改善する。
これらの結果は、個々の予測を駆動する特定のモダリティ相互作用を明らかにしながら、最先端の画像のみのベースラインよりも顕著な性能向上を示した。
この解釈性は、臨床的信頼と診断の検証に透明なモデル推論が不可欠であるまれな腫瘍サブタイプに対して特に重要である。
関連論文リスト
- A multimodal vision foundation model for generalizable knee pathology [40.03838145472935]
筋骨格障害は、医療画像の正確な解釈に対する緊急の要求である。
現在の整形外科における人工知能のアプローチは、タスク固有の教師あり学習パラダイムに依存している。
筋骨格病理学に最適化されたマルチモーダル視覚基盤モデルOrthoFoundationを紹介する。
論文 参考訳（メタデータ） (2026-01-26T08:14:51Z) - A Semantically Enhanced Generative Foundation Model Improves Pathological Image Synthesis [82.01597026329158]
本稿では,組織合成のための相関調整フレームワーク(CRAFTS)について紹介する。
CRAFTSは、生物学的精度を確保するためにセマンティックドリフトを抑制する新しいアライメント機構を組み込んでいる。
本モデルは,30種類の癌にまたがる多彩な病理像を生成する。
論文 参考訳（メタデータ） (2025-12-15T10:22:43Z) - Forging a Dynamic Memory: Retrieval-Guided Continual Learning for Generalist Medical Foundation Models [45.285970665585914]
本稿では,継続的学習のための包括的枠組みを提案する。
モデル微調整のためのリアルタイムガイダンスを提供するマルチモーダル多層RAGシステムを用いる。
動的知識蒸留フレームワークを導入する。
論文 参考訳（メタデータ） (2025-12-15T08:09:40Z) - Morphology-Aware KOA Classification: Integrating Graph Priors with Vision Models [13.437469558862084]
解剖学的構造と放射線学的特徴を組み合わせた新しい枠組みを提案する。
提案手法は,幾何学的インフォームドグラフ埋め込みとラジオグラフィー特徴のアライメントを強制する。
変形性関節症のデータセットの実験では、我々のアプローチが単一モダリティのベースラインを最大10%の精度で越えていることが示されている。
論文 参考訳（メタデータ） (2025-10-20T17:20:19Z) - A Novel Multi-branch ConvNeXt Architecture for Identifying Subtle Pathological Features in CT Scans [1.2461503242570642]
本稿では,医療画像解析の難題に特化して設計されたマルチブランチConvNeXtアーキテクチャを提案する。
提案モデルでは,厳密なデータ前処理から拡張まで,厳格なエンドツーエンドパイプラインを組み込んでいる。
実験結果から、最終的なROC-AUCは0.9937、バリデーション精度は0.9757、F1スコアは0.9825である。
論文 参考訳（メタデータ） (2025-10-10T08:00:46Z) - A Hybrid CNN-VSSM model for Multi-View, Multi-Task Mammography Analysis: Robust Diagnosis with Attention-Based Fusion [5.15423063632115]
乳がんの早期かつ正確な検診は乳がん検出に不可欠である。
既存のAIアプローチは、単一ビューのインプットや単一タスクのアウトプットに注目して、不足している。
本研究では,4つの標準マンモグラフィビュー全てを処理する,新しいマルチビュー・マルチタスクハイブリッドディープラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2025-07-22T18:52:18Z) - Clinical NLP with Attention-Based Deep Learning for Multi-Disease Prediction [44.0876796031468]
本稿では,電子健康記録テキストの非構造的性質と高次元意味論的複雑さがもたらす課題について論じる。
情報抽出と多ラベル病予測のための統合モデリングを実現するために,注意機構に基づく深層学習手法を提案する。
論文 参考訳（メタデータ） (2025-07-02T07:45:22Z) - Multimodal Outer Arithmetic Block Dual Fusion of Whole Slide Images and Omics Data for Precision Oncology [6.418265127069878]
本稿では, 局所(パッチレベル)から大域(スライダーレベル)の相互作用の相補的な情報を取得するために, 早期・後期融合におけるオミック埋め込みの利用を提案する。
この二重融合戦略は、解釈可能性と分類性能を高め、臨床診断の可能性を強調している。
論文 参考訳（メタデータ） (2024-11-26T13:25:53Z) - UNICORN: A Deep Learning Model for Integrating Multi-Stain Data in Histopathology [2.9389205138207277]
UNICORNは動脈硬化の重症度予測のための多段階組織学を処理できるマルチモーダルトランスフォーマーである。
このアーキテクチャは、2段階のエンドツーエンドのトレーニング可能なモデルと、トランスフォーマーの自己保持ブロックを利用する特殊なモジュールから構成される。
UNICORNは0.67の分類精度を達成し、他の最先端モデルを上回った。
論文 参考訳（メタデータ） (2024-09-26T12:13:52Z) - G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for
Biomarker Identification and Disease Classification [49.53651166356737]
診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。
2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
論文 参考訳（メタデータ） (2021-01-27T19:28:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。