論文の概要: A Generative Foundation Model for Multimodal Histopathology

• arxiv url: http://arxiv.org/abs/2604.03635v1
• Date: Sat, 04 Apr 2026 08:09:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:18.688801
• Title: A Generative Foundation Model for Multimodal Histopathology
• Title（参考訳）: マルチモーダル組織学のための生成基盤モデル
• Abstract要約: ヘマトキシリンおよびエオシン(H&E)含有組織学、分子RNAプロファイル、臨床テキストを共有潜在空間に埋め込む遺伝子基盤モデルである MuPD を導入する。 MuPD はタスク固有の微調整を最小あるいは全く行わない多様なクロスモーダルタスクをサポートする。 テキスト・コンディショニングおよび画像・画像生成のために、MUDは組織学的に忠実な組織構造を合成する。
• 参考スコア（独自算出の注目度）: 25.341102846996453
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurate diagnosis and treatment of complex diseases require integrating histological, molecular, and clinical data, yet in practice these modalities are often incomplete owing to tissue scarcity, assay cost, and workflow constraints. Existing computational approaches attempt to impute missing modalities from available data but rely on task-specific models trained on narrow, single source-target pairs, limiting their generalizability. Here we introduce MuPD (Multimodal Pathology Diffusion), a generative foundation model that embeds hematoxylin and eosin (H&E)-stained histology, molecular RNA profiles, and clinical text into a shared latent space through a diffusion transformer with decoupled cross-modal attention. Pretrained on 100 million histology image patches, 1.6 million text-histology pairs, and 10.8 million RNA-histology pairs spanning 34 human organs, MuPD supports diverse cross-modal synthesis tasks with minimal or no task-specific fine-tuning. For text-conditioned and image-to-image generation, MuPD synthesizes histologically faithful tissue architectures, reducing Fréchet inception distance (FID) scores by 50% relative to domain-specific models and improving few-shot classification accuracy by up to 47% through synthetic data augmentation. For RNA-conditioned histology generation, MuPD reduces FID by 23% compared with the next-best method while preserving cell-type distributions across five cancer types. As a virtual stainer, MuPD translates H&E images to immunohistochemistry and multiplex immunofluorescence, improving average marker correlation by 37% over existing approaches. These results demonstrate that a single, unified generative model pretrained across heterogeneous pathology modalities can substantially outperform specialized alternatives, providing a scalable computational framework for multimodal histopathology.
• Abstract（参考訳）: 複雑な疾患の正確な診断と治療には、組織学的、分子的、臨床的なデータの統合が必要であるが、実際には組織不足、測定コスト、ワークフローの制約により、これらのモダリティは不完全であることが多い。 既存の計算手法は、利用可能なデータから欠落したモダリティを差し引こうとするが、狭い単一のソースターゲットペアで訓練されたタスク固有のモデルに依存し、それらの一般化性を制限する。 そこで本研究では,ヘマトキシリンとエオシン(H&E)含有組織学,分子RNAプロファイル,臨床テキストを分離した拡散トランスフォーマーを用いて共有潜伏空間に埋め込んだ生成基盤モデルである MuPD (Multimodal Pathology Diffusion) を紹介する。 1億のヒストロジー画像パッチ、1.6万のテキスト・ヒストロジーペア、1080万のRNA・ヒストロジーペアが34のヒト臓器にまたがって準備されている。 テキストコンディショニングおよびイメージ・ツー・イメージ生成では、MPDは組織学的に忠実な組織構造を合成し、Fréchet開始距離(FID)のスコアをドメイン固有モデルと比較すると50%削減し、合成データ拡張により、わずかな分類精度を最大47%向上させる。 RNA条件ヒストロジー生成では、MUDは5種類の癌にまたがる細胞型分布を保ちながら、次のベスト法に比べてFIDを23%減少させる。 仮想染色剤として、MPDはH&E画像を免疫組織化学や多重蛍光に変換し、既存のアプローチよりも平均マーカー相関を37%向上させる。 これらの結果から, 異質な病理組織を網羅した単一の統一的生成モデルが, 多様組織学のスケーラブルな計算フレームワークを提供することにより, 特定の選択肢を大幅に上回る可能性が示唆された。

関連論文リスト

• Data-Efficient Multimodal Alignment for Histopathology-based Molecular Prediction [3.229566379058554]
  凍結した病理組織とRNA-Seqファンデーションモデル上に軽量アライメントモジュールをトレーニングすることで、オープンボキャブラリ分子プロンプトが実現できることを示す。 ベースライン法よりも25倍の検索改善を実現した。 我々はPOSEIDON臨床試験における臨床的有用性を検証する。
  論文  参考訳（メタデータ） (2026-06-29T08:24:53Z)
• Predicting Immune Biomarkers with MultiModal Mixture-of-Expert Pathology Foundation Models Empowers Precision Oncology [47.79180201495836]
  MixTIMEは、異なるモダリティで訓練された病理基盤モデルを統合したマルチモーダル基礎モデルである。 ヘマトキシリンおよびエオシン全スライディング画像から多重免疫蛍光(mIF)タンパク質の発現を予測する。 MixTIMEは17個のタンパク質マーカーにまたがる最先端のパフォーマンスを相関指標で測定する。
  論文  参考訳（メタデータ） (2026-06-16T16:22:42Z)
• PRIME: Prototype-Driven Multimodal Pretraining for Cancer Prognosis with Missing Modalities [86.63247982275396]
  PRIMEは、欠落を認識したマルチモーダルな自己教師型事前トレーニングフレームワークである。 部分的に観察されたコホートから頑健で伝達可能な表現を学ぶ。 The Cancer Genome AtlasのPRIMEを32種類の癌に対してラベルフリープレトレーニングで評価した。
  論文  参考訳（メタデータ） (2026-04-05T21:14:27Z)
• R-GenIMA: Integrating Neuroimaging and Genetics with Interpretable Multimodal AI for Alzheimer's Disease Progression [63.97617759805451]
  アルツハイマー病の早期発見には、マクロスケールの神経解剖学的変化とマイクロスケールの遺伝的感受性を統合できるモデルが必要である。 本稿では,新しいROIワイド・ビジョン・トランスフォーマと遺伝的プロンプトを結合した多モード多言語モデルR-GenIMAを紹介する。 R-GenIMAは、通常の認知、主観記憶、軽度認知障害、ADの4方向分類において最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-12-22T02:54:10Z)
• A Semantically Enhanced Generative Foundation Model Improves Pathological Image Synthesis [82.01597026329158]
  本稿では,組織合成のための相関調整フレームワーク(CRAFTS)について紹介する。 CRAFTSは、生物学的精度を確保するためにセマンティックドリフトを抑制する新しいアライメント機構を組み込んでいる。 本モデルは,30種類の癌にまたがる多彩な病理像を生成する。
  論文  参考訳（メタデータ） (2025-12-15T10:22:43Z)
• FoundBioNet: A Foundation-Based Model for IDH Genotyping of Glioma from Multi-Parametric MRI [1.4249472316161877]
  我々は,多パラメータMRIから非侵襲的にIDH変異を予測できるFoundBioNet(FoundBioNet)を提案する。 1705人のグリオーマ患者を6つの公開データセットから多施設で訓練し, 評価した。 我々のモデルは、EGD、TCGA、Ivy GAP、RHUH、UPennの独立したテストセットに対して90.58%、88.08%、65.41%、および80.31%のAUCを達成した。
  論文  参考訳（メタデータ） (2025-08-09T00:08:10Z)
• impuTMAE: Multi-modal Transformer with Masked Pre-training for Missing Modalities Imputation in Cancer Survival Prediction [75.43342771863837]
  我々は,効率的なマルチモーダル事前学習戦略を備えた新しいトランスフォーマーに基づくエンドツーエンドアプローチである impuTMAE を紹介する。 マスクされたパッチを再構築することで、モダリティの欠如を同時に示唆しながら、モダリティ間の相互作用とモダリティ内相互作用を学習する。 本モデルは,TGA-GBM/LGGとBraTSデータセットを用いたグリオーマ生存予測のために,異種不完全データに基づいて事前訓練を行った。
  論文  参考訳（メタデータ） (2025-08-08T10:01:16Z)
• Masked Omics Modeling for Multimodal Representation Learning across Histopathology and Molecular Profiles [0.0]
  自己教師付き学習は、計算病理学に大きな進歩をもたらした。 しかし、病理組織学だけでは分子的特徴や臨床結果の理解に乏しいことが多い。 我々はMORPHEUSを紹介した。MORPHEUSは、組織学とマルチオミクスの両方のデータを共有潜在空間にエンコードする統合トランスフォーマーベースの事前学習フレームワークである。
  論文  参考訳（メタデータ） (2025-08-01T15:29:26Z)
• PAST: A multimodal single-cell foundation model for histopathology and spatial transcriptomics in cancer [26.795192024462963]
  PASTは、2000万対の病理像と単細胞トランスクリプトームに基づいて訓練されたパン・カンサー単細胞基盤モデルである。 単細胞遺伝子の発現、仮想分子染色、および定期的な病理スライドから直接多モーダル生存解析を予測する。 我々の研究は、病理基盤モデルのための新しいパラダイムを確立し、高分解能空間オミクス、機械学的発見、精密がん研究のための多用途ツールを提供する。
  論文  参考訳（メタデータ） (2025-07-08T21:51:25Z)
• Interpretable Graph Kolmogorov-Arnold Networks for Multi-Cancer Classification and Biomarker Identification using Multi-Omics Data [36.92842246372894]
  Multi-Omics Graph Kolmogorov-Arnold Network (MOGKAN)は、メッセンジャーRNA、マイクロRNA配列、DNAメチル化サンプルを利用するディープラーニングフレームワークである。 グラフに基づく深層学習とマルチオミクスデータを統合することにより,提案手法は頑健な予測性能と解釈可能性を示す。
  論文  参考訳（メタデータ） (2025-03-29T02:14:05Z)
• UNICORN: A Deep Learning Model for Integrating Multi-Stain Data in Histopathology [2.9389205138207277]
  UNICORNは動脈硬化の重症度予測のための多段階組織学を処理できるマルチモーダルトランスフォーマーである。 このアーキテクチャは、2段階のエンドツーエンドのトレーニング可能なモデルと、トランスフォーマーの自己保持ブロックを利用する特殊なモジュールから構成される。 UNICORNは0.67の分類精度を達成し、他の最先端モデルを上回った。
  論文  参考訳（メタデータ） (2024-09-26T12:13:52Z)
• Multi-Modal and Multi-Attribute Generation of Single Cells with CFGen [76.02070962797794]
  本研究では、単一セルデータ固有の離散性を保存するフローベースの条件生成モデルであるCellFlow for Generation (CFGen)を紹介する。 CFGenは、全ゲノムマルチモーダル単一セルデータを確実に生成し、重要な生物学的データ特性の回復を改善する。
  論文  参考訳（メタデータ） (2024-07-16T14:05:03Z)
• Co-Heterogeneous and Adaptive Segmentation from Multi-Source and Multi-Phase CT Imaging Data: A Study on Pathological Liver and Lesion Segmentation [48.504790189796836]
  我々は,新しいセグメンテーション戦略,コヘテロジネティック・アダプティブセグメンテーション(CHASe)を提案する。 本稿では,外見に基づく半スーパービジョン,マスクに基づく対向ドメイン適応,擬似ラベルを融合した多目的フレームワークを提案する。 CHASeは4.2% sim 9.4%$の範囲で、病理的な肝臓マスクDice-Sorensen係数をさらに改善することができる。
  論文  参考訳（メタデータ） (2020-05-27T06:58:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。