論文の概要: Linking spatial biology and clinical histology via Haiku
- arxiv url: http://arxiv.org/abs/2605.00925v1
- Date: Thu, 30 Apr 2026 18:53:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-05 20:33:49.485148
- Title: Linking spatial biology and clinical histology via Haiku
- Title(参考訳): 俳句による空間生物学と臨床組織学のリンク
- Authors: Yan Cui, Jacob S. Leiby, Wenhui Lei, Dokyoon Kim, Yanxiang Deng, Aaron T. Mayer, Zhenqin Wu, Alexandro E. Trevino, Zhi Huang,
- Abstract要約: マルチプレクシド免疫蛍光(mIF)を訓練した3モーダルコントラスト学習モデルHaikuについて紹介する。
11種類の臓器にまたがる1,606人の患者から3,218の組織から267万個の空間パッチを採取する。
- 参考スコア(独自算出の注目度): 35.723756132708026
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Integrating molecular, morphological, and clinical data is essential for basic and translational biomedical research, yet systematic frameworks for jointly modeling these modalities remain limited. Here we present Haiku, a tri-modal contrastive learning model trained on multiplexed immunofluorescence (mIF). It comprises 26.7 million spatial proteomics patches from 3,218 tissue sections across 1,606 patients spanning 11 organ types, with matched hematoxylin and eosin (H&E) histology and clinical metadata aligned in a shared embedding space. Haiku enables three-way cross-modal retrieval, improves downstream classification and clinical prediction tasks over unimodal baselines, and supports zero-shot biomarker inference through fusion retrieval conditioned on clinical metadata-only text descriptions. Across tasks, Haiku outperforms competing approaches, achieving cross-modal retrieval (Recall@50 up to 0.611 versus near-zero baseline), survival prediction (C-index 0.737, +7.91% relative improvement), and zero-shot biomarker inference (mean Pearson correlation 0.718 across 52 biomarkers). Furthermore, we introduce a counterfactual prediction framework in which modifying only clinical metadata while fixing tissue morphology surfaces niche-specific molecular shifts associated with breast cancer stage progression and lung cancer survival outcomes. In a lung adenocarcinoma case study, the counterfactual analysis recovers niche-specific shifts characterized by increased CD8 and granzyme B, reduced PD-L1, and decreased Ki67, broadly consistent with patterns reported for favorable outcomes. We present these counterfactual results as exploratory, hypothesis-generating signals rather than mechanistic claims. These capabilities demonstrate that tri-modal alignment via Haiku enables integrative analysis of spatial biology, bridging molecular measurements with clinical context for biological exploration.
- Abstract(参考訳): 分子、形態、臨床データを統合することは、基礎的および翻訳的生体医学研究には不可欠であるが、これらのモダリティを共同でモデル化するための体系的な枠組みは限定的である。
本稿では, 多重蛍光法(mIF)で訓練した3モーダルコントラスト学習モデルであるHaikuを紹介する。
11種類の臓器にまたがる1,606人の患者にまたがる3,218個の組織から2670万個の空間プロテオミクスパッチと、一致したヘマトキシリンとエオシン(H&E)ヒストロジーと共有埋め込み空間に整列した臨床メタデータを含む。
ハイクは3方向のクロスモーダル検索を可能にし、下流分類と単調なベースライン上の臨床予測タスクを改善し、臨床メタデータのみのテキスト記述を条件とした融合検索によるゼロショットバイオマーカー推論をサポートする。
タスク全体にわたって、Haikuは競合するアプローチより優れており、クロスモーダル検索(Recall@50から0.611まで)、生存予測(C-index 0.737, +7.91%の相対的改善)、ゼロショットバイオマーカー推論(52バイオマーカー間のピアソン相関0.718)を達成している。
さらに, 組織形態を固定しながら臨床メタデータのみを修正し, 乳がんステージの進行と肺がん生存にかかわるニッチ特異的分子シフトを表面化させる, 副作用予測フレームワークを提案する。
肺腺癌症例では,CD8およびグランザイムBの増加,PD-L1の減少,Ki67の減少を特徴とするニッチ特異的な変化が回復し,良好な結果が得られた。
本稿では,これらの反事実を,機械的クレームよりも探索的,仮説生成的な信号として提示する。
これらの能力は、俳句による三モーダルアライメントが空間生物学の総合的な分析を可能にし、生物学的探索のための臨床的文脈で分子測定をブリッジすることを示している。
関連論文リスト
- Simulating clinical interventions with a generative multimodal model of human physiology [49.828582089394445]
HealthFormerは、人間の生理的軌道を生成的にモデル化するデコーダのみのトランスフォーマーである。
7つの領域にまたがる667個の測定値に対して,各被験者の健康軌道をトークン化する。
HealthFormerは、30のインシデント障害および死亡エンドポイントのうち27の予測を改善し、各比較で確立された臨床リスクスコアを超えた。
論文 参考訳(メタデータ) (2026-04-30T14:10:30Z) - Multimodal Fusion of Histopathology Images and Electronic Health Records for Early Breast Cancer Diagnosis [15.70912899013153]
本稿では, パッチレベルの病理組織学的特徴を構造化された臨床データと統合する体系的枠組みを提案する。
単相画像モデル(単純なCNNベースラインと転送学習を備えたResNet-18)と中間融合モデル(XGBoostと多層パーセプトロン)を訓練し評価する。
以上の結果から,マルチモーダル統合は,予測性能と臨床透明性の両方において有意義な改善をもたらすことが示された。
論文 参考訳(メタデータ) (2026-04-18T19:46:34Z) - A Generative Foundation Model for Multimodal Histopathology [25.341102846996453]
ヘマトキシリンおよびエオシン(H&E)含有組織学、分子RNAプロファイル、臨床テキストを共有潜在空間に埋め込む遺伝子基盤モデルである MuPD を導入する。
MuPD はタスク固有の微調整を最小あるいは全く行わない多様なクロスモーダルタスクをサポートする。
テキスト・コンディショニングおよび画像・画像生成のために、MUDは組織学的に忠実な組織構造を合成する。
論文 参考訳(メタデータ) (2026-04-04T08:09:11Z) - Investigating the Impact of Histopathological Foundation Models on Regressive Prediction of Homologous Recombination Deficiency [52.50039435394964]
回帰に基づくタスクの基礎モデルを体系的に評価する。
我々は5つの最先端基礎モデルを用いて、スライド画像全体(WSI)からパッチレベルの特徴を抽出する。
乳房、子宮内膜、肺がんコホートにまたがるこれらの抽出された特徴に基づいて、連続したRDDスコアを予測するモデルが訓練されている。
論文 参考訳(メタデータ) (2026-01-29T14:06:50Z) - ModalSurv: A Multimodal Deep Survival Framework for Prostate and Bladder Cancer [5.509924404430891]
提案するModaliSurvは、DeepHitをプロジェクション層とモード間相互アテンションを備えたマルチモーダルディープサバイバルモデルである。
このモデルは、モーダル性にまたがる相補的な予後信号を捕捉し、個別化された時間-生化学的再発を推定するように設計されている。
論文 参考訳(メタデータ) (2025-09-05T11:52:53Z) - Predicting Neoadjuvant Chemotherapy Response in Triple-Negative Breast Cancer Using Pre-Treatment Histopathologic Images [2.23127246021293]
三重複陰性乳癌(TNBC)は、その攻撃的行動と標的療法の欠如により、主要な臨床課題である。
本報告では, 治療前のヘマトキシリンおよびエオシン含有生検スライドから直接, 病理学的完全反応(pCR)を予測するために, 注意に基づく多症例学習フレームワークを提案する。
論文 参考訳(メタデータ) (2025-05-20T02:06:34Z) - TopoTxR: A topology-guided deep convolutional network for breast parenchyma learning on DCE-MRIs [49.69047720285225]
そこで本研究では,乳房側葉構造をよりよく近似するために,マルチスケールのトポロジ構造を明示的に抽出する新しいトポロジカルアプローチを提案する。
VICTREファントム乳房データセットを用いてemphTopoTxRを実験的に検証した。
本研究の質的および定量的分析は,乳房組織における画像診断におけるトポロジカルな挙動を示唆するものである。
論文 参考訳(メタデータ) (2024-11-05T19:35:10Z) - HoneyBee: A Scalable Modular Framework for Creating Multimodal Oncology Datasets with Foundational Embedding Models [11.03503711055749]
HONeYBEEは、腫瘍学の応用のために、マルチモーダルなバイオメディカルデータを統合したオープンソースのフレームワークである。
臨床データ(構造化および非構造化)、全スライダー画像、放射線スキャン、分子プロファイルを処理し、統合された患者レベルの埋め込みを生成する。
これらの埋め込みは生存予測、がん型の分類、患者の類似性検索、コホートクラスタリングを可能にする。
論文 参考訳(メタデータ) (2024-05-13T04:35:14Z) - Pathology-and-genomics Multimodal Transformer for Survival Outcome
Prediction [43.1748594898772]
大腸癌生存予測に病理学とゲノム学的知見を統合したマルチモーダルトランスフォーマー(PathOmics)を提案する。
ギガピクセル全スライド画像における組織ミクロ環境間の内在的相互作用を捉えるための教師なし事前訓練を強調した。
我々は,TCGA大腸癌と直腸癌コホートの両方に対するアプローチを評価し,提案手法は競争力があり,最先端の研究より優れていることを示す。
論文 参考訳(メタデータ) (2023-07-22T00:59:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。