論文の概要: SegTME-UNI2: A Foundation Model-Based Framework for Generalisable Multiclass Cell Segmentation and LLM-Driven Tumour Microenvironment Characterisation in Histopathology
- arxiv url: http://arxiv.org/abs/2606.17702v2
- Date: Sun, 21 Jun 2026 10:11:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-24 16:10:14.586415
- Title: SegTME-UNI2: A Foundation Model-Based Framework for Generalisable Multiclass Cell Segmentation and LLM-Driven Tumour Microenvironment Characterisation in Histopathology
- Title(参考訳): SegTME-UNI2: 病理組織学における汎用型多クラス細胞セグメンテーションとLLM駆動Tumour Microenvironmentキャラクタリゼーションのための基盤モデルベースフレームワーク
- Authors: Wan Siti Halimatul Munirah Wan Ahmad, Faris Syahmi Samidi, Mohammad Badal Ahmmed, Vimal Angela Thiviyanathan, Selvam Thavaraj, Anwar P. P. Abdul Majeed,
- Abstract要約: これらの要求に対処する統合フレームワークであるSegTME-UNI2を提案する。
コアとなるUNI2-UperHoVeRは、UPerNetデコーダと病理基盤モデルを組み合わせた二重ヘッドセグメンテーションモデルである。
PanNuke と TCGA-UT の予備検証では,フレームワークの実現性と内部一貫性が実証されている。
- 参考スコア(独自算出の注目度): 0.19241821314180374
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Characterising the tumour microenvironment (TME) from routine H&E-stained histology images requires simultaneous cell segmentation, feature extraction, and interpretable clinical reporting. We present SegTME-UNI2, a unified framework addressing these requirements. Its core is UNI2-UperHoVeR, a dual-head segmentation model pairing the UNI2-h pathology foundation model (ViT-Giant, pretrained on >100M tiles from 100K slides) with two parallel UperNet decoders: one for six-class semantic segmentation and one for horizontal-vertical gradient regression enabling watershed-based nuclear instance separation. To address the lack of pixel-level annotations in large real-world repositories, UNI2-UperHoVeR undergoes a three-stage progressive pseudo-label curriculum. Each stage trains a fresh model without weight transfer, driving improvement entirely via increased pseudo-label quality: Stage 1: Uses human-annotated PanNuke (7,901 images, 189,744 nuclei, 0.25 um/pixel). Stage 2: Uses entropy-filtered pseudo-labels from the Stage 1 model on 271,711 TCGA-UT scale-0 patches (0.5 um/pixel). Stage 3: Uses pseudo-labels from the Stage 2 model on all 1,608,060 TCGA-UT patches across six resolution scales (0.5-1.0 um/pixel). Segmentation outputs feed a structured TME feature extraction pipeline computing 20+ per-patch compositional, morphological, spatial entropy, and intercellular distance metrics. These are encoded as JSON and passed to a fine-tuned NVIDIA BioNeMo GPT model to generate clinically interpretable TME narratives. Preliminary validation on held-out PanNuke and TCGA-UT partitions demonstrates framework feasibility and internal consistency. The pseudo-labelled TCGA-UT dataset and UNI2-UperHoVeR checkpoint are publicly released to support large-scale TME profiling and spatial biology research.
- Abstract(参考訳): 正常なH&E染色組織像から腫瘍微小環境(TME)を特徴付けるには,同時細胞分画,特徴抽出,解釈可能な臨床報告が必要である。
これらの要求に対処する統合フレームワークであるSegTME-UNI2を提案する。
UNI2-UperHoVeRは、UNI2-h病理基盤モデル(ViT-Giant、100Kスライドから100Mのタイルで事前訓練)と2つの並列UperNetデコーダを組み合わせた二重ヘッドセグメンテーションモデルである。
UNI2-UperHoVeRでは3段階のプログレッシブな擬似ラベルのカリキュラムが実施されている。
ステージ1: 注釈付きPanNuke (7,901画像、189,744核、0.25馬力/ピクセル)を使用する。
ステージ2: 271,711 TCGA-UT scale-0 patch (0.5 um/pixel) で、ステージ1モデルからエントロピーフィルタの擬似ラベルを使用する。
ステージ3: 6つの解像度スケール(0.5-1.0 um/pixel)にわたる1,608,060 TCGA-UTパッチのステージ2モデルからの擬似ラベルを使用する。
セグメンテーション出力は、構成されたTME特徴抽出パイプライン計算を20以上のパッチ構成、形態的、空間エントロピー、細胞間距離メトリクスに供給する。
これらはJSONとして符号化され、微調整されたNVIDIA BioNeMo GPTモデルに渡され、臨床的に解釈可能なTME物語を生成する。
保留中のPanNukeとTGA-UTパーティションに関する予備的な検証は、フレームワークの実現性と内部の一貫性を示している。
TCGA-UTデータセットとNI2-UperHoVeRチェックポイントは、大規模なTMEプロファイリングと空間生物学の研究をサポートするために公開されている。
関連論文リスト
- Scaling Parallel Sequence Models to Foundation-Scale Vision Encoders [123.58723804218151]
ビジョンファウンデーションモデルは、自己注意の二次的なコストによってボトルネックとなる。
2次元空間伝搬伝搬に基づくC-GSPNを提案する。
論文 参考訳(メタデータ) (2026-05-30T14:29:43Z) - A Modelling and Evaluation Framework for EuroCrops-Driven Sentinel-2 Crop Segmentation [78.66324246922831]
本研究では,Sentinel-2イメージとEuroCropsパーセルレベルのアノテーションからセマンティックセグメンテーション対応農業データセットを生成するパイプラインを提案する。
このデータセットには、ヨーロッパ5カ国から67,337のパッチが含まれており、10種類の作物と背景の分類を減らしている。
The four-level U-Net with Group Normalization were training using 10 Sentinel-2 spectrum bands and a Composite loss with class-weighted cross-entropy and Dice loss。
論文 参考訳(メタデータ) (2026-05-30T11:20:29Z) - SemiSAM-O1: How far can we push the boundary of annotation-efficient medical image segmentation? [25.101921825239533]
SemiSAM-O1はアノテーション効率のよいフレームワークであり、セグメンテーションのために1つの注釈付きテンプレートイメージのみを使用する。
幅広いセグメンテーションタスクの実験により、SemiSAM-O1は1ラベルの半教師付き学習と全監督の間のパフォーマンスギャップを著しく狭めることが示された。
論文 参考訳(メタデータ) (2026-04-27T07:04:48Z) - LINA: Linear Autoregressive Image Generative Models with Continuous Tokens [56.80443965097921]
連続トークンを持つ自己回帰モデルは、特にテキスト・トゥ・イメージ(T2I)合成において、視覚生成に有望なパラダイムを形成する。
このフレームワーク内での計算効率のよい線形アテンションの設計法について検討する。
LINAは、線形注意に基づくシンプルで計算効率の良いT2Iモデルであり、ユーザ命令から高忠実度1024x1024画像を生成することができる。
論文 参考訳(メタデータ) (2026-01-30T06:44:33Z) - PanFoMa: A Lightweight Foundation Model and Benchmark for Pan-Cancer [54.958921946378304]
トランスフォーマーと状態空間モデルの強みを組み合わせた軽量ハイブリッドニューラルネットワークであるPanFoMaを紹介する。
PanFoMaはフロントエンドのローカルコンテキストエンコーダと共有自己認識層から構成され、複雑で秩序に依存しない遺伝子相互作用をキャプチャする。
また,350万以上の高品質な細胞を含む大規模パンキャンサー単細胞ベンチマークPanFoMaBenchを構築した。
論文 参考訳(メタデータ) (2025-12-02T08:31:31Z) - GSPN-2: Efficient Parallel Sequence Modeling [101.33780567131716]
一般化空間伝搬ネットワーク(GSPN)は2次自己アテンションを直線走査型伝搬方式に置き換えることでこの問題に対処する。
GSPN-2は、視覚アプリケーションにおけるグローバル空間コンテキストをモデル化するための新しい効率フロンティアを確立する。
論文 参考訳(メタデータ) (2025-11-28T07:26:45Z) - When CNNs Outperform Transformers and Mambas: Revisiting Deep Architectures for Dental Caries Segmentation [9.108764893521526]
コンボリューションニューラルネットワーク,ビジョントランスフォーマー,および状態空間のマンバアーキテクチャを,DC1000データセットによるパノラマX線写真による自動歯列セグメンテーションのために,初めて包括的なベンチマークを行った。
その結果、CNNベースのDoubleU-Netは、複雑な注意に基づくアーキテクチャの傾向とは対照的に、最も高いダイス係数は0.7345、mIoUは0.5978、精度は0.8145となり、全ての変圧器やマンバの変圧器よりも優れていることがわかった。
論文 参考訳(メタデータ) (2025-11-18T19:16:21Z) - Scalable Generation of Spatial Transcriptomics from Histology Images via Whole-Slide Flow Matching [21.343517232305533]
スライド全体の遺伝子発現の結合分布をモデル化し,細胞間相互作用を考慮したフローマッチング生成モデルSTFlowを提案する。
最近行われたHEST-1kとSTImage-1K4Mベンチマークでは、STFlowは最先端のベースラインを大幅に上回り、病理基盤モデルよりも18%以上改善されている。
論文 参考訳(メタデータ) (2025-05-25T01:29:19Z) - Topo-VM-UNetV2: Encoding Topology into Vision Mamba UNet for Polyp Segmentation [4.856498016044607]
Topo-VMUNetV2を提案する。これはMambaベースのポリプセグメンテーションモデルVMUNetV2にトポロジ的特徴をエンコードする。
提案手法は2つの段階から構成される: VMUNetV2はトレーニングおよびテスト画像の確率マップ(PM)を生成するために使用され、トポロジ注意マップの計算に使用される。
論文 参考訳(メタデータ) (2025-05-09T17:41:13Z) - Dual-scale Enhanced and Cross-generative Consistency Learning for Semi-supervised Medical Image Segmentation [49.57907601086494]
医用画像のセグメンテーションはコンピュータ支援診断において重要な役割を担っている。
半教師型医用画像(DEC-Seg)のための新しいDual-scale Enhanced and Cross-generative consistency learning frameworkを提案する。
論文 参考訳(メタデータ) (2023-12-26T12:56:31Z) - CellViT: Vision Transformers for Precise Cell Segmentation and
Classification [3.6000652088960785]
本稿では,視覚変換器(CellViT)を用いた深層学習アーキテクチャを用いて,デジタル化された組織試料中の細胞核のインスタンス分割を自動化する手法を提案する。
我々は、最近発表されたSegment Anything Modelと1億4000万の組織像パッチに事前トレーニングされたViTエンコーダを活用することで、大規模なドメイン内および外部トレーニングされたビジョントランスの優位性を実証する。
論文 参考訳(メタデータ) (2023-06-27T10:03:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。