論文の概要: CellVTA: Enhancing Vision Foundation Models for Accurate Cell Segmentation and Classification
- arxiv url: http://arxiv.org/abs/2504.00784v1
- Date: Tue, 01 Apr 2025 13:36:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-03 13:23:44.227451
- Title: CellVTA: Enhancing Vision Foundation Models for Accurate Cell Segmentation and Classification
- Title（参考訳）: CellVTA:正確なセルセグメンテーションと分類のためのビジョンファウンデーションモデルを強化する
- Authors: Yang Yang, Xijie Xu, Yixun Zhou, Jie Zheng,
- Abstract要約: 本稿では,セルインスタンス分割のための視覚基盤モデルの性能を向上させる新しい手法であるCell Vision Transformer with Adapterを提案する。
提案手法は,ViTのコアアーキテクチャを保存し,事前学習した基礎モデルとのシームレスな統合を保証する。
実験の結果,CellVTAはCoNICデータセットで0.538 mPQ,PanNukeデータセットで0.506 mPQを達成した。
- 参考スコア（独自算出の注目度）: 4.307361438627596
- License:
- Abstract: Cell instance segmentation is a fundamental task in digital pathology with broad clinical applications. Recently, vision foundation models, which are predominantly based on Vision Transformers (ViTs), have achieved remarkable success in pathology image analysis. However, their improvements in cell instance segmentation remain limited. A key challenge arises from the tokenization process in ViTs, which substantially reduces the spatial resolution of input images, leading to suboptimal segmentation quality, especially for small and densely packed cells. To address this problem, we propose CellVTA (Cell Vision Transformer with Adapter), a novel method that improves the performance of vision foundation models for cell instance segmentation by incorporating a CNN-based adapter module. This adapter extracts high-resolution spatial information from input images and injects it into the ViT through a cross-attention mechanism. Our method preserves the core architecture of ViT, ensuring seamless integration with pretrained foundation models. Extensive experiments show that CellVTA achieves 0.538 mPQ on the CoNIC dataset and 0.506 mPQ on the PanNuke dataset, which significantly outperforms the state-of-the-art cell segmentation methods. Ablation studies confirm the superiority of our approach over other fine-tuning strategies, including decoder-only fine-tuning and full fine-tuning. Our code and models are publicly available at https://github.com/JieZheng-ShanghaiTech/CellVTA.
- Abstract（参考訳）: 細胞インスタンスセグメンテーションは、幅広い臨床応用のデジタル病理学における基本的な課題である。
近年、視覚基盤モデルは、主に視覚変換器(ViT)に基づいており、病理画像解析において顕著な成功を収めている。
しかし、セルインスタンスのセグメンテーションの改善は依然として限られている。
重要な課題は、ViTのトークン化プロセスから生じ、入力画像の空間分解能を著しく低下させ、特に小さくて密度の高い細胞において、最適以下のセグメンテーション品質をもたらす。
この問題を解決するために,CNNベースのアダプタモジュールを組み込むことで,セルインスタンスセグメンテーションのためのビジョン基盤モデルの性能を向上させる新しい手法であるCellVTA(Cell Vision Transformer with Adapter)を提案する。
入力画像から高分解能空間情報を抽出し、クロスアテンション機構を介してViTに注入する。
提案手法は,ViTのコアアーキテクチャを保存し,事前学習した基礎モデルとのシームレスな統合を保証する。
大規模な実験により、CellVTAはCoNICデータセットで0.538 mPQ、PanNukeデータセットで0.506 mPQを達成した。
アブレーション研究は、デコーダのみの微調整やフル微調整を含む、他の微調整戦略に対するアプローチの優位性を確認している。
私たちのコードとモデルはhttps://github.com/JieZheng-ShanghaiTech/CellVTA.comで公開されています。
関連論文リスト
- CellSeg1: Robust Cell Segmentation with One Training Image [37.60000299559688]
任意の形態とモダリティの細胞をセグメント化するためのソリューションであるCellSeg1について,数ダースのセルアノテーションを1イメージで紹介する。
19の多様なセルデータセットでテストされ、CellSeg1は1枚の画像でトレーニングされ、0.5 IoUで平均平均mAP0.81に達し、500枚以上の画像でトレーニングされた既存のモデルと同等に動作した。
論文 参考訳（メタデータ） (2024-12-02T11:55:22Z) - Practical Guidelines for Cell Segmentation Models Under Optical Aberrations in Microscopy [14.042884268397058]
本研究は,光収差下でのセル画像のセグメンテーションモデルについて,蛍光顕微鏡と光電場顕微鏡を用いて評価する。
ネットワークヘッドの異なるOstoしきい値法やMask R-CNNなどのセグメンテーションモデルをトレーニングし,テストする。
対照的に、Cellpose 2.0は同様の条件下で複雑な細胞画像に有効であることが証明されている。
論文 参考訳（メタデータ） (2024-04-12T15:45:26Z) - Group Multi-View Transformer for 3D Shape Analysis with Spatial Encoding [81.1943823985213]
近年,ビューベース3次元形状認識手法の結果は飽和しており,メモリ制限デバイスに優れた性能を持つモデルは展開できない。
本稿では,本分野の知識蒸留に基づく圧縮手法を提案し,モデル性能を極力保ちながらパラメータ数を大幅に削減する。
具体的には、小型モデルの能力を高めるため、GMViT(Group Multi-view Vision Transformer)と呼ばれる高性能な大型モデルを設計する。
GMViTは、ベンチマークデータセットであるModelNet、ShapeNetCore55、MCBにおいて、優れた3D分類と検索結果を得る。
論文 参考訳（メタデータ） (2023-12-27T08:52:41Z) - Multi-stream Cell Segmentation with Low-level Cues for Multi-modality
Images [66.79688768141814]
我々は,顕微鏡画像のラベル付けを行うセル分類パイプラインを開発した。
次に、分類ラベルに基づいて分類モデルを訓練する。
2種類のセグメンテーションモデルを、丸みを帯びた形状と不規則な形状のセグメンテーションセルに展開する。
論文 参考訳（メタデータ） (2023-10-22T08:11:08Z) - Affine-Consistent Transformer for Multi-Class Cell Nuclei Detection [76.11864242047074]
本稿では, 原子核位置を直接生成する新しいアフィン一貫性変換器 (AC-Former) を提案する。
本稿では,AAT (Adaptive Affine Transformer) モジュールを導入し,ローカルネットワークトレーニングのためのオリジナル画像をワープするための重要な空間変換を自動学習する。
実験結果から,提案手法は様々なベンチマークにおいて既存の最先端アルゴリズムを著しく上回ることがわかった。
論文 参考訳（メタデータ） (2023-10-22T02:27:02Z) - CellViT: Vision Transformers for Precise Cell Segmentation and
Classification [3.6000652088960785]
本稿では,視覚変換器(CellViT)を用いた深層学習アーキテクチャを用いて,デジタル化された組織試料中の細胞核のインスタンス分割を自動化する手法を提案する。
我々は、最近発表されたSegment Anything Modelと1億4000万の組織像パッチに事前トレーニングされたViTエンコーダを活用することで、大規模なドメイン内および外部トレーニングされたビジョントランスの優位性を実証する。
論文 参考訳（メタデータ） (2023-06-27T10:03:15Z) - AMIGO: Sparse Multi-Modal Graph Transformer with Shared-Context
Processing for Representation Learning of Giga-pixel Images [53.29794593104923]
本稿では,スライド病理像全体に対する共有コンテキスト処理の新たな概念を提案する。
AMIGOは、組織内のセルラーグラフを使用して、患者に単一の表現を提供する。
我々のモデルは、データの20%以下で同じ性能を達成できる程度に、欠落した情報に対して強い堅牢性を示す。
論文 参考訳（メタデータ） (2023-03-01T23:37:45Z) - Global Context Vision Transformers [78.5346173956383]
我々は,コンピュータビジョンのパラメータと計算利用を向上する新しいアーキテクチャであるGC ViT(Global context vision transformer)を提案する。
本稿では,ViTにおける帰納バイアスの欠如に対処し,アーキテクチャにおける可溶性逆残差ブロックを改良して活用することを提案する。
提案したGC ViTは,画像分類,オブジェクト検出,セマンティックセマンティックセグメンテーションタスクにまたがる最先端の処理結果を実現する。
論文 参考訳（メタデータ） (2022-06-20T18:42:44Z) - EfficientCellSeg: Efficient Volumetric Cell Segmentation Using Context
Aware Pseudocoloring [4.555723508665994]
ボリュームセルセグメンテーションのための小さな畳み込みニューラルネットワーク(CNN)を導入する。
我々のモデルは効率的で非対称なエンコーダ・デコーダ構造を持ち、デコーダにはほとんどパラメータがない。
我々のCNNモデルは,他の上位手法に比べて最大25倍のパラメータ数を持つ。
論文 参考訳（メタデータ） (2022-04-06T18:02:15Z) - Enforcing Morphological Information in Fully Convolutional Networks to
Improve Cell Instance Segmentation in Fluorescence Microscopy Images [1.408123603417833]
本稿では,よく知られたU-Netアーキテクチャに基づく新しいセルインスタンス分割手法を提案する。
深部距離変換器(DDT)がバックボーンモデルとして機能する。
その結果,従来のU-Netアーキテクチャよりも性能が向上することが示唆された。
論文 参考訳（メタデータ） (2021-06-10T15:54:38Z) - Split and Expand: An inference-time improvement for Weakly Supervised
Cell Instance Segmentation [71.50526869670716]
本研究では,分割マップのインスタンスへの変換を改善するために,2段階の後処理手順であるSplitとExpandを提案する。
Splitのステップでは,セルの集合をセグメント化マップから個々のセルインスタンスに分割し,セル中心の予測を導出する。
拡張ステップでは、細胞中心予測を用いて、小さな細胞が欠落していることが分かる。
論文 参考訳（メタデータ） (2020-07-21T14:05:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。