論文の概要: Enhancing Whole Slide Pathology Foundation Models through Stain Normalization

• arxiv url: http://arxiv.org/abs/2408.00380v2
• Date: Mon, 5 Aug 2024 02:45:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 12:36:51.840163
• Title: Enhancing Whole Slide Pathology Foundation Models through Stain Normalization
• Title（参考訳）: ステインノーマライゼーションによる全スライド病基盤モデルの強化
• Authors: Juseung Yun, Yi Hu, Jinhyung Kim, Jongseong Jang, Soonyoung Lee,
• Abstract要約: Stain Normalized Pathology Foundational Model is training using 285,153,903 patch from a total of 34,795 whole slide image (WSIs) 本実験は,Stain Normalized Pathology Foundational Modelが特徴崩壊問題を著しく軽減することを示した。 このことは、染色正規化の適用によりモデルの効率性と一般化能力が大幅に向上したことを示唆している。
• 参考スコア（独自算出の注目度）: 12.179645627327428
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent advancements in digital pathology have led to the development of numerous foundational models that utilize self-supervised learning on patches extracted from gigapixel whole slide images (WSIs). While this approach leverages vast amounts of unlabeled data, we have discovered a significant issue: features extracted from these self-supervised models tend to cluster by individual WSIs, a phenomenon we term WSI-specific feature collapse. This problem can potentially limit the model's generalization ability and performance on various downstream tasks. To address this issue, we introduce Stain Normalized Pathology Foundational Model, a novel foundational model trained on patches that have undergone stain normalization. Stain normalization helps reduce color variability arising from different laboratories and scanners, enabling the model to learn more consistent features. Stain Normalized Pathology Foundational Model is trained using 285,153,903 patches extracted from a total of 34,795 WSIs, combining data from The Cancer Genome Atlas (TCGA) and the Genotype-Tissue Expression (GTEx) project. Our experiments demonstrate that Stain Normalized Pathology Foundational Model significantly mitigates the feature collapse problem, indicating that the model has learned more generalized features rather than overfitting to individual WSI characteristics. We compared Stain Normalized Pathology Foundational Model with state-of-the-art models across six downstream task datasets, and our results show that Stain Normalized Pathology Foundational Model achieves excellent performance relative to the number of WSIs used and the model's parameter count. This suggests that the application of stain normalization has substantially improved the model's efficiency and generalization capabilities.
• Abstract（参考訳）: 近年のデジタル病理学の発展により,ギガピクセル全スライド画像(WSI)から抽出したパッチの自己教師型学習を利用した基礎モデルが多数開発されている。 これらの自己教師型モデルから抽出された特徴は個々のWSIによってクラスタ化される傾向にあり、これはWSI固有の特徴崩壊と呼ばれる現象である。 この問題は、様々な下流タスクにおけるモデルの一般化能力と性能を制限する可能性がある。 この問題に対処するために,染色正規化を施したパッチをトレーニングした新しい基礎モデルであるStain Normalized Pathology Foundational Modelを紹介した。 Stain normalizationは、異なる研究所やスキャナーから生じる色の変化を低減し、モデルがより一貫性のある特徴を学習できるようにする。 Stain Normalized Pathology Foundational Modelは、合計34,795個のWSIから抽出された285,153,903個のパッチを用いて、The Cancer Genome Atlas (TCGA)とGenotype-Tissue Expression (GTEx)プロジェクトからのデータを組み合わせて訓練されている。 本実験により,Stain Normalized Pathology Foundational Modelは特徴崩壊問題を著しく軽減し,個々のWSI特性に過度に適合するのではなく,より一般化した特徴を学習したことを示す。 Stain Normalized Pathology Foundational Modelを、6つの下流タスクデータセットの最先端モデルと比較し、Stain Normalized Pathology Foundational Modelが使用したWSIの数とモデルパラメータ数に対して優れた性能を発揮することを示した。 このことは、染色正規化の適用によりモデルの効率性と一般化能力が大幅に向上したことを示唆している。

関連論文リスト

• LiveXiv -- A Multi-Modal Live Benchmark Based on Arxiv Papers Content [62.816876067499415]
  我々は、科学的ArXiv論文に基づくスケーラブルな進化型ライブベンチマークであるLiveXivを提案する。 LiveXivは、任意のタイムスタンプでドメイン固有の原稿にアクセスし、視覚的な問合せペアを自動的に生成することを提案する。 ベンチマークの最初のバージョンで、複数のオープンでプロプライエタリなLMM(Large Multi-modal Models)をベンチマークし、その挑戦的な性質を示し、モデルの真の能力を明らかにする。
  論文  参考訳（メタデータ） (2024-10-14T17:51:23Z)
• Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
  SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。 本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。 適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T22:35:03Z)
• Enabling Small Models for Zero-Shot Classification through Model Label Learning [50.68074833512999]
  モデルと機能の間のギャップを埋める新しいパラダイムであるモデルラベル学習(MLL)を導入する。 7つの実世界のデータセットの実験により、MLLの有効性と効率が検証された。
  論文  参考訳（メタデータ） (2024-08-21T09:08:26Z)
• cDP-MIL: Robust Multiple Instance Learning via Cascaded Dirichlet Process [23.266122629592807]
  マルチプル・インスタンス・ラーニング (MIL) は全スライス・ヒストパラメトリック・イメージ (WSI) 解析に広く応用されている。 MILの既存の集約戦略は、主にインスタンス間の一階距離に依存するが、各インスタンスの真の特徴分布を正確に近似することができない。 本稿では、複数のインスタンス学習のための新しいベイズ非パラメトリックフレームワークを提案し、WSIのインスタンス・ツー・バッグ特性を組み込むためにディリクレ・プロセスのカスケード(cDP)を採用する。
  論文  参考訳（メタデータ） (2024-07-16T07:28:39Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Low-resource finetuning of foundation models beats state-of-the-art in histopathology [3.4577420145036375]
  病理組織学データの特徴抽出器として最も人気のある視覚基盤モデルをベンチマークする。 データセットに応じて、単一のGPU上のファンデーションモデルをわずか2時間から3日で微調整することで、最先端の機能抽出器にマッチまたは性能を向上することができる。 これは、大量のリソースとデータセットを持つ機関だけが特徴抽出器を訓練できる、現在の状態からかなり変化している。
  論文  参考訳（メタデータ） (2024-01-09T18:46:59Z)
• The Importance of Downstream Networks in Digital Pathology Foundation Models [1.689369173057502]
  162のアグリゲーションモデル構成を持つ3つの異なるデータセットにまたがる7つの特徴抽出モデルを評価する。 多くの特徴抽出器モデルの性能は顕著に類似していることが判明した。
  論文  参考訳（メタデータ） (2023-11-29T16:54:25Z)
• BROW: Better featuRes fOr Whole slide image based on self-distillation [19.295596638166536]
  各種疾患の標準診断において,WSI処理が重要な要素となっている。 ほとんどのWSI関連タスクのパフォーマンスは、WSIパッチの特徴表現を抽出するバックボーンの有効性に依存します。 我々は、WSIのより良い特徴表現を抽出するための基礎モデルBROWを提案し、微調整を伴わずに下流タスクに便利に適用できることを示した。
  論文  参考訳（メタデータ） (2023-09-15T09:11:09Z)
• Studying How to Efficiently and Effectively Guide Models with Explanations [52.498055901649025]
  「モデルガイダンス」とは「正しい理由のために正しい」ことを保証するためにモデルの説明を規則化する考え方である。 PASCAL VOC 2007 および MS COCO 2014 データセット上で, 各種損失関数, 帰属方法, モデル, 誘導深度について詳細な評価を行う。 具体的には、一般的に使用されるセグメンテーションマスクよりもはるかに安価で入手可能なバウンディングボックスアノテーションを用いてモデルをガイドする。
  論文  参考訳（メタデータ） (2023-03-21T15:34:50Z)
• Task-specific Fine-tuning via Variational Information Bottleneck for Weakly-supervised Pathology Whole Slide Image Classification [10.243293283318415]
  MIL(Multiple Instance Learning)は、デジタル・パスロジー・ホール・スライド・イメージ(WSI)分類において有望な結果を示している。 本稿では,Information Bottleneck 理論を動機とした効率的な WSI 微調整フレームワークを提案する。 我々のフレームワークは、様々なWSIヘッド上の5つの病理WSIデータセットで評価される。
  論文  参考訳（メタデータ） (2023-03-15T08:41:57Z)
• Exposing Shallow Heuristics of Relation Extraction Models with Challenge Data [49.378860065474875]
  我々は、TACREDで訓練されたSOTA関係抽出(RE)モデルの故障モードを同定する。 トレーニングの例として、いくつかの課題データを追加することで、モデルのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-10-07T21:17:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。