論文の概要: BROW: Better featuRes fOr Whole slide image based on self-distillation
- arxiv url: http://arxiv.org/abs/2309.08259v1
- Date: Fri, 15 Sep 2023 09:11:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-18 15:12:56.585818
- Title: BROW: Better featuRes fOr Whole slide image based on self-distillation
- Title(参考訳): BROW: 自己蒸留による全スライド画像の精度向上
- Authors: Yuanfeng Wu, Shaojie Li, Zhiqiang Du, Wentao Zhu
- Abstract要約: 各種疾患の標準診断において,WSI処理が重要な要素となっている。
ほとんどのWSI関連タスクのパフォーマンスは、WSIパッチの特徴表現を抽出するバックボーンの有効性に依存します。
我々は、WSIのより良い特徴表現を抽出するための基礎モデルBROWを提案し、微調整を伴わずに下流タスクに便利に適用できることを示した。
- 参考スコア(独自算出の注目度): 19.295596638166536
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Whole slide image (WSI) processing is becoming part of the key components of
standard clinical diagnosis for various diseases. However, the direct
application of conventional image processing algorithms to WSI faces certain
obstacles because of WSIs' distinct property: the super-high resolution. The
performance of most WSI-related tasks relies on the efficacy of the backbone
which extracts WSI patch feature representations. Hence, we proposed BROW, a
foundation model for extracting better feature representations for WSIs, which
can be conveniently adapted to downstream tasks without or with slight
fine-tuning. The model takes transformer architecture, pretrained using
self-distillation framework. To improve model's robustness, techniques such as
patch shuffling have been employed. Additionally, the model leverages the
unique properties of WSIs, utilizing WSI's multi-scale pyramid to incorporate
an additional global view, thereby further enhancing its performance. We used
both private and public data to make up a large pretraining dataset, containing
more than 11000 slides, over 180M extracted patches, encompassing WSIs related
to various organs and tissues. To assess the effectiveness of \ourmodel, we run
a wide range of downstream tasks, including slide-level subtyping, patch-level
classification and nuclei instance segmentation. The results confirmed the
efficacy, robustness and good generalization ability of the proposed model.
This substantiates its potential as foundation model for WSI feature extraction
and highlights promising prospects for its application in WSI processing.
- Abstract(参考訳): whole slide image (wsi)処理は、様々な疾患の標準的な臨床診断において重要な要素となっている。
しかし、従来の画像処理アルゴリズムのWSIへの直接適用は、WSIの異なる特性である超高分解能のため、ある種の障害に直面している。
ほとんどのWSI関連タスクのパフォーマンスは、WSIパッチの特徴表現を抽出するバックボーンの有効性に依存します。
そこで我々は,WSI のより優れた特徴表現を抽出する基盤モデル BROW を提案した。
このモデルは自己蒸留フレームワークを使って事前訓練されたトランスフォーマーアーキテクチャを採用している。
モデルの堅牢性を改善するためにパッチシャッフルなどの技術が採用されている。
さらに、このモデルはwsisのユニークな特性を利用し、wsiのマルチスケールピラミッドを利用して、さらなるグローバルビューを取り入れ、パフォーマンスをさらに向上させる。
11000以上のスライド,180万以上の抽出パッチ,さまざまな臓器や組織に関連するWSIを含む,大規模な事前トレーニングデータセットを構成するために,プライベートデータとパブリックデータの両方を使用しました。
モデルの有効性を評価するために、スライドレベルのサブタイプ、パッチレベルの分類、核インスタンスのセグメンテーションなど、幅広いダウンストリームタスクを実行する。
その結果, モデルの有効性, 頑健性, 一般化性が確認できた。
これは、wsi機能抽出の基礎モデルとしての可能性を示し、wsi処理におけるアプリケーションの将来性を強調している。
関連論文リスト
- Generalizable Whole Slide Image Classification with Fine-Grained
Visual-Semantic Interaction [18.76437380950314]
本稿では,WSI分類のための"Fine-fine Visual-Semantic Interaction"フレームワークを提案する。
局所的な視覚パターンと微細な病理的意味論の相互作用を活用することにより、モデルの一般化性を高めるように設計されている。
本手法は, TCGA肺がんデータセットにおいて, 高い一般化性, 強い転移性を示す。
論文 参考訳(メタデータ) (2024-02-29T16:29:53Z) - Unveiling Backbone Effects in CLIP: Exploring Representational Synergies
and Variances [49.631908848868505]
コントラスト言語-画像事前学習(CLIP)は画像表現学習において顕著な手法である。
各種ニューラルアーキテクチャにおけるCLIP性能の違いについて検討する。
我々は、複数のバックボーンからの予測を組み合わせるためのシンプルで効果的なアプローチを提案し、最大6.34%のパフォーマンス向上につながった。
論文 参考訳(メタデータ) (2023-12-22T03:01:41Z) - Rotated Multi-Scale Interaction Network for Referring Remote Sensing
Image Segmentation [66.31941110777734]
Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。
従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。
本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
論文 参考訳(メタデータ) (2023-12-19T08:14:14Z) - Diffusion-based generation of Histopathological Whole Slide Images at a
Gigapixel scale [10.481781668319886]
Synthetic Whole Slide Images (WSI)は、多くの計算アプリケーションの性能を高めるためにトレーニングデータセットを増強することができる。
既存のディープラーニングベースの手法は、WSIを通常高い解像度で生成しない。
本稿では,高分解能 WSI の画像生成に取り組むために,新しい粗大なサンプリング手法を提案する。
論文 参考訳(メタデータ) (2023-11-14T14:33:39Z) - ConSlide: Asynchronous Hierarchical Interaction Transformer with
Breakup-Reorganize Rehearsal for Continual Whole Slide Image Analysis [24.078490055421852]
医用画像コミュニティではWSI解析がますます重要になっている。
本稿では,WSI分析のためのFIRST連続学習フレームワークであるConSlideを提案する。
論文 参考訳(メタデータ) (2023-08-25T11:58:25Z) - DINOv2: Learning Robust Visual Features without Supervision [75.42921276202522]
この研究は、既存の事前学習手法、特に自己教師付き手法が、多様なソースから十分なキュレートされたデータで訓練すれば、そのような特徴を生み出すことができることを示している。
技術的な貢献の多くは、大規模なトレーニングを加速し、安定化することを目的としています。
データの観点からは、自己組織化されていないデータではなく、専用で多様でキュレートされた画像データセットを構築するための自動パイプラインを提案する。
論文 参考訳(メタデータ) (2023-04-14T15:12:19Z) - Task-specific Fine-tuning via Variational Information Bottleneck for
Weakly-supervised Pathology Whole Slide Image Classification [10.243293283318415]
MIL(Multiple Instance Learning)は、デジタル・パスロジー・ホール・スライド・イメージ(WSI)分類において有望な結果を示している。
本稿では,Information Bottleneck 理論を動機とした効率的な WSI 微調整フレームワークを提案する。
我々のフレームワークは、様々なWSIヘッド上の5つの病理WSIデータセットで評価される。
論文 参考訳(メタデータ) (2023-03-15T08:41:57Z) - Hierarchical Transformer for Survival Prediction Using Multimodality
Whole Slide Images and Genomics [63.76637479503006]
下流タスクのためのギガピクセルレベルのスライド病理画像(WSI)の良質な表現を学習することが重要である。
本稿では,病理画像と対応する遺伝子間の階層的マッピングを学習する階層型マルチモーダルトランスフォーマーフレームワークを提案する。
より優れたWSI表現能力を維持しながら、ベンチマーク手法と比較してGPUリソースが少ないアーキテクチャです。
論文 参考訳(メタデータ) (2022-11-29T23:47:56Z) - Semantic Image Synthesis via Diffusion Models [159.4285444680301]
Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。
セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
論文 参考訳(メタデータ) (2022-06-30T18:31:51Z) - Pay Attention with Focus: A Novel Learning Scheme for Classification of
Whole Slide Images [8.416553728391309]
スライド画像全体(WSI)を解析するための新しい2段階アプローチを提案する。
まず、WSIから代表パッチ(モザイクと呼ばれる)を抽出する。
モザイクの各パッチは、ディープネットワークを用いて特徴ベクトルに符号化される。
第2段階では、WSIから符号化されたパッチレベルの一連の特徴を用いて、一次診断確率を算出する。
論文 参考訳(メタデータ) (2021-06-11T21:59:02Z) - Adversarial Feature Augmentation and Normalization for Visual
Recognition [109.6834687220478]
最近のコンピュータビジョンの進歩は、分類モデルの一般化能力を改善するために、逆データ拡張を利用する。
本稿では,中間的特徴埋め込みにおける敵対的拡張を提唱する効率的かつ効率的な代替手法を提案する。
代表的なバックボーンネットワークを用いて,多様な視覚認識タスクにまたがる提案手法を検証する。
論文 参考訳(メタデータ) (2021-03-22T20:36:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。