論文の概要: Self-distillation Augmented Masked Autoencoders for Histopathological
Image Classification
- arxiv url: http://arxiv.org/abs/2203.16983v1
- Date: Thu, 31 Mar 2022 12:09:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-01 15:48:38.427177
- Title: Self-distillation Augmented Masked Autoencoders for Histopathological
Image Classification
- Title(参考訳): 病理画像分類のための自己蒸留強化マスクオートエンコーダ
- Authors: Yang Luo, Zhineng Chen, Xieping Gao
- Abstract要約: 病理画像解析にマスク付きオートエンコーダ(MAE)を導入する。
新しいSD-MAEモデルを提案し,生のMAE上に自己蒸留型SSLを実現する。
SD-MAEを2つの病的および1つの自然画像データセット上の画像分類タスクに適用する。
- 参考スコア(独自算出の注目度): 13.00707767640486
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Self-supervised learning (SSL) has drawn increasing attention in pathological
image analysis in recent years. However, the prevalent contrastive SSL is
suboptimal in feature representation under this scenario due to the homogeneous
visual appearance. Alternatively, masked autoencoders (MAE) build SSL from a
generative paradigm. They are more friendly to pathological image modeling. In
this paper, we firstly introduce MAE to pathological image analysis. A novel
SD-MAE model is proposed to enable a self-distillation augmented SSL on top of
the raw MAE. Besides the reconstruction loss on masked image patches, SD-MAE
further imposes the self-distillation loss on visible patches. It guides the
encoder to perceive high-level semantics that benefit downstream tasks. We
apply SD-MAE to the image classification task on two pathological and one
natural image datasets. Experiments demonstrate that SD-MAE performs highly
competitive when compared with leading contrastive SSL methods. The results,
which are pre-trained using a moderate size of pathological images, are also
comparable to the method pre-trained with two orders of magnitude more images.
Our code will be released soon.
- Abstract(参考訳): 近年,病理画像解析において自己教師あり学習(SSL)が注目されている。
しかし、一般的な対照的なSSLは、均質な視覚的外観のため、このシナリオの下で特徴表現に最適である。
あるいは、マスク付きオートエンコーダ(MAE)が生成パラダイムからSSLを構築する。
彼らは病理画像モデリングにもっと親しみやすい。
本稿では,まず病理画像解析にMAEを導入する。
新しいSD-MAEモデルを提案し,生のMAE上に自己蒸留型SSLを実現する。
SD-MAEは、マスクされた画像パッチの再構成損失に加えて、可視パッチに自己蒸留損失を課す。
エンコーダは、下流タスクに役立つハイレベルなセマンティクスを知覚する。
SD-MAEを2つの病理画像と1つの自然画像の分類タスクに適用する。
実験により、sd-maeは主要なコントラストssl法と比較して高い競合性を示す。
病理的画像の適度なサイズで事前訓練された結果は、2桁以上の画像で事前訓練された方法にも匹敵する。
私たちのコードはまもなくリリースされます。
関連論文リスト
- Retinal OCT Synthesis with Denoising Diffusion Probabilistic Models for
Layer Segmentation [2.4113205575263708]
本稿では,拡散確率モデル(DDPM)を用いて網膜光コヒーレンス断層撮影(OCT)画像を自動的に生成する画像合成手法を提案する。
階層分割の精度を一貫して改善し,様々なニューラルネットワークを用いて検証する。
これらの結果から,網膜CT画像の手動アノテーションの必要性が軽減される可能性が示唆された。
論文 参考訳(メタデータ) (2023-11-09T16:09:24Z) - Understanding Masked Autoencoders From a Local Contrastive Perspective [80.57196495601826]
Masked AutoEncoder (MAE)は、シンプルだが効果的なマスキングと再構築戦略によって、自己指導型学習の分野に革命をもたらした。
そこで我々は,MaEの再構成的側面とコントラスト的側面の両方を解析するために,ローカルコントラストMAEと呼ばれる新しい経験的枠組みを導入する。
論文 参考訳(メタデータ) (2023-10-03T12:08:15Z) - Diffusion Models for Counterfactual Generation and Anomaly Detection in
Brain Images [59.85702949046042]
病気の画像の健全なバージョンを生成し,それを用いて画素単位の異常マップを得るための弱教師付き手法を提案する。
健常者を対象にした拡散モデルを用いて, サンプリングプロセスの各ステップで拡散拡散確率モデル (DDPM) と拡散拡散確率モデル (DDIM) を組み合わせる。
本手法が正常なサンプルに適用された場合,入力画像は大幅な修正を伴わずに再構成されることを確認した。
論文 参考訳(メタデータ) (2023-08-03T21:56:50Z) - Improving Masked Autoencoders by Learning Where to Mask [65.89510231743692]
マスケ画像モデリングは視覚データに対する有望な自己教師型学習手法である。
本稿では,Gumbel-Softmax を用いて,対向学習マスク生成装置とマスク誘導画像モデリングプロセスとを相互接続するフレームワーク AutoMAE を提案する。
実験の結果,AutoMAEは,標準の自己監督型ベンチマークや下流タスクに対して,効果的な事前学習モデルを提供することがわかった。
論文 参考訳(メタデータ) (2023-03-12T05:28:55Z) - Exploring The Role of Mean Teachers in Self-supervised Masked
Auto-Encoders [64.03000385267339]
マスク付き画像モデリング(MIM)は視覚変換器を用いた視覚表現の自己教師型学習(SSL)の一般的な戦略となっている。
簡単なSSL方式であるRC-MAE(Restruction-Consistent Masked Auto-Encoder)を提案する。
RC-MAEは、事前学習中に最先端の自己蒸留法よりも早く収束し、メモリ使用量の削減を必要とする。
論文 参考訳(メタデータ) (2022-10-05T08:08:55Z) - Attentive Symmetric Autoencoder for Brain MRI Segmentation [56.02577247523737]
視覚変換器(ViT)をベースとした3次元脳MRIセグメンテーションタスクのための新しいアテンテーティブシンメトリオートエンコーダを提案する。
事前学習の段階では、提案するオートエンコーダがより注意を払って、勾配測定値に従って情報パッチを再構築する。
実験の結果,提案手法は最先端の自己教師付き学習法や医用画像分割モデルよりも優れていた。
論文 参考訳(メタデータ) (2022-09-19T09:43:19Z) - Multi-modal Masked Autoencoders Learn Compositional Histopathological
Representations [3.2780506066663655]
Masked Autoencoders (MAE) はデジタル病理学に適した最近のSSL方式である。
ヘマトキシリンおよびエオシン染色WSIの特異な組成性を利用するマルチモーダルMAE(MMAE)を導入する。
その結果,MMAEアーキテクチャは8クラス組織表現型タスクにおいて,教師付きベースラインや他の最先端SSL技術よりも優れていた。
論文 参考訳(メタデータ) (2022-09-04T05:25:31Z) - Magnification-independent Histopathological Image Classification with
Similarity-based Multi-scale Embeddings [12.398787062519034]
本稿では,類似性に基づく画像分類のためのマルチスケール埋め込みを学習する手法を提案する。
特に、対損失と三重項損失を利用して、画像対や画像三重項から類似性に基づく埋め込みを学習する。
SMSEはBreakHisベンチマークで最高のパフォーマンスを達成しており、従来の方法に比べて5%から18%改善されている。
論文 参考訳(メタデータ) (2021-07-02T13:18:45Z) - Improved Slice-wise Tumour Detection in Brain MRIs by Computing
Dissimilarities between Latent Representations [68.8204255655161]
磁気共鳴画像(MRI)の異常検出は教師なし手法で行うことができる。
本研究では,変分オートエンコーダの潜伏空間における相似関数の計算に基づいて,腫瘍検出のためのスライスワイズ半教師法を提案する。
本研究では,高解像度画像上でのモデルをトレーニングし,再現の質を向上させることにより,異なるベースラインに匹敵する結果が得られることを示す。
論文 参考訳(メタデータ) (2020-07-24T14:02:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。