論文の概要: Self-distillation Augmented Masked Autoencoders for Histopathological
Image Classification
- arxiv url: http://arxiv.org/abs/2203.16983v4
- Date: Mon, 29 May 2023 02:14:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 04:29:10.203437
- Title: Self-distillation Augmented Masked Autoencoders for Histopathological
Image Classification
- Title(参考訳): 病理画像分類のための自己蒸留強化マスクオートエンコーダ
- Authors: Yang Luo, Zhineng Chen, Shengtian Zhou, Xieping Gao
- Abstract要約: 自己教師付き学習(SSL)を生成パラダイムから構築するマスク付きオートエンコーダ(MAE)は、おそらくより適切な事前トレーニングである。
新しいSD-MAEモデルが提案され, 自己蒸留型MAEが実現された。
実験により、SD-MAEは他のSSLメソッドと比較して高い競合性能を示すことが示された。
- 参考スコア(独自算出の注目度): 11.573165017470867
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Self-supervised learning (SSL) has drawn increasing attention in
histopathological image analysis in recent years. Compared to contrastive
learning which is troubled with the false negative problem, i.e., semantically
similar images are selected as negative samples, masked autoencoders (MAE)
building SSL from a generative paradigm is probably a more appropriate
pre-training. In this paper, we introduce MAE and verify the effect of visible
patches for histopathological image understanding. Moreover, a novel SD-MAE
model is proposed to enable a self-distillation augmented MAE. Besides the
reconstruction loss on masked image patches, SD-MAE further imposes the
self-distillation loss on visible patches to enhance the representational
capacity of the encoder located shallow layer. We apply SD-MAE to
histopathological image classification, cell segmentation and object detection.
Experiments demonstrate that SD-MAE shows highly competitive performance when
compared with other SSL methods in these tasks.
- Abstract(参考訳): 近年, 自己教師あり学習 (SSL) は病理画像解析に注目が集まっている。
偽陰性問題に悩む対照的な学習、すなわち、意味的に類似した画像が負のサンプルとして選択されるのに対して、生成パラダイムからsslを構築するマスク付きオートエンコーダ(mae)は、おそらく適切な事前学習である。
本稿では,MAEを導入し,病理組織学的画像理解における可視パッチの効果を検証する。
さらに,自己蒸留強化MAEを実現するために,新しいSD-MAEモデルを提案する。
マスク画像パッチの再構成損失に加えて、sd-maeはさらに可視性パッチに自己蒸留損失を課し、エンコーダの浅い層の表現能力を高める。
SD-MAEを病理像分類,細胞分画,物体検出に応用した。
実験により、SD-MAEはこれらのタスクにおける他のSSLメソッドと比較して高い競合性能を示すことが示された。
関連論文リスト
- Retinal OCT Synthesis with Denoising Diffusion Probabilistic Models for
Layer Segmentation [2.4113205575263708]
本稿では,拡散確率モデル(DDPM)を用いて網膜光コヒーレンス断層撮影(OCT)画像を自動的に生成する画像合成手法を提案する。
階層分割の精度を一貫して改善し,様々なニューラルネットワークを用いて検証する。
これらの結果から,網膜CT画像の手動アノテーションの必要性が軽減される可能性が示唆された。
論文 参考訳(メタデータ) (2023-11-09T16:09:24Z) - Understanding Masked Autoencoders From a Local Contrastive Perspective [80.57196495601826]
Masked AutoEncoder (MAE)は、シンプルだが効果的なマスキングと再構築戦略によって、自己指導型学習の分野に革命をもたらした。
そこで我々は,MaEの再構成的側面とコントラスト的側面の両方を解析するために,ローカルコントラストMAEと呼ばれる新しい経験的枠組みを導入する。
論文 参考訳(メタデータ) (2023-10-03T12:08:15Z) - Diffusion Models for Counterfactual Generation and Anomaly Detection in
Brain Images [59.85702949046042]
病気の画像の健全なバージョンを生成し,それを用いて画素単位の異常マップを得るための弱教師付き手法を提案する。
健常者を対象にした拡散モデルを用いて, サンプリングプロセスの各ステップで拡散拡散確率モデル (DDPM) と拡散拡散確率モデル (DDIM) を組み合わせる。
本手法が正常なサンプルに適用された場合,入力画像は大幅な修正を伴わずに再構成されることを確認した。
論文 参考訳(メタデータ) (2023-08-03T21:56:50Z) - Improving Masked Autoencoders by Learning Where to Mask [65.89510231743692]
マスケ画像モデリングは視覚データに対する有望な自己教師型学習手法である。
本稿では,Gumbel-Softmax を用いて,対向学習マスク生成装置とマスク誘導画像モデリングプロセスとを相互接続するフレームワーク AutoMAE を提案する。
実験の結果,AutoMAEは,標準の自己監督型ベンチマークや下流タスクに対して,効果的な事前学習モデルを提供することがわかった。
論文 参考訳(メタデータ) (2023-03-12T05:28:55Z) - Exploring The Role of Mean Teachers in Self-supervised Masked
Auto-Encoders [64.03000385267339]
マスク付き画像モデリング(MIM)は視覚変換器を用いた視覚表現の自己教師型学習(SSL)の一般的な戦略となっている。
簡単なSSL方式であるRC-MAE(Restruction-Consistent Masked Auto-Encoder)を提案する。
RC-MAEは、事前学習中に最先端の自己蒸留法よりも早く収束し、メモリ使用量の削減を必要とする。
論文 参考訳(メタデータ) (2022-10-05T08:08:55Z) - Attentive Symmetric Autoencoder for Brain MRI Segmentation [56.02577247523737]
視覚変換器(ViT)をベースとした3次元脳MRIセグメンテーションタスクのための新しいアテンテーティブシンメトリオートエンコーダを提案する。
事前学習の段階では、提案するオートエンコーダがより注意を払って、勾配測定値に従って情報パッチを再構築する。
実験の結果,提案手法は最先端の自己教師付き学習法や医用画像分割モデルよりも優れていた。
論文 参考訳(メタデータ) (2022-09-19T09:43:19Z) - Multi-modal Masked Autoencoders Learn Compositional Histopathological
Representations [3.2780506066663655]
Masked Autoencoders (MAE) はデジタル病理学に適した最近のSSL方式である。
ヘマトキシリンおよびエオシン染色WSIの特異な組成性を利用するマルチモーダルMAE(MMAE)を導入する。
その結果,MMAEアーキテクチャは8クラス組織表現型タスクにおいて,教師付きベースラインや他の最先端SSL技術よりも優れていた。
論文 参考訳(メタデータ) (2022-09-04T05:25:31Z) - Magnification-independent Histopathological Image Classification with
Similarity-based Multi-scale Embeddings [12.398787062519034]
本稿では,類似性に基づく画像分類のためのマルチスケール埋め込みを学習する手法を提案する。
特に、対損失と三重項損失を利用して、画像対や画像三重項から類似性に基づく埋め込みを学習する。
SMSEはBreakHisベンチマークで最高のパフォーマンスを達成しており、従来の方法に比べて5%から18%改善されている。
論文 参考訳(メタデータ) (2021-07-02T13:18:45Z) - Improved Slice-wise Tumour Detection in Brain MRIs by Computing
Dissimilarities between Latent Representations [68.8204255655161]
磁気共鳴画像(MRI)の異常検出は教師なし手法で行うことができる。
本研究では,変分オートエンコーダの潜伏空間における相似関数の計算に基づいて,腫瘍検出のためのスライスワイズ半教師法を提案する。
本研究では,高解像度画像上でのモデルをトレーニングし,再現の質を向上させることにより,異なるベースラインに匹敵する結果が得られることを示す。
論文 参考訳(メタデータ) (2020-07-24T14:02:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。