論文の概要: Self-distillation Augmented Masked Autoencoders for Histopathological Image Classification

• arxiv url: http://arxiv.org/abs/2203.16983v1
• Date: Thu, 31 Mar 2022 12:09:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-01 15:48:38.427177
• Title: Self-distillation Augmented Masked Autoencoders for Histopathological Image Classification
• Title（参考訳）: 病理画像分類のための自己蒸留強化マスクオートエンコーダ
• Authors: Yang Luo, Zhineng Chen, Xieping Gao
• Abstract要約: 病理画像解析にマスク付きオートエンコーダ(MAE)を導入する。 新しいSD-MAEモデルを提案し,生のMAE上に自己蒸留型SSLを実現する。 SD-MAEを2つの病的および1つの自然画像データセット上の画像分類タスクに適用する。
• 参考スコア（独自算出の注目度）: 13.00707767640486
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Self-supervised learning (SSL) has drawn increasing attention in pathological image analysis in recent years. However, the prevalent contrastive SSL is suboptimal in feature representation under this scenario due to the homogeneous visual appearance. Alternatively, masked autoencoders (MAE) build SSL from a generative paradigm. They are more friendly to pathological image modeling. In this paper, we firstly introduce MAE to pathological image analysis. A novel SD-MAE model is proposed to enable a self-distillation augmented SSL on top of the raw MAE. Besides the reconstruction loss on masked image patches, SD-MAE further imposes the self-distillation loss on visible patches. It guides the encoder to perceive high-level semantics that benefit downstream tasks. We apply SD-MAE to the image classification task on two pathological and one natural image datasets. Experiments demonstrate that SD-MAE performs highly competitive when compared with leading contrastive SSL methods. The results, which are pre-trained using a moderate size of pathological images, are also comparable to the method pre-trained with two orders of magnitude more images. Our code will be released soon.
• Abstract（参考訳）: 近年,病理画像解析において自己教師あり学習(SSL)が注目されている。 しかし、一般的な対照的なSSLは、均質な視覚的外観のため、このシナリオの下で特徴表現に最適である。 あるいは、マスク付きオートエンコーダ(MAE)が生成パラダイムからSSLを構築する。 彼らは病理画像モデリングにもっと親しみやすい。 本稿では,まず病理画像解析にMAEを導入する。 新しいSD-MAEモデルを提案し,生のMAE上に自己蒸留型SSLを実現する。 SD-MAEは、マスクされた画像パッチの再構成損失に加えて、可視パッチに自己蒸留損失を課す。 エンコーダは、下流タスクに役立つハイレベルなセマンティクスを知覚する。 SD-MAEを2つの病理画像と1つの自然画像の分類タスクに適用する。 実験により、sd-maeは主要なコントラストssl法と比較して高い競合性を示す。 病理的画像の適度なサイズで事前訓練された結果は、2桁以上の画像で事前訓練された方法にも匹敵する。 私たちのコードはまもなくリリースされます。

関連論文リスト

• Enhancing Weakly-Supervised Histopathology Image Segmentation with Knowledge Distillation on MIL-Based Pseudo-Labels [8.934328206473456]
  病理組織像分割のための新しい蒸留フレームワークを提案する。 この枠組みは, 学生が教師の総合的な成果から直接学習できる, 反復的融合知識蒸留戦略を導入している。
  論文  参考訳（メタデータ） (2024-07-14T17:15:47Z)
• Features Fusion for Dual-View Mammography Mass Detection [1.5146068448101746]
  両マンモグラフィビューを同時に処理できるMAMM-Netという新しいモデルを提案する。 本実験は,従来の最先端モデルと比較して,PublicMデータセット上での優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-25T16:30:30Z)
• Retinal OCT Synthesis with Denoising Diffusion Probabilistic Models for Layer Segmentation [2.4113205575263708]
  本稿では,拡散確率モデル(DDPM)を用いて網膜光コヒーレンス断層撮影(OCT)画像を自動的に生成する画像合成手法を提案する。 階層分割の精度を一貫して改善し,様々なニューラルネットワークを用いて検証する。 これらの結果から,網膜CT画像の手動アノテーションの必要性が軽減される可能性が示唆された。
  論文  参考訳（メタデータ） (2023-11-09T16:09:24Z)
• Understanding Masked Autoencoders From a Local Contrastive Perspective [80.57196495601826]
  Masked AutoEncoder (MAE)は、シンプルだが効果的なマスキングと再構築戦略によって、自己指導型学習の分野に革命をもたらした。 そこで我々は,MaEの再構成的側面とコントラスト的側面の両方を解析するために,ローカルコントラストMAEと呼ばれる新しい経験的枠組みを導入する。
  論文  参考訳（メタデータ） (2023-10-03T12:08:15Z)
• Improving Masked Autoencoders by Learning Where to Mask [65.89510231743692]
  マスケ画像モデリングは視覚データに対する有望な自己教師型学習手法である。 本稿では,Gumbel-Softmax を用いて,対向学習マスク生成装置とマスク誘導画像モデリングプロセスとを相互接続するフレームワーク AutoMAE を提案する。 実験の結果,AutoMAEは,標準の自己監督型ベンチマークや下流タスクに対して,効果的な事前学習モデルを提供することがわかった。
  論文  参考訳（メタデータ） (2023-03-12T05:28:55Z)
• Exploring The Role of Mean Teachers in Self-supervised Masked Auto-Encoders [64.03000385267339]
  マスク付き画像モデリング(MIM)は視覚変換器を用いた視覚表現の自己教師型学習(SSL)の一般的な戦略となっている。 簡単なSSL方式であるRC-MAE(Restruction-Consistent Masked Auto-Encoder)を提案する。 RC-MAEは、事前学習中に最先端の自己蒸留法よりも早く収束し、メモリ使用量の削減を必要とする。
  論文  参考訳（メタデータ） (2022-10-05T08:08:55Z)
• Attentive Symmetric Autoencoder for Brain MRI Segmentation [56.02577247523737]
  視覚変換器(ViT)をベースとした3次元脳MRIセグメンテーションタスクのための新しいアテンテーティブシンメトリオートエンコーダを提案する。 事前学習の段階では、提案するオートエンコーダがより注意を払って、勾配測定値に従って情報パッチを再構築する。 実験の結果,提案手法は最先端の自己教師付き学習法や医用画像分割モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-09-19T09:43:19Z)
• Multi-modal Masked Autoencoders Learn Compositional Histopathological Representations [3.2780506066663655]
  Masked Autoencoders (MAE) はデジタル病理学に適した最近のSSL方式である。 ヘマトキシリンおよびエオシン染色WSIの特異な組成性を利用するマルチモーダルMAE(MMAE)を導入する。 その結果,MMAEアーキテクチャは8クラス組織表現型タスクにおいて,教師付きベースラインや他の最先端SSL技術よりも優れていた。
  論文  参考訳（メタデータ） (2022-09-04T05:25:31Z)
• Improved Slice-wise Tumour Detection in Brain MRIs by Computing Dissimilarities between Latent Representations [68.8204255655161]
  磁気共鳴画像(MRI)の異常検出は教師なし手法で行うことができる。 本研究では,変分オートエンコーダの潜伏空間における相似関数の計算に基づいて,腫瘍検出のためのスライスワイズ半教師法を提案する。 本研究では,高解像度画像上でのモデルをトレーニングし,再現の質を向上させることにより,異なるベースラインに匹敵する結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-07-24T14:02:09Z)
• Retinopathy of Prematurity Stage Diagnosis Using Object Segmentation and Convolutional Neural Networks [68.96150598294072]
  未熟児網膜症(英: Retinopathy of Prematurity、ROP)は、主に体重の低い未熟児に影響を及ぼす眼疾患である。 網膜の血管の増殖を招き、視力喪失を招き、最終的には網膜剥離を招き、失明を引き起こす。 近年,ディープラーニングを用いて診断を自動化する試みが盛んに行われている。 本稿では,従来のモデルの成功を基盤として,オブジェクトセグメンテーションと畳み込みニューラルネットワーク(CNN)を組み合わせた新しいアーキテクチャを開発する。 提案システムでは,まず対象分割モデルを訓練し,画素レベルでの区切り線を識別し,その結果のマスクを追加の"カラー"チャネルとして付加する。
  論文  参考訳（メタデータ） (2020-04-03T14:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。