論文の概要: Self-distillation Augmented Masked Autoencoders for Histopathological Image Classification

• arxiv url: http://arxiv.org/abs/2203.16983v4
• Date: Mon, 29 May 2023 02:14:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 04:29:10.203437
• Title: Self-distillation Augmented Masked Autoencoders for Histopathological Image Classification
• Title（参考訳）: 病理画像分類のための自己蒸留強化マスクオートエンコーダ
• Authors: Yang Luo, Zhineng Chen, Shengtian Zhou, Xieping Gao
• Abstract要約: 自己教師付き学習(SSL)を生成パラダイムから構築するマスク付きオートエンコーダ(MAE)は、おそらくより適切な事前トレーニングである。 新しいSD-MAEモデルが提案され, 自己蒸留型MAEが実現された。 実験により、SD-MAEは他のSSLメソッドと比較して高い競合性能を示すことが示された。
• 参考スコア（独自算出の注目度）: 11.573165017470867
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Self-supervised learning (SSL) has drawn increasing attention in histopathological image analysis in recent years. Compared to contrastive learning which is troubled with the false negative problem, i.e., semantically similar images are selected as negative samples, masked autoencoders (MAE) building SSL from a generative paradigm is probably a more appropriate pre-training. In this paper, we introduce MAE and verify the effect of visible patches for histopathological image understanding. Moreover, a novel SD-MAE model is proposed to enable a self-distillation augmented MAE. Besides the reconstruction loss on masked image patches, SD-MAE further imposes the self-distillation loss on visible patches to enhance the representational capacity of the encoder located shallow layer. We apply SD-MAE to histopathological image classification, cell segmentation and object detection. Experiments demonstrate that SD-MAE shows highly competitive performance when compared with other SSL methods in these tasks.
• Abstract（参考訳）: 近年, 自己教師あり学習 (SSL) は病理画像解析に注目が集まっている。 偽陰性問題に悩む対照的な学習、すなわち、意味的に類似した画像が負のサンプルとして選択されるのに対して、生成パラダイムからsslを構築するマスク付きオートエンコーダ(mae)は、おそらく適切な事前学習である。 本稿では,MAEを導入し,病理組織学的画像理解における可視パッチの効果を検証する。 さらに,自己蒸留強化MAEを実現するために,新しいSD-MAEモデルを提案する。 マスク画像パッチの再構成損失に加えて、sd-maeはさらに可視性パッチに自己蒸留損失を課し、エンコーダの浅い層の表現能力を高める。 SD-MAEを病理像分類,細胞分画,物体検出に応用した。 実験により、SD-MAEはこれらのタスクにおける他のSSLメソッドと比較して高い競合性能を示すことが示された。

関連論文リスト

• Enhancing Weakly-Supervised Histopathology Image Segmentation with Knowledge Distillation on MIL-Based Pseudo-Labels [8.934328206473456]
  病理組織像分割のための新しい蒸留フレームワークを提案する。 この枠組みは, 学生が教師の総合的な成果から直接学習できる, 反復的融合知識蒸留戦略を導入している。
  論文  参考訳（メタデータ） (2024-07-14T17:15:47Z)
• Features Fusion for Dual-View Mammography Mass Detection [1.5146068448101746]
  両マンモグラフィビューを同時に処理できるMAMM-Netという新しいモデルを提案する。 本実験は,従来の最先端モデルと比較して,PublicMデータセット上での優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-25T16:30:30Z)
• Retinal OCT Synthesis with Denoising Diffusion Probabilistic Models for Layer Segmentation [2.4113205575263708]
  本稿では,拡散確率モデル(DDPM)を用いて網膜光コヒーレンス断層撮影(OCT)画像を自動的に生成する画像合成手法を提案する。 階層分割の精度を一貫して改善し,様々なニューラルネットワークを用いて検証する。 これらの結果から,網膜CT画像の手動アノテーションの必要性が軽減される可能性が示唆された。
  論文  参考訳（メタデータ） (2023-11-09T16:09:24Z)
• Understanding Masked Autoencoders From a Local Contrastive Perspective [80.57196495601826]
  Masked AutoEncoder (MAE)は、シンプルだが効果的なマスキングと再構築戦略によって、自己指導型学習の分野に革命をもたらした。 そこで我々は,MaEの再構成的側面とコントラスト的側面の両方を解析するために,ローカルコントラストMAEと呼ばれる新しい経験的枠組みを導入する。
  論文  参考訳（メタデータ） (2023-10-03T12:08:15Z)
• Improving Masked Autoencoders by Learning Where to Mask [65.89510231743692]
  マスケ画像モデリングは視覚データに対する有望な自己教師型学習手法である。 本稿では,Gumbel-Softmax を用いて,対向学習マスク生成装置とマスク誘導画像モデリングプロセスとを相互接続するフレームワーク AutoMAE を提案する。 実験の結果,AutoMAEは,標準の自己監督型ベンチマークや下流タスクに対して,効果的な事前学習モデルを提供することがわかった。
  論文  参考訳（メタデータ） (2023-03-12T05:28:55Z)
• Exploring The Role of Mean Teachers in Self-supervised Masked Auto-Encoders [64.03000385267339]
  マスク付き画像モデリング(MIM)は視覚変換器を用いた視覚表現の自己教師型学習(SSL)の一般的な戦略となっている。 簡単なSSL方式であるRC-MAE(Restruction-Consistent Masked Auto-Encoder)を提案する。 RC-MAEは、事前学習中に最先端の自己蒸留法よりも早く収束し、メモリ使用量の削減を必要とする。
  論文  参考訳（メタデータ） (2022-10-05T08:08:55Z)
• Attentive Symmetric Autoencoder for Brain MRI Segmentation [56.02577247523737]
  視覚変換器(ViT)をベースとした3次元脳MRIセグメンテーションタスクのための新しいアテンテーティブシンメトリオートエンコーダを提案する。 事前学習の段階では、提案するオートエンコーダがより注意を払って、勾配測定値に従って情報パッチを再構築する。 実験の結果,提案手法は最先端の自己教師付き学習法や医用画像分割モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-09-19T09:43:19Z)
• Multi-modal Masked Autoencoders Learn Compositional Histopathological Representations [3.2780506066663655]
  Masked Autoencoders (MAE) はデジタル病理学に適した最近のSSL方式である。 ヘマトキシリンおよびエオシン染色WSIの特異な組成性を利用するマルチモーダルMAE(MMAE)を導入する。 その結果,MMAEアーキテクチャは8クラス組織表現型タスクにおいて,教師付きベースラインや他の最先端SSL技術よりも優れていた。
  論文  参考訳（メタデータ） (2022-09-04T05:25:31Z)
• Improved Slice-wise Tumour Detection in Brain MRIs by Computing Dissimilarities between Latent Representations [68.8204255655161]
  磁気共鳴画像(MRI)の異常検出は教師なし手法で行うことができる。 本研究では,変分オートエンコーダの潜伏空間における相似関数の計算に基づいて,腫瘍検出のためのスライスワイズ半教師法を提案する。 本研究では,高解像度画像上でのモデルをトレーニングし,再現の質を向上させることにより,異なるベースラインに匹敵する結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-07-24T14:02:09Z)
• Retinopathy of Prematurity Stage Diagnosis Using Object Segmentation and Convolutional Neural Networks [68.96150598294072]
  未熟児網膜症(英: Retinopathy of Prematurity、ROP)は、主に体重の低い未熟児に影響を及ぼす眼疾患である。 網膜の血管の増殖を招き、視力喪失を招き、最終的には網膜剥離を招き、失明を引き起こす。 近年,ディープラーニングを用いて診断を自動化する試みが盛んに行われている。 本稿では,従来のモデルの成功を基盤として,オブジェクトセグメンテーションと畳み込みニューラルネットワーク(CNN)を組み合わせた新しいアーキテクチャを開発する。 提案システムでは,まず対象分割モデルを訓練し,画素レベルでの区切り線を識別し,その結果のマスクを追加の"カラー"チャネルとして付加する。
  論文  参考訳（メタデータ） (2020-04-03T14:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。