論文の概要: Medical supervised masked autoencoders: Crafting a better masking
strategy and efficient fine-tuning schedule for medical image classification
- arxiv url: http://arxiv.org/abs/2305.05871v1
- Date: Wed, 10 May 2023 03:39:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-11 14:37:56.092997
- Title: Medical supervised masked autoencoders: Crafting a better masking
strategy and efficient fine-tuning schedule for medical image classification
- Title(参考訳): 医用監視マスク付きオートエンコーダ:医用画像分類のためのより良いマスキング戦略と効率的な微調整スケジュールの作成
- Authors: Jiawei Mao, Shujian Guo, Yuanqi Chang, Xuesong Yin and Binling Nie
- Abstract要約: マスケードオートエンコーダ (MAE) は, 医用画像の分類とセマンティックセグメンテーションにおいて有意な可能性を示した。
本稿では,医療用マスク付きオートエンコーダ(MSMAE)を提案する。
- 参考スコア(独自算出の注目度): 0.7874708385247353
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Masked autoencoders (MAEs) have displayed significant potential in the
classification and semantic segmentation of medical images in the last year.
Due to the high similarity of human tissues, even slight changes in medical
images may represent diseased tissues, necessitating fine-grained inspection to
pinpoint diseased tissues. The random masking strategy of MAEs is likely to
result in areas of lesions being overlooked by the model. At the same time,
inconsistencies between the pre-training and fine-tuning phases impede the
performance and efficiency of MAE in medical image classification. To address
these issues, we propose a medical supervised masked autoencoder (MSMAE) in
this paper. In the pre-training phase, MSMAE precisely masks medical images via
the attention maps obtained from supervised training, contributing to the
representation learning of human tissue in the lesion area. During the
fine-tuning phase, MSMAE is also driven by attention to the accurate masking of
medical images. This improves the computational efficiency of the MSMAE while
increasing the difficulty of fine-tuning, which indirectly improves the quality
of MSMAE medical diagnosis. Extensive experiments demonstrate that MSMAE
achieves state-of-the-art performance in case with three official medical
datasets for various diseases. Meanwhile, transfer learning for MSMAE also
demonstrates the great potential of our approach for medical semantic
segmentation tasks. Moreover, the MSMAE accelerates the inference time in the
fine-tuning phase by 11.2% and reduces the number of floating-point operations
(FLOPs) by 74.08% compared to a traditional MAE.
- Abstract(参考訳): マスケードオートエンコーダ(MAE)は,昨年,医用画像の分類とセマンティックセグメンテーションにおいて有意な可能性を示した。
ヒトの組織の類似度が高いため、医療画像のわずかな変化でも疾患組織を表現でき、疾患組織を特定できる細かな検査が必要となる。
MAEsのランダムマスキング戦略は、モデルによって見落とされた病変の領域をもたらす可能性が高い。
同時に、前訓練相と微調整相の不一致は、医用画像分類におけるmaeの性能と効率を阻害する。
本稿では,これらの課題に対処するために,医療用マスク付きオートエンコーダ(MSMAE)を提案する。
プレトレーニング段階では、msmaeは、教師付きトレーニングから得られた注意マップを介して医療画像を正確にマスクし、病変領域におけるヒト組織の表現学習に寄与する。
微調整の段階では、MSMAEは医療画像の正確なマスキングにも注意を払っている。
これにより、MSMAEの計算効率が向上し、微調整の難しさが増し、MSMAE診断の品質が間接的に向上する。
広範囲な実験により、MSMAEは様々な疾患の3つの公式医療データセットで最先端のパフォーマンスを達成することが示されている。
一方、msmaeの転送学習は、医療用セマンティクスセグメンテーションタスクに対する我々のアプローチの素晴らしい可能性を示しています。
さらに、MSMAEは微調整フェーズにおける推論時間を11.2%短縮し、従来のMAEと比較して浮動小数点演算(FLOP)の数を74.08%削減する。
関連論文リスト
- FedMedICL: Towards Holistic Evaluation of Distribution Shifts in Federated Medical Imaging [68.6715007665896]
FedMedICLは統合されたフレームワークであり、フェデレートされた医療画像の課題を全体評価するためのベンチマークである。
6種類の医用画像データセットについて,いくつかの一般的な手法を総合的に評価した。
単純なバッチ分散手法はFedMedICL実験全体の平均性能において,高度な手法を超越していることがわかった。
論文 参考訳(メタデータ) (2024-07-11T19:12:23Z) - AnatoMask: Enhancing Medical Image Segmentation with Reconstruction-guided Self-masking [5.844539603252746]
Masked Image Modeling (MIM) は、ランダムにマスキングされた画像を再構成し、詳細な表現を学習することで効果を示した。
解剖学的に重要な領域を動的に識別・隠蔽するために再構成損失を利用した新しいMIM手法であるAnatoMaskを提案する。
論文 参考訳(メタデータ) (2024-07-09T00:15:52Z) - MiM: Mask in Mask Self-Supervised Pre-Training for 3D Medical Image Analysis [9.227314308722047]
Mask AutoEncoder (MAE) for feature pre-trainingは、様々な医療ビジョンタスクにViTの可能性を解き放つことができる。
本研究では,3次元医用画像の事前学習フレームワークであるMask in Mask(MiM)を提案する。
論文 参考訳(メタデータ) (2024-04-24T01:14:33Z) - Mask-Enhanced Segment Anything Model for Tumor Lesion Semantic Segmentation [48.107348956719775]
Mask-Enhanced SAM (M-SAM) は, 腫瘍の3次元セグメント化に適した革新的なアーキテクチャである。
本稿では,M-SAM内におけるMask-Enhanced Adapter (MEA) を提案する。
我々のM-SAMは高いセグメンテーション精度を達成し、またロバストな一般化を示す。
論文 参考訳(メタデータ) (2024-03-09T13:37:02Z) - MedFLIP: Medical Vision-and-Language Self-supervised Fast Pre-Training with Masked Autoencoder [26.830574964308962]
本稿では,医療分析のための高速言語画像事前学習手法であるMedFLIPを紹介する。
交差ドメインを用いたゼロショット学習のためのMAEを探索し、限られたデータから学習するモデルの能力を向上する。
最後に,医療画像解析におけるゼロショット性能の向上を言語を用いて検証する。
論文 参考訳(メタデータ) (2024-03-07T16:11:43Z) - End-to-end autoencoding architecture for the simultaneous generation of
medical images and corresponding segmentation masks [3.1133049660590615]
ハミルトン変分オートエンコーダ(HVAE)に基づくエンドツーエンドアーキテクチャを提案する。
従来の変分オートエンコーダ(VAE)と比較して後部分布近似が向上する。
本手法は, 生成的逆境条件より優れ, 画像品質の向上を示す。
論文 参考訳(メタデータ) (2023-11-17T11:56:53Z) - AMLP:Adaptive Masking Lesion Patches for Self-supervised Medical Image
Segmentation [67.97926983664676]
自己監督型マスク画像モデリングは自然画像に対して有望な結果を示した。
しかし,このような手法を医用画像に直接適用することは依然として困難である。
適応型マスキング病変パッチ(AMLP)の自己管理型医用画像分割フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-08T13:18:10Z) - Disruptive Autoencoders: Leveraging Low-level features for 3D Medical
Image Pre-training [51.16994853817024]
本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。
ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。
提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-07-31T17:59:42Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳(メタデータ) (2023-06-20T22:21:34Z) - MPS-AMS: Masked Patches Selection and Adaptive Masking Strategy Based
Self-Supervised Medical Image Segmentation [46.76171191827165]
本稿では,MPS-AMSという自己監督型医用画像分割手法を提案する。
提案手法は,最先端の自己監督ベースラインを大幅に上回る。
論文 参考訳(メタデータ) (2023-02-27T11:57:06Z) - Self-distillation Augmented Masked Autoencoders for Histopathological
Image Classification [11.573165017470867]
自己教師付き学習(SSL)を生成パラダイムから構築するマスク付きオートエンコーダ(MAE)は、おそらくより適切な事前トレーニングである。
新しいSD-MAEモデルが提案され, 自己蒸留型MAEが実現された。
実験により、SD-MAEは他のSSLメソッドと比較して高い競合性能を示すことが示された。
論文 参考訳(メタデータ) (2022-03-31T12:09:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。