論文の概要: Self Pre-training with Masked Autoencoders for Medical Image Analysis

• arxiv url: http://arxiv.org/abs/2203.05573v1
• Date: Thu, 10 Mar 2022 16:22:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-14 21:42:05.098353
• Title: Self Pre-training with Masked Autoencoders for Medical Image Analysis
• Title（参考訳）: マスクオートエンコーダを用いた医用画像解析のための自己事前訓練
• Authors: Lei Zhou, Huidong Liu, Joseph Bae, Junjun He, Dimitris Samaras, Prateek Prasanna
• Abstract要約: Masked Autoencoder (MAE) は視覚変換器 (ViT) の自然画像解析に有効であることが最近示されている。 胸部X線疾患分類,CT腹部多臓器分節,MRI脳腫瘍分節の3つの医学的課題について検討した。 MAEの自己学習は、すべてのタスクに顕著な効果がある。
• 参考スコア（独自算出の注目度）: 37.25161294917211
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked Autoencoder (MAE) has recently been shown to be effective in pre-training Vision Transformers (ViT) for natural image analysis. By performing the pretext task of reconstructing the original image from only partial observations, the encoder, which is a ViT, is encouraged to aggregate contextual information to infer content in masked image regions. We believe that this context aggregation ability is also essential to the medical image domain where each anatomical structure is functionally and mechanically connected to other structures and regions. However, there is no ImageNet-scale medical image dataset for pre-training. Thus, in this paper, we investigate a self pre-training paradigm with MAE for medical images, i.e., models are pre-trained on the same target dataset. To validate the MAE self pre-training, we consider three diverse medical image tasks including chest X-ray disease classification, CT abdomen multi-organ segmentation and MRI brain tumor segmentation. It turns out MAE self pre-training benefits all the tasks markedly. Specifically, the mAUC on lung disease classification is increased by 9.4%. The average DSC on brain tumor segmentation is improved from 77.4% to 78.9%. Most interestingly, on the small-scale multi-organ segmentation dataset (N=30), the average DSC improves from 78.8% to 83.5% and the HD95 is reduced by 60%, indicating its effectiveness in limited data scenarios. The segmentation and classification results reveal the promising potential of MAE self pre-training for medical image analysis.
• Abstract（参考訳）: Masked Autoencoder (MAE) は視覚変換器 (ViT) の自然画像解析に有効であることが最近示されている。 部分的な観察のみからオリジナル画像を再構成するプリテキストタスクを実行することにより、ViTであるエンコーダは、コンテキスト情報を集約してマスクされた画像領域の内容を推測する。 このコンテキストアグリゲーション能力は、各解剖学的構造が他の構造や領域と機能的および機械的に結びついている医療画像領域にも不可欠であると考えている。 しかし、事前トレーニングのためのImageNetスケールの医療画像データセットは存在しない。 そこで本稿では,医療画像に対するmaeを用いた自己事前学習パラダイム,すなわち,同じ対象データセット上で事前学習されるモデルについて検討する。 mae自己訓練の妥当性を検証するため,胸部x線疾患分類,ct腹部多臓器分画,mri脳腫瘍分画の3つの医用画像課題を検討した。 MAEの自己学習は、すべてのタスクに顕著なメリットがある。 特に肺疾患分類のmAUCは9.4%増加する。 脳腫瘍セグメンテーションの平均DSCは77.4%から78.9%に改善されている。 興味深いことに、小規模のマルチオーガンセグメンテーションデータセット(n=30)では、平均dscが78.8%から83.5%に改善され、hd95は60%削減され、限られたデータシナリオでの有効性が示される。 セグメンテーションと分類の結果から,医療画像解析におけるMAE自己訓練の可能性が示された。

関連論文リスト

• MedFLIP: Medical Vision-and-Language Self-supervised Fast Pre-Training with Masked Autoencoder [26.830574964308962]
  本稿では,医療分析のための高速言語画像事前学習手法であるMedFLIPを紹介する。 交差ドメインを用いたゼロショット学習のためのMAEを探索し、限られたデータから学習するモデルの能力を向上する。 最後に,医療画像解析におけるゼロショット性能の向上を言語を用いて検証する。
  論文  参考訳（メタデータ） (2024-03-07T16:11:43Z)
• MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image Segmentation [58.53672866662472]
  我々はMA-SAMと命名されたモダリティに依存しないSAM適応フレームワークを提案する。 本手法は,重量増加のごく一部だけを更新するためのパラメータ効率の高い微調整戦略に根ざしている。 画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。
  論文  参考訳（メタデータ） (2023-09-16T02:41:53Z)
• Disruptive Autoencoders: Leveraging Low-level features for 3D Medical Image Pre-training [51.16994853817024]
  本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。 ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。 提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-07-31T17:59:42Z)
• LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
  LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
  論文  参考訳（メタデータ） (2023-06-20T22:21:34Z)
• Self-Supervised Correction Learning for Semi-Supervised Biomedical Image Segmentation [84.58210297703714]
  半教師付きバイオメディカルイメージセグメンテーションのための自己教師付き補正学習パラダイムを提案する。 共有エンコーダと2つの独立デコーダを含むデュアルタスクネットワークを設計する。 異なるタスクのための3つの医用画像分割データセットの実験により,本手法の優れた性能が示された。
  論文  参考訳（メタデータ） (2023-01-12T08:19:46Z)
• Attentive Symmetric Autoencoder for Brain MRI Segmentation [56.02577247523737]
  視覚変換器(ViT)をベースとした3次元脳MRIセグメンテーションタスクのための新しいアテンテーティブシンメトリオートエンコーダを提案する。 事前学習の段階では、提案するオートエンコーダがより注意を払って、勾配測定値に従って情報パッチを再構築する。 実験の結果,提案手法は最先端の自己教師付き学習法や医用画像分割モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-09-19T09:43:19Z)
• Self-supervised 3D anatomy segmentation using self-distilled masked image transformer (SMIT) [2.7298989068857487]
  自己教師型学習は、畳み込みネットワークを用いた医用画像のセグメンテーションに成功している。 我々は、我々のアプローチがより正確で、他のプリテキストタスクよりも微調整データセットを少なくする必要があることを示した。
  論文  参考訳（メタデータ） (2022-05-20T17:55:14Z)
• Self-supervised Image-text Pre-training With Mixed Data In Chest X-rays [10.398175542736285]
  混合データ入力から学習できる画像テキスト事前学習フレームワークを紹介します。 混合データ入力における事前学習の可能性を示す。 また、3つの胸部x線アプリケーションに事前訓練されたモデルを適用する利点についても述べる。
  論文  参考訳（メタデータ） (2021-03-30T01:48:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。