論文の概要: Self-distilled Masked Attention guided masked image modeling with noise Regularized Teacher (SMART) for medical image analysis
- arxiv url: http://arxiv.org/abs/2310.01209v2
- Date: Wed, 3 Jul 2024 11:49:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 20:33:17.094778
- Title: Self-distilled Masked Attention guided masked image modeling with noise Regularized Teacher (SMART) for medical image analysis
- Title（参考訳）: 医用画像解析のための雑音正規化教師(SMART)を用いた自己蒸留仮面注意誘導マスク画像モデリング
- Authors: Jue Jiang, Aneesh Rangnekar, Chloe Min Seo Choi, Harini Veeraraghavan,
- Abstract要約: 注意誘導型マスク画像モデリング(MIM)を用いた事前学習型視覚変換器(ViT)は、自然画像解析において下流の精度を向上することを示した。
我々は,MIMの選択的マスキングを誘導するために,雑音の多い運動量更新教師を組み合わせた共蒸留スウィントランスを開発した。
- 参考スコア（独自算出の注目度）: 6.712251433139412
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pretraining vision transformers (ViT) with attention guided masked image modeling (MIM) has shown to increase downstream accuracy for natural image analysis. Hierarchical shifted window (Swin) transformer, often used in medical image analysis cannot use attention guided masking as it lacks an explicit [CLS] token, needed for computing attention maps for selective masking. We thus enhanced Swin with semantic class attention. We developed a co-distilled Swin transformer that combines a noisy momentum updated teacher to guide selective masking for MIM. Our approach called \textsc{s}e\textsc{m}antic \textsc{a}ttention guided co-distillation with noisy teacher \textsc{r}egularized Swin \textsc{T}rans\textsc{F}ormer (SMARTFormer) was applied for analyzing 3D computed tomography datasets with lung nodules and malignant lung cancers (LC). We also analyzed the impact of semantic attention and noisy teacher on pretraining and downstream accuracy. SMARTFormer classified lesions (malignant from benign) with a high accuracy of 0.895 of 1000 nodules, predicted LC treatment response with accuracy of 0.74, and achieved high accuracies even in limited data regimes. Pretraining with semantic attention and noisy teacher improved ability to distinguish semantically meaningful structures such as organs in a unsupervised clustering task and localize abnormal structures like tumors. Code, models will be made available through GitHub upon paper acceptance.
- Abstract（参考訳）: 注意誘導型マスク画像モデリング(MIM)を用いた事前学習型視覚変換器(ViT)は、自然画像解析において下流の精度を向上することを示した。
医用画像解析でよく用いられる階層シフトウィンドウ(スウィン)変換器は、選択マスキングのために注意マップを計算するのに必要な明示的な(CLS)トークンが欠けているため、注意誘導マスキングを使用することはできない。
これにより、セマンティックなクラスアテンションでSwinを拡張しました。
我々は,MIMの選択的マスキングを誘導するために,雑音の多い運動量更新教師を組み合わせた共蒸留スウィントランスを開発した。
肺結節および肺癌の3次元CTデータセットを解析するために,<textsc{s}e\textsc{m}antic \textsc{a}ttention guided co-distillation with noisy teacher \textsc{r}egularized Swin \textsc{T}rans\textsc{F}ormer (SMARTFormer) を用いた。
また,意味的注意と騒々しい教師が事前学習と下流の精度に与える影響を分析した。
SMARTFormerは,1000結節の0.895の良性病変(良性病変)を分類し,LC治療反応を0.74の精度で予測し,限られたデータ体制でも高い精度を達成した。
意味的な注意と騒々しい教師の訓練により、教師なしのクラスタリングタスクにおける臓器のような意味のある構造を識別し、腫瘍のような異常な構造を局在させる能力が改善された。
コード、モデルは、GitHubで論文の受理時に利用可能になる。
関連論文リスト
- Enhanced Self-supervised Learning for Multi-modality MRI Segmentation and Classification: A Novel Approach Avoiding Model Collapse [6.3467517115551875]
多モードMRI(Multi-modality magnetic resonance imaging)は、コンピュータ支援診断のための補完的な情報を提供する。
従来のディープラーニングアルゴリズムは、病変をセグメント化し、磁気共鳴画像で疾患を分類する特定の解剖学的構造を特定するのに適している。
自己教師付き学習(SSL)は、事前学習によりラベル付きデータから特徴表現を効果的に学習することができ、自然画像解析に有効であることが示されている。
ほとんどのSSLメソッドはマルチモードMRIの類似性を無視し、モデルが崩壊する。
ハイブリッドマスクパターン(HMP)とピラミッドバーローツイン(PBT)を組み合わせた多モードMRIマスク自動エンコーダの確立と検証を行った。
論文 参考訳（メタデータ） (2024-07-15T01:11:30Z) - COIN: Counterfactual inpainting for weakly supervised semantic segmentation for medical images [3.5418498524791766]
本研究は, 新規なカウンターファクト・インパインティング・アプローチ(COIN)の開発である。
COINは、予測された分類ラベルを生成モデルを用いて異常から正常に反転させる。
本手法の有効性は,エストニアのタルツ大学病院から取得したCT画像から,合成標的と実際の腎腫瘍を分離することによって実証される。
論文 参考訳（メタデータ） (2024-04-19T12:09:49Z) - Disruptive Autoencoders: Leveraging Low-level features for 3D Medical
Image Pre-training [51.16994853817024]
本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。
ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。
提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2023-07-31T17:59:42Z) - Improving Masked Autoencoders by Learning Where to Mask [65.89510231743692]
マスケ画像モデリングは視覚データに対する有望な自己教師型学習手法である。
本稿では,Gumbel-Softmax を用いて,対向学習マスク生成装置とマスク誘導画像モデリングプロセスとを相互接続するフレームワーク AutoMAE を提案する。
実験の結果,AutoMAEは,標準の自己監督型ベンチマークや下流タスクに対して,効果的な事前学習モデルを提供することがわかった。
論文 参考訳（メタデータ） (2023-03-12T05:28:55Z) - Advancing Radiograph Representation Learning with Masked Record Modeling [52.04899592688968]
我々は2つの相補的な目的として自己と報告の補完を定式化し、マスク付きレコードモデリング(MRM)に基づく統一的な枠組みを提案する。
MRMは、知識強化されたセマンティック表現を学ぶためのマルチタスクスキームに従って、マスクされた画像パッチとマスクされたレポートトークンを再構築する。
具体的には、MRMはラベル効率の良い微調整において優れた性能を提供する。
論文 参考訳（メタデータ） (2023-01-30T18:33:32Z) - Attentive Symmetric Autoencoder for Brain MRI Segmentation [56.02577247523737]
視覚変換器(ViT)をベースとした3次元脳MRIセグメンテーションタスクのための新しいアテンテーティブシンメトリオートエンコーダを提案する。
事前学習の段階では、提案するオートエンコーダがより注意を払って、勾配測定値に従って情報パッチを再構築する。
実験の結果,提案手法は最先端の自己教師付き学習法や医用画像分割モデルよりも優れていた。
論文 参考訳（メタデータ） (2022-09-19T09:43:19Z) - Self-supervised 3D anatomy segmentation using self-distilled masked
image transformer (SMIT) [2.7298989068857487]
自己教師型学習は、畳み込みネットワークを用いた医用画像のセグメンテーションに成功している。
我々は、我々のアプローチがより正確で、他のプリテキストタスクよりも微調整データセットを少なくする必要があることを示した。
論文 参考訳（メタデータ） (2022-05-20T17:55:14Z) - Intelligent Masking: Deep Q-Learning for Context Encoding in Medical
Image Analysis [48.02011627390706]
我々は,対象地域を排除し,事前訓練の手順を改善する,新たな自己指導型アプローチを開発した。
予測モデルに対してエージェントを訓練することで、下流の分類タスクで抽出した意味的特徴を大幅に改善できることを示す。
論文 参考訳（メタデータ） (2022-03-25T19:05:06Z) - Self Pre-training with Masked Autoencoders for Medical Image
Classification and Segmentation [37.25161294917211]
Masked Autoencoder (MAE) は自然画像解析のための事前学習型視覚変換器 (ViT) に有効であることが示されている。
医用画像解析タスクにおけるMAEを用いた自己事前学習パラダイムについて検討する。
論文 参考訳（メタデータ） (2022-03-10T16:22:38Z) - Categorical Relation-Preserving Contrastive Knowledge Distillation for
Medical Image Classification [75.27973258196934]
そこで本研究では,一般的な平均教師モデルであるCRCKD(Categorical Relation-Reserving Contrastive Knowledge Distillation)アルゴリズムを提案する。
この正規化により、学生モデルの特徴分布はクラス内類似度が高く、クラス間分散を示す。
CCDとCRPの貢献により、我々のCRCKDアルゴリズムはより包括的に関係知識を蒸留することができる。
論文 参考訳（メタデータ） (2021-07-07T13:56:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。