論文の概要: Self-supervised learning improves robustness of deep learning lung tumor segmentation to CT imaging differences
- arxiv url: http://arxiv.org/abs/2405.08657v1
- Date: Tue, 14 May 2024 14:35:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-15 13:49:19.545544
- Title: Self-supervised learning improves robustness of deep learning lung tumor segmentation to CT imaging differences
- Title（参考訳）: 自己教師付き学習は、CT画像の差による深層学習肺腫瘍セグメンテーションの堅牢性を改善する
- Authors: Jue Jiang, Aneesh Rangnekar, Harini Veeraraghavan,
- Abstract要約: 自己教師付き学習(SSL)は、ラベルのないデータから有用な特徴表現を抽出する手法である。
我々は,Wild vs self-pretrained transformer (ViT) と階層型シフトウインドウ (Swin) モデルのロバストさとCT画像の違いを比較した。
肺腫瘍の分画におけるCT像像の違いは, 自己前置法よりも, 野生前置型ネットワークの方が, より堅牢であった。
- 参考スコア（独自算出の注目度）: 7.332652485849634
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised learning (SSL) is an approach to extract useful feature representations from unlabeled data, and enable fine-tuning on downstream tasks with limited labeled examples. Self-pretraining is a SSL approach that uses the curated task dataset for both pretraining the networks and fine-tuning them. Availability of large, diverse, and uncurated public medical image sets provides the opportunity to apply SSL in the "wild" and potentially extract features robust to imaging variations. However, the benefit of wild- vs self-pretraining has not been studied for medical image analysis. In this paper, we compare robustness of wild versus self-pretrained transformer (vision transformer [ViT] and hierarchical shifted window [Swin]) models to computed tomography (CT) imaging differences for non-small cell lung cancer (NSCLC) segmentation. Wild-pretrained Swin models outperformed self-pretrained Swin for the various imaging acquisitions. ViT resulted in similar accuracy for both wild- and self-pretrained models. Masked image prediction pretext task that forces networks to learn the local structure resulted in higher accuracy compared to contrastive task that models global image information. Wild-pretrained models resulted in higher feature reuse at the lower level layers and feature differentiation close to output layer after fine-tuning. Hence, we conclude: Wild-pretrained networks were more robust to analyzed CT imaging differences for lung tumor segmentation than self-pretrained methods. Swin architecture benefited from such pretraining more than ViT.
- Abstract（参考訳）: 自己教師付き学習(SSL)は、ラベルなしデータから有用な特徴表現を抽出し、ラベル付き例を限定した下流タスクの微調整を可能にするアプローチである。
セルフプレトレーニング(Self-pretraining)は、ネットワークの事前トレーニングと微調整の両方に、キュレートされたタスクデータセットを使用するSSLアプローチである。
大規模で多様で未修正の公開医療画像セットの可用性は、SSLを"ワイルド"に適用する機会を与え、画像のバリエーションに堅牢な特徴を抽出する可能性がある。
しかし, 医用画像解析において, ワイルド対セルフプレトレーニングの利点は研究されていない。
本稿では,非小細胞肺癌 (NSCLC) 領域のCT画像差に対して, 野生型と自励型トランスフォーマー (ビジョントランス (ViT) モデルと階層型シフトウインドウ (Swin) モデルのロバスト性を比較した。
ワイルドプレトレーニングされたSwinモデルは、様々な画像取得において自己プレトレーニングされたSwinよりも優れていた。
ViTはワイルドモデルとセルフプレトレーニングモデルの両方で同様の精度を実現した。
局所構造を学習するようネットワークに強制するマスク付き画像予測プレテキストタスクは、グローバルな画像情報をモデル化する対照的なタスクよりも精度が高い結果となった。
ワイルドプレトレーニングされたモデルでは,低レベル層での高機能再利用が達成され,微調整後の出力層に近い特徴分化が得られた。
以上の結果より, 肺腫瘍の分画におけるCT像像の違いを自己前置法より解析する上で, 野生前置型ネットワークはより堅牢であった。
Swinアーキテクチャは、ViT以上の事前トレーニングの恩恵を受けました。
関連論文リスト
- Intra-task Mutual Attention based Vision Transformer for Few-Shot Learning [12.5354658533836]
人間は、ほんのわずかの例に晒された後に、新しい、目に見えない画像を正確に分類する能力を持っている。
人工ニューラルネットワークモデルでは、限られたサンプルを持つ2つのイメージを区別する最も関連性の高い特徴を決定することが課題である。
本稿では,サポートとクエリサンプルをパッチに分割するタスク内相互注意手法を提案する。
論文 参考訳（メタデータ） (2024-05-06T02:02:57Z) - Affine-Consistent Transformer for Multi-Class Cell Nuclei Detection [76.11864242047074]
本稿では, 原子核位置を直接生成する新しいアフィン一貫性変換器 (AC-Former) を提案する。
本稿では,AAT (Adaptive Affine Transformer) モジュールを導入し,ローカルネットワークトレーニングのためのオリジナル画像をワープするための重要な空間変換を自動学習する。
実験結果から,提案手法は様々なベンチマークにおいて既存の最先端アルゴリズムを著しく上回ることがわかった。
論文 参考訳（メタデータ） (2023-10-22T02:27:02Z) - Disruptive Autoencoders: Leveraging Low-level features for 3D Medical
Image Pre-training [51.16994853817024]
本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。
ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。
提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2023-07-31T17:59:42Z) - Realistic Data Enrichment for Robust Image Segmentation in
Histopathology [2.248423960136122]
拡散モデルに基づく新しい手法を提案し、不均衡なデータセットを、表現不足なグループから有意な例で拡張する。
本手法は,限定的な臨床データセットを拡張して,機械学習パイプラインのトレーニングに適したものにする。
論文 参考訳（メタデータ） (2023-04-19T09:52:50Z) - Performance of GAN-based augmentation for deep learning COVID-19 image
classification [57.1795052451257]
ディープラーニングを医療分野に適用する上で最大の課題は、トレーニングデータの提供である。
データ拡張は、限られたデータセットに直面した時に機械学習で使用される典型的な方法論である。
本研究は, 新型コロナウイルスの胸部X線画像セットを限定して, StyleGAN2-ADAモデルを用いて訓練するものである。
論文 参考訳（メタデータ） (2023-04-18T15:39:58Z) - Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。
そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
論文 参考訳（メタデータ） (2023-03-06T11:51:28Z) - Self-supervised 3D anatomy segmentation using self-distilled masked
image transformer (SMIT) [2.7298989068857487]
自己教師型学習は、畳み込みネットワークを用いた医用画像のセグメンテーションに成功している。
我々は、我々のアプローチがより正確で、他のプリテキストタスクよりも微調整データセットを少なくする必要があることを示した。
論文 参考訳（メタデータ） (2022-05-20T17:55:14Z) - Intelligent Masking: Deep Q-Learning for Context Encoding in Medical
Image Analysis [48.02011627390706]
我々は,対象地域を排除し,事前訓練の手順を改善する,新たな自己指導型アプローチを開発した。
予測モデルに対してエージェントを訓練することで、下流の分類タスクで抽出した意味的特徴を大幅に改善できることを示す。
論文 参考訳（メタデータ） (2022-03-25T19:05:06Z) - About Explicit Variance Minimization: Training Neural Networks for
Medical Imaging With Limited Data Annotations [2.3204178451683264]
VAT(Variance Aware Training)法は、モデル損失関数に分散誤差を導入することにより、この特性を利用する。
多様な領域から得られた3つの医用画像データセットと様々な学習目標に対するVATの有効性を検証した。
論文 参考訳（メタデータ） (2021-05-28T21:34:04Z) - A Multi-Stage Attentive Transfer Learning Framework for Improving
COVID-19 Diagnosis [49.3704402041314]
新型コロナの診断を改善するための多段階集中移動学習フレームワークを提案する。
提案するフレームワークは、複数のソースタスクと異なるドメインのデータから知識を学習し、正確な診断モデルを訓練する3つの段階からなる。
本稿では,肺CT画像のマルチスケール表現を学習するための自己教師付き学習手法を提案する。
論文 参考訳（メタデータ） (2021-01-14T01:39:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。