論文の概要: Anatomical Invariance Modeling and Semantic Alignment for
Self-supervised Learning in 3D Medical Image Analysis
- arxiv url: http://arxiv.org/abs/2302.05615v3
- Date: Thu, 17 Aug 2023 16:18:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-21 19:52:33.013372
- Title: Anatomical Invariance Modeling and Semantic Alignment for
Self-supervised Learning in 3D Medical Image Analysis
- Title(参考訳): 3次元医用画像解析における自己教師あり学習のための解剖的不変性モデリングと意味的アライメント
- Authors: Yankai Jiang, Mingze Sun, Heng Guo, Xiaoyu Bai, Ke Yan, Le Lu and
Minfeng Xu
- Abstract要約: 自己教師付き学習(SSL)は、最近、3D医療画像解析タスクで有望なパフォーマンスを達成した。
現在のほとんどの手法は、元々写真や自然画像用に設計された既存のSSLパラダイムに従っている。
我々は,解剖的不変性モデリングと意味的アライメントを明確に満たす,自己教師付き学習フレームワークAliceを提案する。
- 参考スコア(独自算出の注目度): 6.87667643104543
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised learning (SSL) has recently achieved promising performance
for 3D medical image analysis tasks. Most current methods follow existing SSL
paradigm originally designed for photographic or natural images, which cannot
explicitly and thoroughly exploit the intrinsic similar anatomical structures
across varying medical images. This may in fact degrade the quality of learned
deep representations by maximizing the similarity among features containing
spatial misalignment information and different anatomical semantics. In this
work, we propose a new self-supervised learning framework, namely Alice, that
explicitly fulfills Anatomical invariance modeling and semantic alignment via
elaborately combining discriminative and generative objectives. Alice
introduces a new contrastive learning strategy which encourages the similarity
between views that are diversely mined but with consistent high-level
semantics, in order to learn invariant anatomical features. Moreover, we design
a conditional anatomical feature alignment module to complement corrupted
embeddings with globally matched semantics and inter-patch topology
information, conditioned by the distribution of local image content, which
permits to create better contrastive pairs. Our extensive quantitative
experiments on three 3D medical image analysis tasks demonstrate and validate
the performance superiority of Alice, surpassing the previous best SSL
counterpart methods and showing promising ability for united representation
learning. Codes are available at https://github.com/alibaba-damo-academy/alice.
- Abstract(参考訳): 自己教師付き学習(SSL)は、最近、3D医療画像解析タスクで有望なパフォーマンスを達成した。
現在の手法のほとんどは、もともと写真や自然画像用に設計された既存のsslパラダイムに従っており、様々な医療画像にまたがる固有の類似解剖学的構造を明示的に、かつ徹底的に利用することはできない。
これは、空間的ミスアライメント情報と異なる解剖学的意味論を含む特徴間の類似性を最大化することによって、学習された深層表現の品質を低下させる可能性がある。
本研究では,識別と生成の目的を巧みに組み合わせることで,解剖的不変性モデリングと意味的アライメントを明確に達成する,自己教師型学習フレームワークAliceを提案する。
alice氏は、不変解剖学的特徴を学ぶために、多様だが一貫性のあるハイレベルなセマンティクスを持つビュー間の類似性を奨励する、新しい対比学習戦略を導入した。
さらに,局所的な画像コンテンツの分布を条件としたグローバルな意味とパッチ間トポロジ情報とを補完する条件付き解剖学的特徴アライメントモジュールを設計し,よりコントラストの高いペアを作成できるようにする。
3次元医用画像解析タスクに関する広範囲な定量的実験により,aliceの性能の優位性を実証し,検証し,従来のssl対応手法を上回り,統一表現学習に有望な能力を示す。
コードはhttps://github.com/alibaba-damo-academy/aliceで入手できる。
関連論文リスト
- Overcoming Dimensional Collapse in Self-supervised Contrastive Learning
for Medical Image Segmentation [2.6764957223405657]
医用画像解析分野へのコントラスト学習の適用について検討する。
以上の結果から,最先端のコントラスト学習手法であるMoCo v2は,医用画像に適用すると次元的崩壊に遭遇することが明らかとなった。
これを解決するために,局所的な特徴学習と特徴デコレーションという2つの重要な貢献を提案する。
論文 参考訳(メタデータ) (2024-02-22T15:02:13Z) - Learning Anatomically Consistent Embedding for Chest Radiography [5.2883080527641395]
本稿では,医用画像解析のための新しいSSL手法PEAC(パッチ埋込み解剖学的整合性)を提案する。
具体的には、安定したグリッドベースのマッチング、事前学習されたPEACモデルを様々な下流タスクに転送することで、グローバルおよびローカルなコンバーテンシーを学習することを提案する。
我々はPEACが既存の最先端の完全/自己管理手法よりもはるかに優れた性能を発揮することを広く実証した。
論文 参考訳(メタデータ) (2023-12-01T04:07:12Z) - Edge Guided GANs with Multi-Scale Contrastive Learning for Semantic
Image Synthesis [139.2216271759332]
本稿では,難解なセマンティック画像合成タスクのための新しいECGANを提案する。
セマンティックラベルは詳細な構造情報を提供しておらず、局所的な詳細や構造を合成することは困難である。
畳み込み、ダウンサンプリング、正規化といった広く採用されているCNN操作は、通常、空間分解能の損失を引き起こす。
本稿では,同じセマンティッククラスに属する画素埋め込みを強制して,より類似した画像コンテンツを生成することを目的とした,新しいコントラスト学習手法を提案する。
論文 参考訳(メタデータ) (2023-07-22T14:17:19Z) - GraVIS: Grouping Augmented Views from Independent Sources for
Dermatology Analysis [52.04899592688968]
皮膚科画像から自己教師付き特徴を学習するために特に最適化されたGraVISを提案する。
GraVISは、病変のセグメンテーションと疾患分類のタスクにおいて、転送学習と自己教師型学習を著しく上回っている。
論文 参考訳(メタデータ) (2023-01-11T11:38:37Z) - PCRLv2: A Unified Visual Information Preservation Framework for
Self-supervised Pre-training in Medical Image Analysis [56.63327669853693]
本稿では,ピクセルレベルの情報を高レベルなセマンティクスに明示的にエンコードするための画素復元タスクを提案する。
また,画像理解を支援する強力なツールであるスケール情報の保存についても検討する。
提案されている統合SSLフレームワークは、さまざまなタスクで自己管理されたフレームワークを超越している。
論文 参考訳(メタデータ) (2023-01-02T17:47:27Z) - Mine yOur owN Anatomy: Revisiting Medical Image Segmentation with
Extremely Limited Labels [20.390832929798577]
我々はMine yOur owN Anatomy(MONA)と呼ばれる新しい半監督型医用画像分割フレームワークを紹介する。
まず、先行研究では、すべてのピクセルがモデルトレーニングに等しく重要であると論じており、我々はこの1つだけで意味のある解剖学的特徴を定義できないことを経験的に観察している。
第2に,医療画像を解剖学的特徴の集合に分解できるモデルを構築する。
論文 参考訳(メタデータ) (2022-09-27T15:50:31Z) - Attentive Symmetric Autoencoder for Brain MRI Segmentation [56.02577247523737]
視覚変換器(ViT)をベースとした3次元脳MRIセグメンテーションタスクのための新しいアテンテーティブシンメトリオートエンコーダを提案する。
事前学習の段階では、提案するオートエンコーダがより注意を払って、勾配測定値に従って情報パッチを再構築する。
実験の結果,提案手法は最先端の自己教師付き学習法や医用画像分割モデルよりも優れていた。
論文 参考訳(メタデータ) (2022-09-19T09:43:19Z) - Lesion-Aware Contrastive Representation Learning for Histopathology
Whole Slide Images Analysis [16.264758789726223]
本稿では,スライド画像解析の病理組織学的手法として,Lesion-Aware Contrastive Learning (LACL) という新しいコントラスト表現学習フレームワークを提案する。
実験の結果,LACLは異なるデータセット上での組織像表現学習において,最高の性能を発揮することが示された。
論文 参考訳(メタデータ) (2022-06-27T08:39:51Z) - Unsupervised Domain Adaptation with Contrastive Learning for OCT
Segmentation [49.59567529191423]
本稿では,新しい未ラベル領域からのボリューム画像のセグメンテーションのための,新しい半教師付き学習フレームワークを提案する。
教師付き学習とコントラスト学習を併用し、3次元の近傍スライス間の類似性を利用したコントラストペア方式を導入する。
論文 参考訳(メタデータ) (2022-03-07T19:02:26Z) - Learning Semantics-enriched Representation via Self-discovery,
Self-classification, and Self-restoration [12.609383051645887]
医用画像下の解剖学の自己発見、自己分類、自己復元により、セマンティックに富んだ視覚表現を学ぶために、深層モデルを訓練する。
セマンティック・ジェネシス(Semantic Genesis)は、6つの異なる目標タスクにおいて、自己監督または完全な監督によって、一般に利用可能なすべての事前訓練されたモデルで検証する。
実験の結果,セマンティック・ジェネシスは2次元画像ネットワークを用いたデファクト・トランスファー・ラーニングと同様に,その3次元の全てをはるかに上回っていることがわかった。
論文 参考訳(メタデータ) (2020-07-14T10:36:10Z) - Pathological Retinal Region Segmentation From OCT Images Using Geometric
Relation Based Augmentation [84.7571086566595]
本稿では,幾何学と形状の内在的関係を共同で符号化することで,従来のGANベースの医用画像合成法よりも優れた手法を提案する。
提案手法は,取得手順の異なる画像を有する公開RETOUCHデータセット上で,最先端のセグメンテーション手法より優れている。
論文 参考訳(メタデータ) (2020-03-31T11:50:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。