論文の概要: Building Universal Foundation Models for Medical Image Analysis with
Spatially Adaptive Networks
- arxiv url: http://arxiv.org/abs/2312.07630v2
- Date: Wed, 24 Jan 2024 04:04:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-25 16:53:12.393773
- Title: Building Universal Foundation Models for Medical Image Analysis with
Spatially Adaptive Networks
- Title（参考訳）: 空間適応ネットワークを用いた医用画像解析のための普遍的基礎モデルの構築
- Authors: Lingxiao Luo, Xuanzhong Chen, Bingda Tang, Xinsheng Chen, Rong Han,
Chengpeng Hu, Yujiang Li, Ting Chen
- Abstract要約: 医用画像解析のための普遍的基礎モデルを提案する。
55の公開医用画像データセット上のマスク画像モデリング(MIM)を用いて、空間適応型視覚トークンーザ(SPAD-VT)と空間適応型視覚変換器(SPAD-ViT)を事前訓練する。
下流の医用画像分類とセグメンテーションタスクの実験結果から,本モデルの性能とラベルの効率が向上したことを示す。
- 参考スコア（独自算出の注目度）: 5.661631789478932
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advancements in foundation models, typically trained with
self-supervised learning on large-scale and diverse datasets, have shown great
potential in medical image analysis. However, due to the significant spatial
heterogeneity of medical imaging data, current models must tailor specific
structures for different datasets, making it challenging to leverage the
abundant unlabeled data. In this work, we propose a universal foundation model
for medical image analysis that processes images with heterogeneous spatial
properties using a unified structure. To accomplish this, we propose spatially
adaptive networks (SPAD-Nets), a family of networks that dynamically adjust the
structures to adapt to the spatial properties of input images, to build such a
universal foundation model. We pre-train a spatial adaptive visual tokenizer
(SPAD-VT) and then a spatial adaptive Vision Transformer (SPAD-ViT) via masked
image modeling (MIM) on 55 public medical image datasets. The pre-training data
comprises over 9 million image slices, representing the largest, most
comprehensive, and most diverse dataset to our knowledge for pre-training
universal foundation models for medical image analysis. The experimental
results on downstream medical image classification and segmentation tasks
demonstrate the superior performance and label efficiency of our model. Our
code is available at https://github.com/function2-llx/PUMIT.
- Abstract（参考訳）: 基礎モデルの最近の進歩は、主に大規模で多様なデータセットの自己教師型学習で訓練されており、医療画像解析に大きな可能性を示している。
しかし、医療画像データの空間的不均一性により、現在のモデルは異なるデータセットに対して特定の構造を調整しなければならないため、豊富なラベルのないデータを活用することは困難である。
本研究では,不均質な空間特性を持つ画像を処理する医用画像解析のための普遍的基礎モデルを提案する。
そこで我々は,空間適応型ネットワーク(SPAD-Nets)を提案する。このネットワークは,入力画像の空間特性に適応するために動的に構造を調整し,そのような普遍的な基礎モデルを構築する。
55の公開医用画像データセット上のマスク画像モデリング(MIM)を用いて、空間適応型視覚トークンーザ(SPAD-VT)と空間適応型視覚変換器(SPAD-ViT)を事前訓練する。
事前トレーニングデータには900万以上の画像スライスが含まれており、医用画像分析のための普遍的な基礎モデルを事前トレーニングするための知識を、最も大きく、最も包括的で、最も多様なデータセットを表している。
ダウンストリーム医用画像分類とセグメンテーションタスクの実験結果から,モデルの性能とラベル効率が向上した。
私たちのコードはhttps://github.com/function2-llx/PUMITで利用可能です。
関連論文リスト
- Universal Medical Imaging Model for Domain Generalization with Data Privacy [2.8727695958743364]
本稿では,複数の局所モデルからグローバルモデルへ知識を伝達するフェデレート学習手法を提案する。
主な目的は、幅広い医療画像タスクを実行できるグローバルモデルを訓練することである。
論文 参考訳（メタデータ） (2024-07-20T01:24:15Z) - Boosting Medical Image Segmentation Performance with Adaptive Convolution Layer [6.887244952811574]
UCTransNetのような先進的なディープラーニングモデルに先立つ適応層を提案する。
我々のアプローチは、多様な解剖学的構造と微妙な画像の詳細を扱うネットワークの能力を高める。
従来のCNNよりも、同じ数のパラメータで固定されたカーネルサイズで一貫してパフォーマンスが向上している。
論文 参考訳（メタデータ） (2024-04-17T13:18:39Z) - Generative Medical Segmentation [5.4613210257624605]
生成医療 (Generative Medical, GMS) は、生成モデルを利用して画像セグメンテーションを行う新しいアプローチである。
GMSは、画像とそれに対応する接地真実マスクの潜在表現を抽出するために、頑健な事前訓練された視覚基盤モデルを採用している。
GMSの設計により、モデルのトレーニング可能なパラメータが少なくなり、オーバーフィットのリスクが軽減され、その能力が向上する。
論文 参考訳（メタデータ） (2024-03-27T02:16:04Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳（メタデータ） (2023-06-20T22:21:34Z) - Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。
我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。
多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2023-06-15T17:55:05Z) - AMIGO: Sparse Multi-Modal Graph Transformer with Shared-Context
Processing for Representation Learning of Giga-pixel Images [53.29794593104923]
本稿では,スライド病理像全体に対する共有コンテキスト処理の新たな概念を提案する。
AMIGOは、組織内のセルラーグラフを使用して、患者に単一の表現を提供する。
我々のモデルは、データの20%以下で同じ性能を達成できる程度に、欠落した情報に対して強い堅牢性を示す。
論文 参考訳（メタデータ） (2023-03-01T23:37:45Z) - Enhancing MR Image Segmentation with Realistic Adversarial Data
Augmentation [17.539828821476224]
本稿では,学習データの利用効率を向上させるために,逆データ拡張手法を提案する。
本稿では,データ拡張モデルとセグメンテーションネットワークを協調的に最適化する汎用的なタスク駆動学習フレームワークを提案する。
提案した逆データ拡張は生成ネットワークに依存しず,汎用セグメンテーションネットワークのプラグインモジュールとして使用できる。
論文 参考訳（メタデータ） (2021-08-07T11:32:37Z) - Medical Transformer: Gated Axial-Attention for Medical Image
Segmentation [73.98974074534497]
医用画像分割タスクにおけるトランスフォーマティブネットワークアーキテクチャの利用可能性について検討する。
セルフアテンションモジュールに追加の制御機構を導入することで,既存のアーキテクチャを拡張するGated Axial-Attentionモデルを提案する。
医療画像上で効果的にモデルを訓練するために,さらにパフォーマンスを向上させる局所的グローバルトレーニング戦略 (logo) を提案する。
論文 参考訳（メタデータ） (2021-02-21T18:35:14Z) - DoFE: Domain-oriented Feature Embedding for Generalizable Fundus Image
Segmentation on Unseen Datasets [96.92018649136217]
対象ドメインに対するCNNの一般化能力を向上させるために,新しいドメイン指向特徴埋め込み(DoFE)フレームワークを提案する。
私たちのDoFEフレームワークは、マルチソースドメインから学んだ追加のドメイン事前知識で、画像機能を動的に強化します。
本フレームワークは、未確認データセットのセグメンテーション結果を満足して生成し、他の領域の一般化やネットワークの正規化手法を超越する。
論文 参考訳（メタデータ） (2020-10-13T07:28:39Z) - Realistic Adversarial Data Augmentation for MR Image Segmentation [17.951034264146138]
医用画像セグメンテーションのためのニューラルネットワークのトレーニングのための逆データ拡張手法を提案する。
このモデルでは,MR画像における共通の種類のアーチファクトによって生じる強度不均一性,すなわちバイアス場をモデル化する。
このような手法により,モデルの一般化と堅牢性の向上が図られ,低データシナリオにおける大幅な改善が期待できる。
論文 参考訳（メタデータ） (2020-06-23T20:43:18Z) - Pathological Retinal Region Segmentation From OCT Images Using Geometric
Relation Based Augmentation [84.7571086566595]
本稿では,幾何学と形状の内在的関係を共同で符号化することで,従来のGANベースの医用画像合成法よりも優れた手法を提案する。
提案手法は,取得手順の異なる画像を有する公開RETOUCHデータセット上で,最先端のセグメンテーション手法より優れている。
論文 参考訳（メタデータ） (2020-03-31T11:50:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。