論文の概要: VISION-MAE: A Foundation Model for Medical Image Segmentation and
Classification
- arxiv url: http://arxiv.org/abs/2402.01034v1
- Date: Thu, 1 Feb 2024 21:45:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 17:42:31.050765
- Title: VISION-MAE: A Foundation Model for Medical Image Segmentation and
Classification
- Title(参考訳): VISION-MAE : 医用画像のセグメンテーションと分類の基礎モデル
- Authors: Zelong Liu, Andrew Tieu, Nikhil Patel, Alexander Zhou, George
Soultanidis, Zahi A. Fayad, Timothy Deyer, Xueyan Mei
- Abstract要約: 医用画像に特化して設計された新しい基礎モデルVISION-MAEを提案する。
VISION-MAEは、様々なモダリティから250万枚の未ラベル画像のデータセットでトレーニングされている。
その後、明示的なラベルを使って分類とセグメンテーションのタスクに適応する。
- 参考スコア(独自算出の注目度): 36.8105960525233
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Artificial Intelligence (AI) has the potential to revolutionize diagnosis and
segmentation in medical imaging. However, development and clinical
implementation face multiple challenges including limited data availability,
lack of generalizability, and the necessity to incorporate multi-modal data
effectively. A foundation model, which is a large-scale pre-trained AI model,
offers a versatile base that can be adapted to a variety of specific tasks and
contexts. Here, we present a novel foundation model, VISION-MAE, specifically
designed for medical imaging. Specifically, VISION-MAE is trained on a dataset
of 2.5 million unlabeled images from various modalities (CT, MR, PET, X-rays,
and ultrasound), using self-supervised learning techniques. It is then adapted
to classification and segmentation tasks using explicit labels. VISION-MAE has
high label efficiency, outperforming several benchmark models in both in-domain
and out-of-domain applications, and achieves high performance even with reduced
availability of labeled data. This model represents a significant advancement
in medical imaging AI, offering a generalizable and robust solution for
improving segmentation and classification tasks while reducing the data
annotation workload.
- Abstract(参考訳): 人工知能(AI)は、医療画像の診断とセグメンテーションに革命をもたらす可能性がある。
しかしながら、開発と臨床実装は、データ可用性の制限、汎用性の欠如、マルチモーダルデータを効果的に組み込む必要性など、複数の課題に直面している。
大規模な事前学習されたaiモデルである基盤モデルは、さまざまな特定のタスクやコンテキストに適応可能な汎用的なベースを提供する。
本稿では,医用画像に特化して設計された新しい基礎モデルVISION-MAEを提案する。
具体的には、自己教師型学習技術を用いて、CT、MR、PET、X線、超音波といった様々なモダリティから2.5万枚の未ラベル画像のデータセットをトレーニングする。
その後、明示的なラベルを使って分類とセグメンテーションタスクに適応する。
VISION-MAEはラベルの効率が高く、ドメイン内およびドメイン外のアプリケーションでいくつかのベンチマークモデルより優れており、ラベル付きデータの可用性が低い場合でも高いパフォーマンスを実現している。
このモデルは、医療画像aiの大きな進歩を表しており、データアノテーションのワークロードを削減しつつ、セグメンテーションと分類タスクを改善するための汎用的でロバストなソリューションを提供する。
関連論文リスト
- Training Small Multimodal Models to Bridge Biomedical Competency Gap: A
Case Study in Radiology Imaging [114.43429928419755]
バイオメディカル・コンピテンシー・ギャップを橋渡しするオープンソース小型マルチモーダル・モデル(SMM)の訓練について検討する。
LLaVA-Radは高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文 参考訳(メタデータ) (2024-03-12T18:12:02Z) - Overcoming Data Scarcity in Biomedical Imaging with a Foundational
Multi-Task Model [2.5994154212235685]
大規模に事前訓練された基礎モデルは、医療以外の領域でかなりの成功を収めている。
本稿では,メモリ要件からトレーニングタスク数を分離するマルチタスク学習戦略を提案する。
論文 参考訳(メタデータ) (2023-11-16T12:20:25Z) - Exploring Transfer Learning in Medical Image Segmentation using
Vision-Language Models [0.9324036842528547]
本稿では,VLSMの2次元医用画像への変換学習に関する最初のベンチマーク研究について述べる。
以上の結果から,VLSMは自然画像とテキストのペアで訓練され,ゼロショット設定で医療領域に合理的に移行することが示唆された。
しかし、微調整中の言語プロンプトのさらなる利点は限られているかもしれない。
論文 参考訳(メタデータ) (2023-08-15T11:28:21Z) - Self-Prompting Large Vision Models for Few-Shot Medical Image
Segmentation [14.135249795318591]
本稿では,医療ビジョン応用における自己プロンプトの新たな視点を提案する。
我々は、Segment Anything Modelの埋め込み空間を利用して、単純だが効果的な線形ピクセルワイド分類器を通して自身を誘導する。
複数のデータセットで競合する結果を得る。
論文 参考訳(メタデータ) (2023-08-15T08:20:07Z) - Empirical Analysis of a Segmentation Foundation Model in Prostate
Imaging [9.99042549094606]
医療画像セグメンテーションのための基盤モデルUniverSegについて考察する。
本研究では,前立腺画像の文脈における経験的評価研究を行い,従来のタスク固有セグメンテーションモデルの訓練手法と比較する。
論文 参考訳(メタデータ) (2023-07-06T20:00:52Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳(メタデータ) (2023-06-20T22:21:34Z) - Domain Generalization for Mammographic Image Analysis with Contrastive
Learning [62.25104935889111]
効果的なディープラーニングモデルのトレーニングには、さまざまなスタイルと品質を備えた大規模なデータが必要である。
より優れたスタイルの一般化能力を備えた深層学習モデルを実現するために,新しいコントラスト学習法が開発された。
提案手法は,様々なベンダスタイルドメインのマンモグラムや,いくつかのパブリックデータセットを用いて,広範囲かつ厳密に評価されている。
論文 参考訳(メタデータ) (2023-04-20T11:40:21Z) - Vision-Language Modelling For Radiological Imaging and Reports In The
Low Data Regime [70.04389979779195]
本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。
本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。
テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
論文 参考訳(メタデータ) (2023-03-30T18:20:00Z) - MedSegDiff-V2: Diffusion based Medical Image Segmentation with
Transformer [53.575573940055335]
我々は、MedSegDiff-V2と呼ばれるトランスフォーマーベースの拡散フレームワークを提案する。
画像の異なる20種類の画像分割作業において,その有効性を検証する。
論文 参考訳(メタデータ) (2023-01-19T03:42:36Z) - Analysing the effectiveness of a generative model for semi-supervised
medical image segmentation [23.898954721893855]
自動セグメンテーションにおける最先端技術は、U-Netのような差別モデルを用いて、教師付き学習のままである。
半教師付き学習(SSL)は、より堅牢で信頼性の高いモデルを得るために、重複のないデータの豊富さを活用する。
セマンティックGANのような深層生成モデルは、医療画像分割問題に取り組むための真に実行可能な代替手段である。
論文 参考訳(メタデータ) (2022-11-03T15:19:59Z) - Modality Completion via Gaussian Process Prior Variational Autoencoders
for Multi-Modal Glioma Segmentation [75.58395328700821]
本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。
MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。
4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
論文 参考訳(メタデータ) (2021-07-07T19:06:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。