論文の概要: Multi-dimension unified Swin Transformer for 3D Lesion Segmentation in
Multiple Anatomical Locations
- arxiv url: http://arxiv.org/abs/2309.01823v1
- Date: Mon, 4 Sep 2023 21:24:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-06 17:13:57.342041
- Title: Multi-dimension unified Swin Transformer for 3D Lesion Segmentation in
Multiple Anatomical Locations
- Title(参考訳): 複数の解剖学的位置における3次元病変分割のための多次元統一スウィントランス
- Authors: Shaoyan Pan, Yiqiao Liu, Sarah Halek, Michal Tomaszewski, Shubing
Wang, Richard Baumgartner, Jianda Yuan, Gregory Goldmacher, Antong Chen
- Abstract要約: 3次元病変分割のためのMDU-ST(multi-dimension unified Swin transformer)と呼ばれる新しいモデルを提案する。
ネットワークの性能はDice similarity coefficient(DSC)とHausdorff distance(HD)で内部の3D病変データセットを用いて評価される。
提案手法は, 放射線学および腫瘍成長モデル研究を支援するために, 自動3次元病変セグメンテーションを行うために用いられる。
- 参考スコア(独自算出の注目度): 1.7413461132662074
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: In oncology research, accurate 3D segmentation of lesions from CT scans is
essential for the modeling of lesion growth kinetics. However, following the
RECIST criteria, radiologists routinely only delineate each lesion on the axial
slice showing the largest transverse area, and delineate a small number of
lesions in 3D for research purposes. As a result, we have plenty of unlabeled
3D volumes and labeled 2D images, and scarce labeled 3D volumes, which makes
training a deep-learning 3D segmentation model a challenging task. In this
work, we propose a novel model, denoted a multi-dimension unified Swin
transformer (MDU-ST), for 3D lesion segmentation. The MDU-ST consists of a
Shifted-window transformer (Swin-transformer) encoder and a convolutional
neural network (CNN) decoder, allowing it to adapt to 2D and 3D inputs and
learn the corresponding semantic information in the same encoder. Based on this
model, we introduce a three-stage framework: 1) leveraging large amount of
unlabeled 3D lesion volumes through self-supervised pretext tasks to learn the
underlying pattern of lesion anatomy in the Swin-transformer encoder; 2)
fine-tune the Swin-transformer encoder to perform 2D lesion segmentation with
2D RECIST slices to learn slice-level segmentation information; 3) further
fine-tune the Swin-transformer encoder to perform 3D lesion segmentation with
labeled 3D volumes. The network's performance is evaluated by the Dice
similarity coefficient (DSC) and Hausdorff distance (HD) using an internal 3D
lesion dataset with 593 lesions extracted from multiple anatomical locations.
The proposed MDU-ST demonstrates significant improvement over the competing
models. The proposed method can be used to conduct automated 3D lesion
segmentation to assist radiomics and tumor growth modeling studies. This paper
has been accepted by the IEEE International Symposium on Biomedical Imaging
(ISBI) 2023.
- Abstract(参考訳): 腫瘍学研究において,CTスキャンによる病変の正確な3次元分割は,病変成長動態のモデル化に不可欠である。
しかし, 腹直筋の基準に従って, 放射線科医は横方向面積が最も大きい軸方向のスライス上の各病変のみを定位し, 研究目的では, 少数の病変を3dで定位する。
その結果、ラベル付き3Dボリュームやラベル付き2Dイメージ、ラベル付き3Dボリュームが不足しているため、ディープラーニング3Dセグメンテーションモデルのトレーニングが困難な課題となっている。
本研究では,MDU-ST(Multi-dimension unified Swin transformer)と呼ばれる3次元病変分割のための新しいモデルを提案する。
MDU-STは、シフトウインドウ変換器(Swin-transformer)エンコーダと畳み込みニューラルネットワーク(CNN)デコーダからなり、2Dおよび3D入力に適応し、対応する意味情報を同じエンコーダで学習することができる。
このモデルに基づいて、3段階のフレームワークを紹介します。
1)Swin-transformerエンコーダの病変解剖パターンを学習するために,自己教師型プレテキストタスクを通じて大量のラベルのない3D病変量を活用する。
2) スライスレベルセグメンテーション情報を学ぶために,スウィントランスフォーマエンコーダを細調整して,2次元直腸スライスを用いた2次元病変セグメンテーションを行う。
3)さらにスウィントランスフォーマエンコーダを微調整し,ラベル付き3dボリュームで3d病変分割を行う。
ネットワークの性能はDice similarity coefficient(DSC)とHausdorff distance(HD)で評価され,複数の解剖学的位置から593個の病変を抽出した内部3D病変データセットを用いて評価した。
提案したMDU-STは、競合するモデルよりも大幅に改善されている。
提案手法は, 放射線治療および腫瘍増殖モデル研究を支援するために, 自動3次元病変分画を行うことができる。
この論文は、IEEE International Symposium on Biomedical Imaging (ISBI) 2023で受け入れられている。
関連論文リスト
- Large Generative Model Assisted 3D Semantic Communication [51.17527319441436]
本稿では,GAM-3DSC(Generative AI Model Assisted 3D SC)システムを提案する。
まず,ユーザ要求に基づいて3次元シナリオからキーセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティクスを抽出する。
次に、これらの多視点画像を符号化するための適応意味圧縮モデル(ASCM)を提案する。
最後に、物理チャネルのチャネル状態情報(CSI)を推定・精査するために、条件付き生成逆数ネットワークと拡散モデル支援チャネル推定(GDCE)を設計する。
論文 参考訳(メタデータ) (2024-03-09T03:33:07Z) - MOSformer: Momentum encoder-based inter-slice fusion transformer for
medical image segmentation [15.94370954641629]
2.5Dベースのセグメンテーションモデルは、しばしば各スライスを等しく扱い、スライス間の情報を効果的に学習し活用することができない。
この問題を解決するために,新しいMomentumエンコーダを用いたスライス間核融合トランス (MOSformer) を提案する。
MOSformerは3つのベンチマークデータセット(Synapse、ACDC、AMOS)で評価され、それぞれ85.63%、92.19%、85.43%の新たな最先端技術を確立する。
論文 参考訳(メタデータ) (2024-01-22T11:25:59Z) - Spatiotemporal Modeling Encounters 3D Medical Image Analysis:
Slice-Shift UNet with Multi-View Fusion [0.0]
本稿では,2次元CNNにおける3次元特徴をエンコードする2次元モデルSlice SHift UNetを提案する。
より正確にマルチビュー機能は、ボリュームの3次元平面に沿って2次元の畳み込みを実行することで協調的に学習される。
提案手法の有効性は,多モード腹部多臓器軸 (AMOS) と Cranial Vault (BTCV) データセットを越えたマルチアトラスラベリング (Multi-Atlas Labeling Beyond the Cranial Vault) で検証した。
論文 参考訳(メタデータ) (2023-07-24T14:53:23Z) - View-Disentangled Transformer for Brain Lesion Detection [50.4918615815066]
より正確な腫瘍検出のためのMRI特徴抽出のための新しいビューディペンタングル変換器を提案する。
まず, 3次元脳スキャンにおいて, 異なる位置の長距離相関を求める。
第二に、トランスフォーマーはスライス機能のスタックを複数の2Dビューとしてモデル化し、これらの機能をビュー・バイ・ビューとして拡張する。
第三に、提案したトランスモジュールをトランスのバックボーンに展開し、脳病変を取り巻く2D領域を効果的に検出する。
論文 参考訳(メタデータ) (2022-09-20T11:58:23Z) - Dynamic Linear Transformer for 3D Biomedical Image Segmentation [2.440109381823186]
トランスフォーマーベースのニューラルネットワークは、多くのバイオメディカルイメージセグメンテーションタスクにおいて、有望なパフォーマンスを上回っている。
3次元トランスを用いた分割法の主な課題は、自己認識機構によって引き起こされる二次的複雑性である。
本稿では,エンコーダ・デコーダ方式の線形複雑化を用いた3次元医用画像分割のためのトランスフォーマアーキテクチャを提案する。
論文 参考訳(メタデータ) (2022-06-01T21:15:01Z) - A unified 3D framework for Organs at Risk Localization and Segmentation
for Radiation Therapy Planning [56.52933974838905]
現在の医療ワークフローは、OAR(Organs-at-risk)のマニュアル記述を必要とする
本研究は,OARローカライゼーション・セグメンテーションのための統合された3Dパイプラインの導入を目的とする。
提案手法は医用画像に固有の3Dコンテキスト情報の活用を可能にする。
論文 参考訳(メタデータ) (2022-03-01T17:08:41Z) - Swin UNETR: Swin Transformers for Semantic Segmentation of Brain Tumors
in MRI Images [7.334185314342017]
我々はSwin UNEt TRansformers(Swin UNETR)と呼ばれる新しいセグメンテーションモデルを提案する。
このモデルは、シフトしたウィンドウを利用して、5つの異なる解像度で特徴を抽出し、自己注意を演算する。
我々は、BraTS 2021セグメンテーションチャレンジに参加し、提案したモデルは、検証フェーズにおける最も優れたアプローチの1つである。
論文 参考訳(メタデータ) (2022-01-04T18:01:34Z) - Automated Model Design and Benchmarking of 3D Deep Learning Models for
COVID-19 Detection with Chest CT Scans [72.04652116817238]
3D胸部CTスキャン分類のための3D DLモデルを自動的に検索するための差別化可能なニューラルネットワーク探索(DNAS)フレームワークを提案する。
また,我々のモデルのクラスアクティベーションマッピング(cam)技術を利用して,結果の解釈可能性を提供する。
論文 参考訳(メタデータ) (2021-01-14T03:45:01Z) - TSGCNet: Discriminative Geometric Feature Learning with Two-Stream
GraphConvolutional Network for 3D Dental Model Segmentation [141.2690520327948]
2流グラフ畳み込みネットワーク(TSGCNet)を提案し、異なる幾何学的特性から多視点情報を学ぶ。
3次元口腔内スキャナーで得られた歯科モデルのリアルタイムデータセットを用いてTSGCNetの評価を行った。
論文 参考訳(メタデータ) (2020-12-26T08:02:56Z) - Revisiting 3D Context Modeling with Supervised Pre-training for
Universal Lesion Detection in CT Slices [48.85784310158493]
CTスライスにおける普遍的病変検出のための3Dコンテキスト強化2D特徴を効率的に抽出するための修飾擬似3次元特徴ピラミッドネットワーク(MP3D FPN)を提案する。
新たな事前学習手法により,提案したMP3D FPNは,DeepLesionデータセット上での最先端検出性能を実現する。
提案された3Dプリトレーニングウェイトは、他の3D医療画像分析タスクのパフォーマンスを高めるために使用できる。
論文 参考訳(メタデータ) (2020-12-16T07:11:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。