論文の概要: A Flexible 2.5D Medical Image Segmentation Approach with In-Slice and Cross-Slice Attention
- arxiv url: http://arxiv.org/abs/2405.00130v1
- Date: Tue, 30 Apr 2024 18:28:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-02 17:26:02.464181
- Title: A Flexible 2.5D Medical Image Segmentation Approach with In-Slice and Cross-Slice Attention
- Title(参考訳): インスライス・クロススライス・アテンションを用いたフレキシブル2.5次元医用画像分割法
- Authors: Amarjeet Kumar, Hongxu Jiang, Muhammad Imran, Cyndi Valdes, Gabriela Leon, Dahyun Kang, Parvathi Nataraj, Yuyin Zhou, Michael D. Weiss, Wei Shao,
- Abstract要約: 任意の数のスライスで2.5D画像を処理できるフレキシブル2.5DセグメンテーションモデルであるCSA-Netを紹介する。
1)脳MRI,(2)バイナリ前立腺MRIのセグメンテーション,(3)マルチクラス前立腺MRIのセグメンテーションの3つのタスクについてCSA-Netを評価した。
- 参考スコア(独自算出の注目度): 13.895277069418045
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Deep learning has become the de facto method for medical image segmentation, with 3D segmentation models excelling in capturing complex 3D structures and 2D models offering high computational efficiency. However, segmenting 2.5D images, which have high in-plane but low through-plane resolution, is a relatively unexplored challenge. While applying 2D models to individual slices of a 2.5D image is feasible, it fails to capture the spatial relationships between slices. On the other hand, 3D models face challenges such as resolution inconsistencies in 2.5D images, along with computational complexity and susceptibility to overfitting when trained with limited data. In this context, 2.5D models, which capture inter-slice correlations using only 2D neural networks, emerge as a promising solution due to their reduced computational demand and simplicity in implementation. In this paper, we introduce CSA-Net, a flexible 2.5D segmentation model capable of processing 2.5D images with an arbitrary number of slices through an innovative Cross-Slice Attention (CSA) module. This module uses the cross-slice attention mechanism to effectively capture 3D spatial information by learning long-range dependencies between the center slice (for segmentation) and its neighboring slices. Moreover, CSA-Net utilizes the self-attention mechanism to understand correlations among pixels within the center slice. We evaluated CSA-Net on three 2.5D segmentation tasks: (1) multi-class brain MRI segmentation, (2) binary prostate MRI segmentation, and (3) multi-class prostate MRI segmentation. CSA-Net outperformed leading 2D and 2.5D segmentation methods across all three tasks, demonstrating its efficacy and superiority. Our code is publicly available at https://github.com/mirthAI/CSA-Net.
- Abstract(参考訳): 深層学習は、複雑な3次元構造を捉えるのに優れた3次元セグメンテーションモデルと高い計算効率を提供する2次元モデルにより、医用画像セグメンテーションのデファクト手法となっている。
しかし、高平面高解像度かつ低平面高解像度の2.5D画像の分割は、比較的未発見の課題である。
2.5D画像の個々のスライスに2Dモデルを適用することは可能だが、スライス間の空間的関係を捉えることは不可能である。
一方、3Dモデルでは、2.5D画像の解像度の不整合や、計算の複雑さ、限られたデータでトレーニングした場合の過度な適合への感受性といった課題に直面している。
この文脈では、2Dニューラルネットワークのみを使用してスライス間相関をキャプチャする2.5Dモデルは、計算要求の低減と実装の単純さにより、有望な解決策として浮上する。
本稿では,CSA(Cross-Slice Attention)モジュールを用いて,任意の数のスライスで2.5D画像を処理できるフレキシブルな2.5DセグメンテーションモデルであるCSA-Netを紹介する。
このモジュールは、中心スライス(セグメンテーション)と隣接するスライスの間の長距離依存関係を学習することにより、3次元空間情報を効果的にキャプチャするクロススライスアテンション機構を使用する。
さらに,CSA-Netは,中央スライス内の画素間の相関関係を理解するために自己認識機構を利用する。
我々は,CSA-Netを3つの2.5D領域に分けて評価した:(1)多クラス脳MRI,(2)バイナリ前立腺MRI,(3)多クラス前立腺MRIのセグメンテーション。
CSA-Netは3つのタスクすべてで2Dと2.5Dのセグメンテーション手法を上回り、その有効性と優越性を実証した。
私たちのコードはhttps://github.com/mirthAI/CSA-Net.comで公開されています。
関連論文リスト
- Augmented Efficiency: Reducing Memory Footprint and Accelerating Inference for 3D Semantic Segmentation through Hybrid Vision [9.96433151449016]
本稿では,2次元と3次元のコンピュータビジョン技術を組み合わせた3次元セマンティックセグメンテーションの新たなアプローチを提案する。
我々は3次元点雲にリンクしたRGB画像に対して2Dセマンティックセマンティックセマンティックセマンティクスを行い、その結果をクラスラベルの押出手法を用いて3Dに拡張する。
このモデルは、KITTI-360データセット上の最先端の3Dセマンティックセマンティックセグメンテーションモデルとして機能する。
論文 参考訳(メタデータ) (2024-07-23T00:04:10Z) - Spatiotemporal Modeling Encounters 3D Medical Image Analysis:
Slice-Shift UNet with Multi-View Fusion [0.0]
本稿では,2次元CNNにおける3次元特徴をエンコードする2次元モデルSlice SHift UNetを提案する。
より正確にマルチビュー機能は、ボリュームの3次元平面に沿って2次元の畳み込みを実行することで協調的に学習される。
提案手法の有効性は,多モード腹部多臓器軸 (AMOS) と Cranial Vault (BTCV) データセットを越えたマルチアトラスラベリング (Multi-Atlas Labeling Beyond the Cranial Vault) で検証した。
論文 参考訳(メタデータ) (2023-07-24T14:53:23Z) - Joint-MAE: 2D-3D Joint Masked Autoencoders for 3D Point Cloud
Pre-training [65.75399500494343]
Masked Autoencoders (MAE) は、2Dおよび3Dコンピュータビジョンのための自己教師型学習において有望な性能を示した。
自己監督型3次元点雲事前学習のための2D-3DジョイントMAEフレームワークであるJoint-MAEを提案する。
論文 参考訳(メタデータ) (2023-02-27T17:56:18Z) - Adjacent Slice Feature Guided 2.5D Network for Pulmonary Nodule
Segmentation [11.960631781470811]
パラメータや計算量が少ない2次元分割法はスライス間の空間的関係を欠いている。
本稿では, この問題を解決するために, 隣り合うスライス特徴量2.5Dネットワークを提案する。
本手法は肺結節分節作業における他の方法よりも優れている。
論文 参考訳(メタデータ) (2022-11-19T06:13:18Z) - MvDeCor: Multi-view Dense Correspondence Learning for Fine-grained 3D
Segmentation [91.6658845016214]
そこで本研究では,2次元領域における自己教師型手法を,微細な3次元形状分割作業に活用することを提案する。
複数のビューから3次元形状を描画し、コントラスト学習フレームワーク内に密接な対応学習タスクを設置する。
その結果、学習された2次元表現はビュー不変であり、幾何学的に一貫性がある。
論文 参考訳(メタデータ) (2022-08-18T00:48:15Z) - Two-Stream Graph Convolutional Network for Intra-oral Scanner Image
Segmentation [133.02190910009384]
本稿では,2ストリームグラフ畳み込みネットワーク(TSGCN)を提案する。
TSGCNは3次元歯(表面)セグメンテーションにおいて最先端の方法よりも優れています。
論文 参考訳(メタデータ) (2022-04-19T10:41:09Z) - Cylindrical and Asymmetrical 3D Convolution Networks for LiDAR-based
Perception [122.53774221136193]
運転時のLiDARに基づく認識のための最先端の手法は、しばしば点雲を2D空間に投影し、2D畳み込みによって処理する。
自然な対策として、3Dボクセル化と3D畳み込みネットワークを利用する方法がある。
本研究では,3次元幾何学的パターンを探索するために,円筒状分割と非対称な3次元畳み込みネットワークを設計する,屋外LiDARセグメンテーションのための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-12T06:25:11Z) - PAENet: A Progressive Attention-Enhanced Network for 3D to 2D Retinal
Vessel Segmentation [0.0]
光コヒーレンス・トモグラフィー(OCTA)画像では3次元から2次元の網膜血管セグメンテーションは難しい問題である。
本稿では,多機能表現を抽出するアテンション機構に基づくプログレッシブ・アテンション・エンハンスメント・ネットワーク(PAENet)を提案する。
提案アルゴリズムは,従来の手法と比較して最先端性能を実現する。
論文 参考訳(メタデータ) (2021-08-26T10:27:25Z) - TSGCNet: Discriminative Geometric Feature Learning with Two-Stream
GraphConvolutional Network for 3D Dental Model Segmentation [141.2690520327948]
2流グラフ畳み込みネットワーク(TSGCNet)を提案し、異なる幾何学的特性から多視点情報を学ぶ。
3次元口腔内スキャナーで得られた歯科モデルのリアルタイムデータセットを用いてTSGCNetの評価を行った。
論文 参考訳(メタデータ) (2020-12-26T08:02:56Z) - Spatial Context-Aware Self-Attention Model For Multi-Organ Segmentation [18.76436457395804]
マルチ組織セグメンテーションは、医学画像解析におけるディープラーニングの最も成功した応用の1つである。
深部畳み込みニューラルネット(CNN)は,CT画像やMRI画像上で臨床応用画像のセグメンテーション性能を達成する上で非常に有望である。
本研究では,高分解能2次元畳み込みによりセグメンテーションを実現する3次元モデルと2次元モデルを組み合わせた新しい枠組みを提案する。
論文 参考訳(メタデータ) (2020-12-16T21:39:53Z) - Learning 2D-3D Correspondences To Solve The Blind Perspective-n-Point
Problem [98.92148855291363]
本稿では、6-DoFの絶対カメラポーズ2D--3D対応を同時に解決するディープCNNモデルを提案する。
実データとシミュレーションデータの両方でテストした結果,本手法は既存手法よりも大幅に優れていた。
論文 参考訳(メタデータ) (2020-03-15T04:17:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。