論文の概要: Spatial Context-Aware Self-Attention Model For Multi-Organ Segmentation
- arxiv url: http://arxiv.org/abs/2012.09279v1
- Date: Wed, 16 Dec 2020 21:39:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-03 05:39:36.534236
- Title: Spatial Context-Aware Self-Attention Model For Multi-Organ Segmentation
- Title（参考訳）: マルチオーガンセグメンテーションのための空間文脈認識自己照準モデル
- Authors: Hao Tang, Xingwei Liu, Kun Han, Shanlin Sun, Narisu Bai, Xuming Chen,
Huang Qian, Yong Liu, Xiaohui Xie
- Abstract要約: マルチ組織セグメンテーションは、医学画像解析におけるディープラーニングの最も成功した応用の1つである。
深部畳み込みニューラルネット(CNN)は,CT画像やMRI画像上で臨床応用画像のセグメンテーション性能を達成する上で非常に有望である。
本研究では,高分解能2次元畳み込みによりセグメンテーションを実現する3次元モデルと2次元モデルを組み合わせた新しい枠組みを提案する。
- 参考スコア（独自算出の注目度）: 18.76436457395804
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-organ segmentation is one of most successful applications of deep
learning in medical image analysis. Deep convolutional neural nets (CNNs) have
shown great promise in achieving clinically applicable image segmentation
performance on CT or MRI images. State-of-the-art CNN segmentation models apply
either 2D or 3D convolutions on input images, with pros and cons associated
with each method: 2D convolution is fast, less memory-intensive but inadequate
for extracting 3D contextual information from volumetric images, while the
opposite is true for 3D convolution. To fit a 3D CNN model on CT or MRI images
on commodity GPUs, one usually has to either downsample input images or use
cropped local regions as inputs, which limits the utility of 3D models for
multi-organ segmentation. In this work, we propose a new framework for
combining 3D and 2D models, in which the segmentation is realized through
high-resolution 2D convolutions, but guided by spatial contextual information
extracted from a low-resolution 3D model. We implement a self-attention
mechanism to control which 3D features should be used to guide 2D segmentation.
Our model is light on memory usage but fully equipped to take 3D contextual
information into account. Experiments on multiple organ segmentation datasets
demonstrate that by taking advantage of both 2D and 3D models, our method is
consistently outperforms existing 2D and 3D models in organ segmentation
accuracy, while being able to directly take raw whole-volume image data as
inputs.
- Abstract（参考訳）: 医用画像解析における深層学習の最も成功した応用の1つである。
深部畳み込みニューラルネット(CNN)は,CT画像やMRI画像上で臨床応用画像のセグメンテーション性能を達成する上で非常に有望である。
最先端のcnnセグメンテーションモデルでは、入力画像に2dまたは3dの畳み込みを適用でき、2d畳み込みは高速であり、メモリ集約性が低いが、ボリューム画像から3dコンテキスト情報を抽出するには不十分である。
3D CNNモデルをCTまたはMRI画像のコモディティGPUに適合させるためには、通常、入力イメージをダウンサンプルするか、収穫した局所領域を入力として使用する必要がある。
本研究では,高分解能2次元畳み込みによってセグメンテーションを実現するが,低分解能3次元モデルから抽出した空間的文脈情報に導かれる3次元モデルと2次元モデルを組み合わせた新しい枠組みを提案する。
2dセグメンテーションのガイドに使用する3d機能を制御するためのセルフアテンション機構を実装した。
我々のモデルはメモリ使用量に重点を置いているが、3Dコンテキスト情報を考慮に入れている。
複数の臓器セグメンテーションデータセットを用いた実験により,2dモデルと3dモデルの両方を利用することで,既存の2dモデルと3dモデルとを,臓器セグメンテーション精度で一貫して上回っており,しかも全ボリューム画像データを入力として直接取得できることを示した。
関連論文リスト
- Repeat and Concatenate: 2D to 3D Image Translation with 3D to 3D Generative Modeling [14.341099905684844]
本稿では,2次元X線と3次元CTライクな再構成が可能な2次元-3次元画像変換法について,簡単な手法で検討する。
我々は,潜伏空間内の複数の2次元ビューにまたがる情報を統合する既存のアプローチが,潜伏符号化中に貴重な信号情報を失うことを観察する。代わりに,2次元ビューを高チャネルの3次元ボリュームに繰り返して,簡単な3次元から3次元生成モデル問題として3次元再構成課題にアプローチする。
この方法では、再構成された3Dボリュームが、2D入力から貴重な情報を保持でき、Swin Uのチャネル状態間で渡される。
論文 参考訳（メタデータ） (2024-06-26T15:18:20Z) - DatasetNeRF: Efficient 3D-aware Data Factory with Generative Radiance
Fields [73.97131748433212]
本稿では,無限で高品質な3Dアノテーションを3Dポイントクラウドセグメンテーションとともに生成できる新しいアプローチを提案する。
我々は3次元生成モデルに先立って強力なセマンティクスを活用してセマンティクスデコーダを訓練する。
トレーニングが完了すると、デコーダは遅延空間を効率よく一般化し、無限のデータの生成を可能にする。
論文 参考訳（メタデータ） (2023-11-18T21:58:28Z) - Spatiotemporal Modeling Encounters 3D Medical Image Analysis:
Slice-Shift UNet with Multi-View Fusion [0.0]
本稿では,2次元CNNにおける3次元特徴をエンコードする2次元モデルSlice SHift UNetを提案する。
より正確にマルチビュー機能は、ボリュームの3次元平面に沿って2次元の畳み込みを実行することで協調的に学習される。
提案手法の有効性は,多モード腹部多臓器軸 (AMOS) と Cranial Vault (BTCV) データセットを越えたマルチアトラスラベリング (Multi-Atlas Labeling Beyond the Cranial Vault) で検証した。
論文 参考訳（メタデータ） (2023-07-24T14:53:23Z) - Joint-MAE: 2D-3D Joint Masked Autoencoders for 3D Point Cloud
Pre-training [65.75399500494343]
Masked Autoencoders (MAE) は、2Dおよび3Dコンピュータビジョンのための自己教師型学習において有望な性能を示した。
自己監督型3次元点雲事前学習のための2D-3DジョイントMAEフレームワークであるJoint-MAEを提案する。
論文 参考訳（メタデータ） (2023-02-27T17:56:18Z) - Lightweight integration of 3D features to improve 2D image segmentation [1.3799488979862027]
画像のセグメンテーションは3次元の基底構造を必要とせずに3次元の幾何学的情報から恩恵を受けることができることを示す。
提案手法は,多くの2次元セグメンテーションネットワークに適用でき,性能を大幅に向上させることができる。
論文 参考訳（メタデータ） (2022-12-16T08:22:55Z) - MvDeCor: Multi-view Dense Correspondence Learning for Fine-grained 3D
Segmentation [91.6658845016214]
そこで本研究では,2次元領域における自己教師型手法を,微細な3次元形状分割作業に活用することを提案する。
複数のビューから3次元形状を描画し、コントラスト学習フレームワーク内に密接な対応学習タスクを設置する。
その結果、学習された2次元表現はビュー不変であり、幾何学的に一貫性がある。
論文 参考訳（メタデータ） (2022-08-18T00:48:15Z) - Super Images -- A New 2D Perspective on 3D Medical Imaging Analysis [0.0]
トレーニング中に3次元知識を効率的に埋め込んで3次元データを扱うための,シンプルで効果的な2次元手法を提案する。
本手法は3次元画像にスライスを並べて超高分解能画像を生成する。
2次元ネットワークのみを利用した3次元ネットワークを実現する一方で、モデルの複雑さはおよそ3倍に減少する。
論文 参考訳（メタデータ） (2022-05-05T09:59:03Z) - Cylindrical and Asymmetrical 3D Convolution Networks for LiDAR-based
Perception [122.53774221136193]
運転時のLiDARに基づく認識のための最先端の手法は、しばしば点雲を2D空間に投影し、2D畳み込みによって処理する。
自然な対策として、3Dボクセル化と3D畳み込みネットワークを利用する方法がある。
本研究では,3次元幾何学的パターンを探索するために,円筒状分割と非対称な3次元畳み込みネットワークを設計する,屋外LiDARセグメンテーションのための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-12T06:25:11Z) - Multi-Modality Task Cascade for 3D Object Detection [22.131228757850373]
多くの手法は2つのモデルを個別に訓練し、単純な特徴結合を用いて3Dセンサーデータを表現している。
本稿では,3次元ボックスの提案を利用して2次元セグメンテーション予測を改善する新しいマルチモードタスクカスケードネットワーク(MTC-RCNN)を提案する。
2段階の3次元モジュール間の2次元ネットワークを組み込むことで,2次元および3次元のタスク性能が大幅に向上することを示す。
論文 参考訳（メタデータ） (2021-07-08T17:55:01Z) - Cylinder3D: An Effective 3D Framework for Driving-scene LiDAR Semantic
Segmentation [87.54570024320354]
大規模運転シーンのLiDARセマンティックセマンティックセグメンテーションのための最先端の手法は、しばしば2D空間の点雲を投影して処理する。
3D-to-2Dプロジェクションの問題に取り組むための簡単な解決策は、3D表現を保ち、3D空間の点を処理することである。
我々は3次元シリンダー分割と3次元シリンダー畳み込みに基づくフレームワークをCylinder3Dとして開発し,3次元トポロジの関係と運転シーンの点雲の構造を利用する。
論文 参考訳（メタデータ） (2020-08-04T13:56:19Z) - PerMO: Perceiving More at Once from a Single Image for Autonomous
Driving [76.35684439949094]
単一画像から完全テクスチャ化された車両の3次元モデルを検出し,セグメント化し,再構成する新しい手法を提案する。
私たちのアプローチは、ディープラーニングの強みと従来のテクニックの優雅さを組み合わせています。
我々はこれらのアルゴリズムを自律運転システムに統合した。
論文 参考訳（メタデータ） (2020-07-16T05:02:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。