論文の概要: Tri-Plane Mamba: Efficiently Adapting Segment Anything Model for 3D Medical Images
- arxiv url: http://arxiv.org/abs/2409.08492v1
- Date: Fri, 13 Sep 2024 02:37:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-16 17:58:09.231128
- Title: Tri-Plane Mamba: Efficiently Adapting Segment Anything Model for 3D Medical Images
- Title(参考訳): Tri-Plane Mamba: 3次元医用画像のセグメンテーションモデルへの適応
- Authors: Hualiang Wang, Yiqun Lin, Xinpeng Ding, Xiaomeng Li,
- Abstract要約: 3次元医用画像分割のための一般的なネットワークは、最近広範囲にわたる探索が行われている。
SAM(Segment Anything Model)の出現により、このモデルは2次元医用画像分割タスクにおいて優れた性能を得られるようになった。
1)局所的な深度レベルの情報を効率的に処理するために最適化されたマルチスケール3次元畳み込みアダプタ,2)長距離深度レベルの表現を捉えるために設計された三面体マンバモジュールである。
- 参考スコア(独自算出の注目度): 16.55283939924806
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: General networks for 3D medical image segmentation have recently undergone extensive exploration. Behind the exceptional performance of these networks lies a significant demand for a large volume of pixel-level annotated data, which is time-consuming and labor-intensive. The emergence of the Segment Anything Model (SAM) has enabled this model to achieve superior performance in 2D medical image segmentation tasks via parameter- and data-efficient feature adaptation. However, the introduction of additional depth channels in 3D medical images not only prevents the sharing of 2D pre-trained features but also results in a quadratic increase in the computational cost for adapting SAM. To overcome these challenges, we present the Tri-Plane Mamba (TP-Mamba) adapters tailored for the SAM, featuring two major innovations: 1) multi-scale 3D convolutional adapters, optimized for efficiently processing local depth-level information, 2) a tri-plane mamba module, engineered to capture long-range depth-level representation without significantly increasing computational costs. This approach achieves state-of-the-art performance in 3D CT organ segmentation tasks. Remarkably, this superior performance is maintained even with scarce training data. Specifically using only three CT training samples from the BTCV dataset, it surpasses conventional 3D segmentation networks, attaining a Dice score that is up to 12% higher.
- Abstract(参考訳): 3次元医用画像分割のための一般的なネットワークは、最近広範囲にわたる探索が行われている。
これらのネットワークの異常な性能の背後には、大量のピクセルレベルの注釈付きデータに対する大きな需要がある。
SAM(Segment Anything Model)の出現により,パラメータとデータ効率を考慮した2次元画像分割作業において,優れた性能が得られるようになった。
しかし、3次元医用画像に追加の深度チャネルを導入することで、2次元事前訓練された特徴の共有が防止されるだけでなく、SAMの適応に要する計算コストが2次的に増加する。
これらの課題を克服するために、SAM用に設計されたTri-Plane Mamba(TP-Mamba)アダプタを紹介します。
1) 局所深度情報処理に最適化されたマルチスケール3次元畳み込みアダプタ。
2) 3面マンバモジュールは, 計算コストを大幅に増大させることなく, 長距離深度レベルの表現を捉えるために設計された。
本手法は3次元CT臓器分割作業における最先端性能を実現する。
注目すべきは、この優れたパフォーマンスは、訓練データが少なくても維持されることだ。
具体的には、BTCVデータセットからの3つのCTトレーニングサンプルを使用して、従来の3Dセグメンテーションネットワークを越え、最大12%高いDiceスコアを得る。
関連論文リスト
- EM-Net: Efficient Channel and Frequency Learning with Mamba for 3D Medical Image Segmentation [3.6813810514531085]
我々は,EM-Netと呼ばれる新しい3次元医用画像セグメンテーションモデルを紹介し,その成功に触発されて,新しいマンバベースの3次元医用画像セグメンテーションモデルであるEM-Netを紹介した。
提案手法は,SOTAモデルのパラメータサイズをほぼ半分にし,訓練速度を2倍に向上させながら,より高精度なセグメンテーション精度を示すことを示す。
論文 参考訳(メタデータ) (2024-09-26T09:34:33Z) - E2ENet: Dynamic Sparse Feature Fusion for Accurate and Efficient 3D
Medical Image Segmentation [36.367368163120794]
E2ENet(Efficient to Efficient Network)と呼ばれる3次元医用画像分割モデルを提案する。
パラメトリックと計算効率の2つの設計が組み込まれている。
さまざまなリソース制約に対して、正確性と効率性のトレードオフを一貫して達成します。
論文 参考訳(メタデータ) (2023-12-07T22:13:37Z) - MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image
Segmentation [58.53672866662472]
我々はMA-SAMと命名されたモダリティに依存しないSAM適応フレームワークを提案する。
本手法は,重量増加のごく一部だけを更新するためのパラメータ効率の高い微調整戦略に根ざしている。
画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。
論文 参考訳(メタデータ) (2023-09-16T02:41:53Z) - Spatiotemporal Modeling Encounters 3D Medical Image Analysis:
Slice-Shift UNet with Multi-View Fusion [0.0]
本稿では,2次元CNNにおける3次元特徴をエンコードする2次元モデルSlice SHift UNetを提案する。
より正確にマルチビュー機能は、ボリュームの3次元平面に沿って2次元の畳み込みを実行することで協調的に学習される。
提案手法の有効性は,多モード腹部多臓器軸 (AMOS) と Cranial Vault (BTCV) データセットを越えたマルチアトラスラベリング (Multi-Atlas Labeling Beyond the Cranial Vault) で検証した。
論文 参考訳(メタデータ) (2023-07-24T14:53:23Z) - Interpretable 2D Vision Models for 3D Medical Images [47.75089895500738]
本研究では,3次元画像処理における中間特徴表現を用いた2次元ネットワークの適応手法を提案する。
我々は、ベンチマークとして3D MedMNISTデータセットと、既存の手法に匹敵する数百の高分解能CTまたはMRIスキャンからなる2つの実世界のデータセットを示す。
論文 参考訳(メタデータ) (2023-07-13T08:27:09Z) - 3DSAM-adapter: Holistic adaptation of SAM from 2D to 3D for promptable tumor segmentation [52.699139151447945]
医用画像の領域分割を行うために, SAMを2次元から3次元に変換する新しい適応法を提案する。
本モデルでは, 腎腫瘍, 膵腫瘍, 大腸癌の3つのタスクのうち8.25%, 29.87%, 10.11%の3つのタスクにおいて, ドメイン・オブ・ザ・アーティヴ・メディカル・イメージ・セグメンテーション・モデルより優れ, 肝腫瘍セグメンテーションでも同様の性能が得られる。
論文 参考訳(メタデータ) (2023-06-23T12:09:52Z) - Video Pretraining Advances 3D Deep Learning on Chest CT Tasks [63.879848037679224]
大規模自然画像分類データセットの事前学習は、データスカース2D医療タスクのモデル開発に役立っている。
これらの2Dモデルは、3Dコンピュータビジョンベンチマークで3Dモデルに勝っている。
3Dモデルのためのビデオ事前トレーニングにより、より小さなデータセットでより高性能な3D医療タスクを実現することができることを示す。
論文 参考訳(メタデータ) (2023-04-02T14:46:58Z) - Memory-efficient Segmentation of High-resolution Volumetric MicroCT
Images [11.723370840090453]
本稿では,3次元高解像度画像分割のためのメモリ効率の高いネットワークアーキテクチャを提案する。
このネットワークは、2段階のU-netベースのカスケードフレームワークを通じて、グローバル機能とローカル機能の両方を組み込んでいる。
実験により, セグメント化精度とメモリ効率の両方の観点から, 最先端の3Dセグメンテーション法より優れていることが示された。
論文 参考訳(メタデータ) (2022-05-31T16:42:48Z) - Revisiting 3D Context Modeling with Supervised Pre-training for
Universal Lesion Detection in CT Slices [48.85784310158493]
CTスライスにおける普遍的病変検出のための3Dコンテキスト強化2D特徴を効率的に抽出するための修飾擬似3次元特徴ピラミッドネットワーク(MP3D FPN)を提案する。
新たな事前学習手法により,提案したMP3D FPNは,DeepLesionデータセット上での最先端検出性能を実現する。
提案された3Dプリトレーニングウェイトは、他の3D医療画像分析タスクのパフォーマンスを高めるために使用できる。
論文 参考訳(メタデータ) (2020-12-16T07:11:16Z) - Bidirectional RNN-based Few Shot Learning for 3D Medical Image
Segmentation [11.873435088539459]
対象臓器アノテーションの限られたトレーニングサンプルを用いて, 正確な臓器分類を行うための3次元ショットセグメンテーションフレームワークを提案する。
U-Netのようなネットワークは、サポートデータの2次元スライスとクエリイメージの関係を学習することでセグメンテーションを予測するように設計されている。
異なる臓器のアノテーションを付加した3つの3次元CTデータセットを用いて,提案モデルの評価を行った。
論文 参考訳(メタデータ) (2020-11-19T01:44:55Z) - Volumetric Medical Image Segmentation: A 3D Deep Coarse-to-fine
Framework and Its Adversarial Examples [74.92488215859991]
本稿では,これらの課題に効果的に取り組むために,新しい3Dベースの粗粒度フレームワークを提案する。
提案した3Dベースのフレームワークは、3つの軸すべてに沿ってリッチな空間情報を活用できるため、2Dよりも大きなマージンで優れている。
我々は,3つのデータセット,NIH膵データセット,JHMI膵データセット,JHMI病理嚢胞データセットについて実験を行った。
論文 参考訳(メタデータ) (2020-10-29T15:39:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。