論文の概要: PAM: A Propagation-Based Model for Segmenting Any 3D Objects across Multi-Modal Medical Images
- arxiv url: http://arxiv.org/abs/2408.13836v2
- Date: Fri, 25 Oct 2024 08:31:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-08 05:15:13.452141
- Title: PAM: A Propagation-Based Model for Segmenting Any 3D Objects across Multi-Modal Medical Images
- Title(参考訳): PAM: マルチモーダル・メディカル・イメージにまたがる任意の3Dオブジェクトのセグメンテーションモデル
- Authors: Zifan Chen, Xinyu Nan, Jiazheng Li, Jie Zhao, Haifeng Li, Ziling Lin, Haoshen Li, Heyun Chen, Yiting Liu, Lei Tang, Li Zhang, Bin Dong,
- Abstract要約: PAM(Propagating Anything Model)は、境界ボックスやスケッチのような2Dプロンプトを使用して、医療画像ボリュームの完全な3Dセグメンテーションを作成するセグメンテーションアプローチである。
MedSAMやSegVolのような既存のモデルでは、44の医療データセットと様々な種類のオブジェクトに対して平均18.1%以上のダイス類似度係数(DSC)が向上した。
- 参考スコア(独自算出の注目度): 11.373941923130305
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Volumetric segmentation is important in medical imaging, but current methods face challenges like requiring lots of manual annotations and being tailored to specific tasks, which limits their versatility. General segmentation models used for natural images don't perform well with the unique features of medical images. There's a strong need for an adaptable approach that can effectively handle different 3D medical structures and imaging modalities. In this study, we present PAM (Propagating Anything Model), a segmentation approach that uses a 2D prompt, like a bounding box or sketch, to create a complete 3D segmentation of medical image volumes. PAM works by modeling relationships between slices, maintaining information flow across the 3D structure. It combines a CNN-based UNet for processing within slices and a Transformer-based attention module for propagating information between slices, leading to better generalizability across various imaging modalities. PAM significantly outperformed existing models like MedSAM and SegVol, with an average improvement of over 18.1% in dice similarity coefficient (DSC) across 44 medical datasets and various object types. It also showed stable performance despite prompt deviations and different propagation setups, and faster inference speeds compared to other models. PAM's one-view prompt design made it more efficient, reducing interaction time by about 63.6% compared to two-view prompts. Thanks to its focus on structural relationships, PAM handled unseen and complex objects well, showing a unique ability to generalize to new situations. PAM represents an advancement in medical image segmentation, effectively reducing the need for extensive manual work and specialized training. Its adaptability makes it a promising tool for more automated and reliable analysis in clinical settings.
- Abstract(参考訳): ボリュームセグメンテーションは医療画像において重要であるが、現在の手法では、多くの手動アノテーションを必要としたり、特定のタスクに合わせたりすることで、その汎用性を制限するといった課題に直面している。
自然画像の一般的なセグメンテーションモデルは, 医用画像の特徴とよく一致しない。
異なる3D医療構造や画像のモダリティを効果的に扱えるような、適応可能なアプローチが求められています。
本研究では,境界ボックスやスケッチのような2次元プロンプトを用いて医用画像ボリュームの完全な3次元セグメンテーションを作成するセグメンテーション手法であるPAM(Propagating Anything Model)を提案する。
PAMはスライス間の関係をモデル化し、3D構造全体にわたる情報の流れを維持する。
スライス内での処理のためのCNNベースのUNetと、スライス間で情報を伝達するTransformerベースのアテンションモジュールを組み合わせることで、様々な画像モダリティの一般化性が向上する。
PAMは、MedSAMやSegVolのような既存のモデルよりも大幅に優れており、平均的な改善は44の医療データセットと様々な種類のオブジェクトに対して、18.1%以上のダイス類似度係数(DSC)である。
また、急激な偏差と異なる伝播設定にもかかわらず安定した性能を示し、他のモデルよりも高速な推論速度を示した。
PAMのワンビュープロンプト設計により効率が向上し、2ビュープロンプトに比べて相互作用時間が約63.6%削減された。
構造的関係に焦点が当てられているため、PAMは目に見えない複雑な物体をうまく扱い、新しい状況に一般化するユニークな能力を示した。
PAMは医用画像のセグメンテーションの進歩を表しており、広範な手作業や専門訓練の必要性を効果的に軽減している。
その適応性は、臨床現場でより自動化され信頼性の高い分析を行うための有望なツールとなる。
関連論文リスト
- Prompting Segment Anything Model with Domain-Adaptive Prototype for Generalizable Medical Image Segmentation [49.5901368256326]
医用画像のセグメンテーションにおけるセグメンテーションモデル(DAPSAM)の微調整のための新しいドメイン適応型プロンプトフレームワークを提案する。
DAPSAMは,2つの医療画像分割タスクにおいて,異なるモダリティで最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2024-09-19T07:28:33Z) - Unlocking the Power of Spatial and Temporal Information in Medical Multimodal Pre-training [99.2891802841936]
我々は,空間的・時間的微粒なモデリングのためのMed-STフレームワークを提案する。
空間モデリングでは、Med-STはMixture of View Expert (MoVE)アーキテクチャを使用して、正面と横の両方のビューから異なる視覚的特徴を統合する。
時間的モデリングのために,フォワードマッピング分類 (FMC) とリバースマッピング回帰 (RMR) による新たな双方向サイクル整合性目標を提案する。
論文 参考訳(メタデータ) (2024-05-30T03:15:09Z) - SAM3D: Zero-Shot Semi-Automatic Segmentation in 3D Medical Images with the Segment Anything Model [3.2554912675000818]
SAM3Dは,既存のセグメンテーションモデル上に構築された3次元画像の半自動ゼロショットセグメンテーションのための新しいアプローチである。
ユーザが3Dポリラインでプロンプトし、複数の軸に沿ってボリュームスライスし、事前訓練されたモデルでスライスワイド推論を行い、3Dで再構成と洗練を行う4段階の戦略で、3D画像の高速かつ正確なセグメンテーションを実現する。
論文 参考訳(メタデータ) (2024-05-10T19:26:17Z) - Dual-scale Enhanced and Cross-generative Consistency Learning for Semi-supervised Medical Image Segmentation [49.57907601086494]
医用画像のセグメンテーションはコンピュータ支援診断において重要な役割を担っている。
半教師型医用画像(DEC-Seg)のための新しいDual-scale Enhanced and Cross-generative consistency learning frameworkを提案する。
論文 参考訳(メタデータ) (2023-12-26T12:56:31Z) - Promise:Prompt-driven 3D Medical Image Segmentation Using Pretrained
Image Foundation Models [13.08275555017179]
単点プロンプトのみを用いたプロンプト駆動型3次元医用画像分割モデルProMISeを提案する。
今回,大腸癌と膵腫瘍の2つの領域に分布する2つのパブリックデータセットについて検討した。
論文 参考訳(メタデータ) (2023-10-30T16:49:03Z) - SAM-Med3D: Towards General-purpose Segmentation Models for Volumetric Medical Images [35.83393121891959]
ボリューム医療画像の汎用セグメンテーションのためのSAM-Med3Dを提案する。
SAM-Med3Dは様々な解剖学的構造と病変を正確に分類することができる。
提案手法は,医療資源を多用した汎用医療AIの開発に活用できることを実証するものである。
論文 参考訳(メタデータ) (2023-10-23T17:57:36Z) - MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image
Segmentation [58.53672866662472]
我々はMA-SAMと命名されたモダリティに依存しないSAM適応フレームワークを提案する。
本手法は,重量増加のごく一部だけを更新するためのパラメータ効率の高い微調整戦略に根ざしている。
画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。
論文 参考訳(メタデータ) (2023-09-16T02:41:53Z) - SAM3D: Segment Anything Model in Volumetric Medical Images [11.764867415789901]
本稿では,3次元ボリューム画像解析に適した革新的適応であるSAM3Dを紹介する。
我々のSAM3Dモデルは、ボリュームを個別に2次元スライスに変換することでボリュームデータを分割する現在のSAMベース手法とは異なり、統一的なアプローチで全3次元ボリューム画像を処理する。
論文 参考訳(メタデータ) (2023-09-07T06:05:28Z) - Self-Sampling Meta SAM: Enhancing Few-shot Medical Image Segmentation
with Meta-Learning [17.386754270460273]
数ショットの医用画像分割のための自己サンプリングメタSAMフレームワークを提案する。
提案手法は,数発のセグメンテーションにおいて最先端の手法よりも大幅に向上する。
そこで本研究では,対話型画像分割における高速なオンライン適応手法を提案する。
論文 参考訳(メタデータ) (2023-08-31T05:20:48Z) - 3DSAM-adapter: Holistic adaptation of SAM from 2D to 3D for promptable tumor segmentation [52.699139151447945]
医用画像の領域分割を行うために, SAMを2次元から3次元に変換する新しい適応法を提案する。
本モデルでは, 腎腫瘍, 膵腫瘍, 大腸癌の3つのタスクのうち8.25%, 29.87%, 10.11%の3つのタスクにおいて, ドメイン・オブ・ザ・アーティヴ・メディカル・イメージ・セグメンテーション・モデルより優れ, 肝腫瘍セグメンテーションでも同様の性能が得られる。
論文 参考訳(メタデータ) (2023-06-23T12:09:52Z) - MedSegDiff-V2: Diffusion based Medical Image Segmentation with
Transformer [53.575573940055335]
我々は、MedSegDiff-V2と呼ばれるトランスフォーマーベースの拡散フレームワークを提案する。
画像の異なる20種類の画像分割作業において,その有効性を検証する。
論文 参考訳(メタデータ) (2023-01-19T03:42:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。