論文の概要: RefSAM3D: Adapting SAM with Cross-modal Reference for 3D Medical Image Segmentation

• arxiv url: http://arxiv.org/abs/2412.05605v1
• Date: Sat, 07 Dec 2024 10:22:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:55:19.847137
• Title: RefSAM3D: Adapting SAM with Cross-modal Reference for 3D Medical Image Segmentation
• Title（参考訳）: RefSAM3D:3次元医用画像分割のためのクロスモーダル参照によるSAM適応
• Authors: Xiang Gao, Kai Lu,
• Abstract要約: Segment Anything Model(SAM)は、2Dの自然画像のグローバルなパターンを捉えるのに優れています。 本稿では,3次元画像アダプティブと相互参照プロンプト生成を組み込むことにより,SAMを3次元医用画像に適応させるRefSAM3Dを紹介する。 医療画像における複雑な解剖学的構造を正確に区分する上で,SAMの応用を推し進めた。
• 参考スコア（独自算出の注目度）: 17.69664156349825
• License:
• Abstract: The Segment Anything Model (SAM), originally built on a 2D Vision Transformer (ViT), excels at capturing global patterns in 2D natural images but struggles with 3D medical imaging modalities like CT and MRI. These modalities require capturing spatial information in volumetric space for tasks such as organ segmentation and tumor quantification. To address this challenge, we introduce RefSAM3D, which adapts SAM for 3D medical imaging by incorporating a 3D image adapter and cross-modal reference prompt generation. Our approach modifies the visual encoder to handle 3D inputs and enhances the mask decoder for direct 3D mask generation. We also integrate textual prompts to improve segmentation accuracy and consistency in complex anatomical scenarios. By employing a hierarchical attention mechanism, our model effectively captures and integrates information across different scales. Extensive evaluations on multiple medical imaging datasets demonstrate the superior performance of RefSAM3D over state-of-the-art methods. Our contributions advance the application of SAM in accurately segmenting complex anatomical structures in medical imaging.
• Abstract（参考訳）: Segment Anything Model(SAM)は、2D Vision Transformer(ViT)をベースとして開発されたもので、2Dの自然画像のグローバルなパターンを捉えるのに優れています。 これらのモダリティは、臓器のセグメンテーションや腫瘍の定量化といったタスクのために、体積空間における空間情報をキャプチャする必要がある。 この課題に対処するために,3次元画像アダプタと相互参照プロンプト生成を組み込むことにより,SAMを3次元医用画像に適応させるRefSAM3Dを提案する。 提案手法は,3次元入力を処理するために視覚エンコーダを改良し,直接3次元マスク生成のためのマスクデコーダを強化する。 また、複雑な解剖学的シナリオにおけるセグメンテーションの精度と一貫性を改善するためにテキストプロンプトを統合する。 階層的な注意機構を用いることで、我々のモデルは様々なスケールの情報を効果的に捕捉し統合する。 複数の医用画像データセットに対する広範囲な評価は、最先端の手法よりもRefSAM3Dの優れた性能を示す。 医療画像における複雑な解剖学的構造を正確に区分する上で,SAMの応用を推し進めた。

関連論文リスト

• Autoregressive Sequence Modeling for 3D Medical Image Representation [48.706230961589924]
  本稿では, 自己回帰シーケンス事前学習フレームワークを用いて, 3次元医用画像表現を学習するための先駆的手法を提案する。 我々は,空間的,コントラスト的,意味的相関に基づく様々な3次元医用画像にアプローチし,トークンシーケンス内の相互接続された視覚トークンとして扱う。
  論文  参考訳（メタデータ） (2024-09-13T10:19:10Z)
• SAM3D: Zero-Shot Semi-Automatic Segmentation in 3D Medical Images with the Segment Anything Model [3.2554912675000818]
  SAM3Dは,既存のセグメンテーションモデル上に構築された3次元画像の半自動ゼロショットセグメンテーションのための新しいアプローチである。 ユーザが3Dポリラインでプロンプトし、複数の軸に沿ってボリュームスライスし、事前訓練されたモデルでスライスワイド推論を行い、3Dで再構成と洗練を行う4段階の戦略で、3D画像の高速かつ正確なセグメンテーションを実現する。
  論文  参考訳（メタデータ） (2024-05-10T19:26:17Z)
• Generative Enhancement for 3D Medical Images [74.17066529847546]
  本稿では,3次元医用画像合成の新しい生成手法であるGEM-3Dを提案する。 本手法は2次元スライスから始まり,3次元スライスマスクを用いて患者に提供するための情報スライスとして機能し,生成過程を伝搬する。 3D医療画像をマスクと患者の事前情報に分解することで、GEM-3Dは多目的な3D画像を生成する柔軟な、かつ効果的なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-03-19T15:57:04Z)
• SDR-Former: A Siamese Dual-Resolution Transformer for Liver Lesion Classification Using 3D Multi-Phase Imaging [59.78761085714715]
  本研究は肝病変分類のための新しいSDR-Formerフレームワークを提案する。 提案フレームワークは2つの臨床データセットに関する総合的な実験を通じて検証された。 科学コミュニティを支援するため,肝病変解析のための多段階MRデータセットを公開しています。
  論文  参考訳（メタデータ） (2024-02-27T06:32:56Z)
• MinD-3D: Reconstruct High-quality 3D objects in Human Brain [50.534007259536715]
  Recon3DMindは、fMRI(Functional Magnetic Resonance Imaging)信号から3次元視覚を再構成するための革新的なタスクである。 このデータセットは14人の参加者のデータを含み、3Dオブジェクトの360度ビデオが特徴である。 我々は,脳の3次元視覚情報をfMRI信号から復号化するための,新規で効果的な3段階フレームワークMinD-3Dを提案する。
  論文  参考訳（メタデータ） (2023-12-12T18:21:36Z)
• SAM-Med3D: Towards General-purpose Segmentation Models for Volumetric Medical Images [35.83393121891959]
  ボリューム医療画像の汎用セグメンテーションのためのSAM-Med3Dを提案する。 SAM-Med3Dは様々な解剖学的構造と病変を正確に分類することができる。 提案手法は,医療資源を多用した汎用医療AIの開発に活用できることを実証するものである。
  論文  参考訳（メタデータ） (2023-10-23T17:57:36Z)
• MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image Segmentation [58.53672866662472]
  我々はMA-SAMと命名されたモダリティに依存しないSAM適応フレームワークを提案する。 本手法は,重量増加のごく一部だけを更新するためのパラメータ効率の高い微調整戦略に根ざしている。 画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。
  論文  参考訳（メタデータ） (2023-09-16T02:41:53Z)
• SAM3D: Segment Anything Model in Volumetric Medical Images [11.764867415789901]
  本稿では,3次元ボリューム画像解析に適した革新的適応であるSAM3Dを紹介する。 我々のSAM3Dモデルは、ボリュームを個別に2次元スライスに変換することでボリュームデータを分割する現在のSAMベース手法とは異なり、統一的なアプローチで全3次元ボリューム画像を処理する。
  論文  参考訳（メタデータ） (2023-09-07T06:05:28Z)
• 3DSAM-adapter: Holistic adaptation of SAM from 2D to 3D for promptable tumor segmentation [52.699139151447945]
  医用画像の領域分割を行うために, SAMを2次元から3次元に変換する新しい適応法を提案する。 本モデルでは, 腎腫瘍, 膵腫瘍, 大腸癌の3つのタスクのうち8.25%, 29.87%, 10.11%の3つのタスクにおいて, ドメイン・オブ・ザ・アーティヴ・メディカル・イメージ・セグメンテーション・モデルより優れ, 肝腫瘍セグメンテーションでも同様の性能が得られる。
  論文  参考訳（メタデータ） (2023-06-23T12:09:52Z)
• MedGen3D: A Deep Generative Framework for Paired 3D Image and Mask Generation [17.373961762646356]
  我々は3次元医用画像とマスクをペアで生成できるフレームワークであるMedGen3Dを紹介する。 提案フレームワークは,合成画像とセグメンテーションマップの正確なアライメントを保証する。
  論文  参考訳（メタデータ） (2023-04-08T21:43:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。