論文の概要: Mixture-of-Shape-Experts (MoSE): End-to-End Shape Dictionary Framework to Prompt SAM for Generalizable Medical Segmentation
- arxiv url: http://arxiv.org/abs/2504.09601v1
- Date: Sun, 13 Apr 2025 14:34:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-15 16:53:22.174094
- Title: Mixture-of-Shape-Experts (MoSE): End-to-End Shape Dictionary Framework to Prompt SAM for Generalizable Medical Segmentation
- Title(参考訳): Mixture-of-Shape-Experts (MoSE): 一般化可能な医療セグメンテーションのためのSAMをプロンプトするためのエンドツーエンド形状辞書フレームワーク
- Authors: Jia Wei, Xiaoqi Zhao, Jonghye Woo, Jinsong Ouyang, Georges El Fakhri, Qingyu Chen, Xiaofeng Liu,
- Abstract要約: そこで我々は,Mixture-of-Shape-Experts (MoSE) フレームワークを提案し,Mixture-of-Experts (MoE) トレーニングの考え方を辞書学習にシームレスに統合する。
本手法は,各辞書の原子を形状専門家として概念化し,個々の意味的形状情報を符号化する。
ゲーティングネットワークは、これらの形状の専門家を動的に融合して頑丈な形状マップを作り、SAMエンコーディングによってスパースアクティベーションを誘導して過度な適合を防ぐ。
- 参考スコア(独自算出の注目度): 18.269371724383067
- License:
- Abstract: Single domain generalization (SDG) has recently attracted growing attention in medical image segmentation. One promising strategy for SDG is to leverage consistent semantic shape priors across different imaging protocols, scanner vendors, and clinical sites. However, existing dictionary learning methods that encode shape priors often suffer from limited representational power with a small set of offline computed shape elements, or overfitting when the dictionary size grows. Moreover, they are not readily compatible with large foundation models such as the Segment Anything Model (SAM). In this paper, we propose a novel Mixture-of-Shape-Experts (MoSE) framework that seamlessly integrates the idea of mixture-of-experts (MoE) training into dictionary learning to efficiently capture diverse and robust shape priors. Our method conceptualizes each dictionary atom as a shape expert, which specializes in encoding distinct semantic shape information. A gating network dynamically fuses these shape experts into a robust shape map, with sparse activation guided by SAM encoding to prevent overfitting. We further provide this shape map as a prompt to SAM, utilizing the powerful generalization capability of SAM through bidirectional integration. All modules, including the shape dictionary, are trained in an end-to-end manner. Extensive experiments on multiple public datasets demonstrate its effectiveness.
- Abstract(参考訳): 単一領域一般化(SDG)は近年,医療画像のセグメンテーションにおいて注目を集めている。
SDGの有望な戦略の1つは、様々な画像プロトコル、スキャナベンダー、臨床現場にまたがる一貫性のあるセマンティックな形状を活用することである。
しかし, 従来の辞書学習手法では, 表象力に制限があり, オフラインで計算した図形要素のセットが少なかったり, 辞書サイズが大きくなると過度に収まる場合が多い。
さらに、Segment Anything Model (SAM)のような大きな基盤モデルと容易には互換性がない。
本稿では,Mixture-of-Shape-Experts (MoSE) フレームワークを提案する。
本手法は,各辞書の原子を形状専門家として概念化し,個々の意味的形状情報を符号化する。
ゲーティングネットワークは、これらの形状の専門家を動的に融合して頑丈な形状マップを作り、SAMエンコーディングによってスパースアクティベーションを誘導して過度な適合を防ぐ。
さらに,この形状図をSAMへのプロンプトとして提供し,双方向統合によるSAMの強力な一般化能力を活用する。
形状辞書を含む全てのモジュールはエンドツーエンドで訓練される。
複数の公開データセットに対する大規模な実験は、その有効性を示している。
関連論文リスト
- Shape-intensity knowledge distillation for robust medical image segmentation [32.182670290036214]
セグメント化ネットワークに結合形状インテンシティ事前情報を組み込む新しい手法を提案する。
5つの医用画像セグメンテーションタスクの実験により,提案した形状-強度知識蒸留(Shape-Intensity Knowledge Distillation)が一貫していくつかのベースラインモデルを改善することが示された。
論文 参考訳(メタデータ) (2024-09-26T03:21:21Z) - Prompting Segment Anything Model with Domain-Adaptive Prototype for Generalizable Medical Image Segmentation [49.5901368256326]
医用画像のセグメンテーションにおけるセグメンテーションモデル(DAPSAM)の微調整のための新しいドメイン適応型プロンプトフレームワークを提案する。
DAPSAMは,2つの医療画像分割タスクにおいて,異なるモダリティで最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2024-09-19T07:28:33Z) - Multi-Scale and Detail-Enhanced Segment Anything Model for Salient Object Detection [58.241593208031816]
Segment Anything Model (SAM) は、強力なセグメンテーションと一般化機能を提供する視覚的基本モデルとして提案されている。
実物検出のためのMDSAM(Multi-scale and Detail-enhanced SAM)を提案する。
実験により,複数のSODデータセット上でのモデルの優れた性能が示された。
論文 参考訳(メタデータ) (2024-08-08T09:09:37Z) - PosSAM: Panoptic Open-vocabulary Segment Anything [58.72494640363136]
PosSAMはオープン・ボキャブラリ・パノプティ・セグメンテーション・モデルであり、Segment Anything Model(SAM)の強みを、エンドツーエンドのフレームワークで視覚ネイティブのCLIPモデルと統合する。
本稿では,マスクの質を適応的に向上し,各画像の推論中にオープン語彙分類の性能を高めるマスク対応選択組立アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-03-14T17:55:03Z) - ShapeMatcher: Self-Supervised Joint Shape Canonicalization,
Segmentation, Retrieval and Deformation [47.94499636697971]
本稿では,関節形状の正準化,分節化,検索,変形を行うための自己教師型学習フレームワークであるShapeMatcherを提案する。
ShapeMakerの重要な洞察は、標準化、セグメンテーション、検索、変形という4つの高関連プロセスの同時トレーニングである。
論文 参考訳(メタデータ) (2023-11-18T15:44:57Z) - Learning with Explicit Shape Priors for Medical Image Segmentation [17.110893665132423]
UNetモデルにおけるセグメント化性能を向上させるために,新しい形状先行モジュール(SPM)を提案する。
明示的な形状の先行は、大域的および局所的な形状の先行から成っている。
提案手法は最先端の性能を実現する。
論文 参考訳(メタデータ) (2023-03-31T11:12:35Z) - Adaptive Convolutional Dictionary Network for CT Metal Artifact
Reduction [62.691996239590125]
本稿では,金属人工物削減のための適応畳み込み辞書ネットワーク(ACDNet)を提案する。
我々のACDNetは、トレーニングデータを介して、アーティファクトフリーCT画像の事前を自動で学習し、入力されたCT画像ごとに表現カーネルを適応的に調整することができる。
本手法は,モデルに基づく手法の明確な解釈可能性を継承し,学習に基づく手法の強力な表現能力を維持する。
論文 参考訳(メタデータ) (2022-05-16T06:49:36Z) - Frame Averaging for Equivariant Shape Space Learning [85.42901997467754]
形状空間学習に対称性を組み込む自然な方法は、形状空間(エンコーダ)への写像と形状空間(デコーダ)からの写像が関連する対称性に同値であることを問うことである。
本稿では,2つのコントリビューションを導入することで,エンコーダとデコーダの等価性を組み込む枠組みを提案する。
論文 参考訳(メタデータ) (2021-12-03T06:41:19Z) - Shape-aware Semi-supervised 3D Semantic Segmentation for Medical Images [24.216869988183092]
本稿では,豊富なラベルのないデータを活用し,セグメント化出力に幾何学的形状制約を課す,形状認識型半教師付きセグメンテーション戦略を提案する。
物体表面のセマンティックセグメンテーションと符号付き距離マップDMを共同で予測するマルチタスクディープネットワークを開発した。
実験の結果,提案手法は形状推定を改良し,最先端の手法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2020-07-21T11:44:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。