論文の概要: A Foundation Model for Brain Lesion Segmentation with Mixture of Modality Experts
- arxiv url: http://arxiv.org/abs/2405.10246v2
- Date: Tue, 16 Jul 2024 07:59:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 20:49:21.441605
- Title: A Foundation Model for Brain Lesion Segmentation with Mixture of Modality Experts
- Title（参考訳）: モダリティエキスパートの混在による脳病変分割の基礎モデル
- Authors: Xinru Zhang, Ni Ou, Berke Doga Basaran, Marco Visentin, Mengyun Qiao, Renyang Gu, Cheng Ouyang, Yaou Liu, Paul M. Matthew, Chuyang Ye, Wenjia Bai,
- Abstract要約: 本稿では3次元脳病変分割のための普遍的基礎モデルを提案する。
我々は,様々な画像モダリティに対応する複数のエキスパートネットワークを備えた,新しいMixture of Modality Experts (MoME) フレームワークを定式化する。
我々のモデルは最先端のユニバーサルモデルより優れており、目に見えないデータセットに有望な一般化を提供する。
- 参考スコア（独自算出の注目度）: 3.208907282505264
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Brain lesion segmentation plays an essential role in neurological research and diagnosis. As brain lesions can be caused by various pathological alterations, different types of brain lesions tend to manifest with different characteristics on different imaging modalities. Due to this complexity, brain lesion segmentation methods are often developed in a task-specific manner. A specific segmentation model is developed for a particular lesion type and imaging modality. However, the use of task-specific models requires predetermination of the lesion type and imaging modality, which complicates their deployment in real-world scenarios. In this work, we propose a universal foundation model for 3D brain lesion segmentation, which can automatically segment different types of brain lesions for input data of various imaging modalities. We formulate a novel Mixture of Modality Experts (MoME) framework with multiple expert networks attending to different imaging modalities. A hierarchical gating network combines the expert predictions and fosters expertise collaboration. Furthermore, we introduce a curriculum learning strategy during training to avoid the degeneration of each expert network and preserve their specialization. We evaluated the proposed method on nine brain lesion datasets, encompassing five imaging modalities and eight lesion types. The results show that our model outperforms state-of-the-art universal models and provides promising generalization to unseen datasets.
- Abstract（参考訳）: 脳病変の分節は神経研究や診断において重要な役割を担っている。
脳病変は様々な病理学的変化によって引き起こされる可能性があるため、異なるタイプの脳病変は、異なる画像モダリティに異なる特徴を持つ傾向がある。
この複雑さのため、脳病変のセグメンテーション法はしばしばタスク固有の方法で開発される。
特定の病変タイプと画像のモダリティに対して、特定のセグメンテーションモデルを開発する。
しかし、タスク固有のモデルを使用することで、病変のタイプや画像のモダリティが事前に決定され、現実のシナリオへの展開が複雑になる。
そこで本研究では,様々な画像モダリティの入力データに対して,異なる種類の脳病変を自動的に分割できる3次元脳病変分割のための普遍的基礎モデルを提案する。
我々は,様々な画像モダリティに対応する複数のエキスパートネットワークを備えた,新しいMixture of Modality Experts (MoME) フレームワークを定式化する。
階層的なゲーティングネットワークは、専門家の予測を組み合わせて、専門的なコラボレーションを促進する。
さらに、各専門家ネットワークの劣化を回避し、その専門性を維持するために、訓練中のカリキュラム学習戦略を導入する。
提案手法は5つの画像モダリティと8種類の病変を含む9つの脳病変データセットを用いて評価した。
その結果、我々のモデルは最先端のユニバーサルモデルよりも優れており、未知のデータセットに有望な一般化を提供することが示された。
関連論文リスト
- KA$^2$ER: Knowledge Adaptive Amalgamation of ExpeRts for Medical Images Segmentation [5.807887214293438]
本稿では,多元的基礎モデルを学習し,複数のエキスパートモデルの協調的な目標に対処することを目的としたアダプティブ・アマルガメーション・ナレッジ・フレームワークを提案する。
特に、まず、各タスクに対してnnUNetベースのエキスパートモデルをトレーニングし、トレーニング済みのSwinUNTERをターゲット基盤モデルとして再利用する。
隠蔽層内の階層的アテンション機構は、すべての専門家の隠蔽層の特徴知識にターゲットモデルの適応的なマージを実現するように設計されている。
論文 参考訳（メタデータ） (2024-10-28T14:49:17Z) - Feasibility and benefits of joint learning from MRI databases with different brain diseases and modalities for segmentation [2.7575121770012503]
脳の病態やモダリティのセットが異なるマルチモーダルMRIデータベースのジョイントトレーニングが実現可能であり,実用的利益をもたらすことを示す。
単一のモデルで、様々なモダリティのセットでトレーニング中に遭遇した病理を分割することができる。
論文 参考訳（メタデータ） (2024-05-28T18:28:10Z) - MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。
現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。
我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
論文 参考訳（メタデータ） (2024-04-11T15:46:42Z) - Psychometry: An Omnifit Model for Image Reconstruction from Human Brain Activity [60.983327742457995]
人間の脳活動から見るイメージを再構築することで、人間とコンピュータのビジョンをBrain-Computer Interfaceを通して橋渡しする。
異なる被験者から得られた機能的磁気共鳴イメージング(fMRI)による画像再構成のための全能モデルであるサイコメトリを考案した。
論文 参考訳（メタデータ） (2024-03-29T07:16:34Z) - QUBIQ: Uncertainty Quantification for Biomedical Image Segmentation Challenge [93.61262892578067]
医用画像分割作業の不確実性、特にラター間変動性は重要な課題である。
この可変性は、自動セグメンテーションアルゴリズムの開発と評価に直接影響を及ぼす。
バイオメディカル画像量化チャレンジ(QUBIQ)における不確実性の定量化のベンチマーク結果を報告する。
論文 参考訳（メタデータ） (2024-03-19T17:57:24Z) - Modality-Aware and Shift Mixer for Multi-modal Brain Tumor Segmentation [12.094890186803958]
マルチモーダル画像のモダリティ内依存性とモダリティ間依存性を統合した新しいModality Aware and Shift Mixerを提案する。
具体的には,低レベルのモザイク対関係をモデル化するためのニューロイメージング研究に基づいてModality-Awareモジュールを導入し,モザイクパターンを具体化したModality-Shiftモジュールを開発し,高レベルのモザイク間の複雑な関係を自己注意を通して探索する。
論文 参考訳（メタデータ） (2024-03-04T14:21:51Z) - Brain-ID: Learning Contrast-agnostic Anatomical Representations for
Brain Imaging [11.06907516321673]
脳画像のための解剖学的表現学習モデルであるBrain-IDを導入する。
提案された"Mild-to-Severe"イントラオブジェクト生成により、Brain-IDは被験者固有の脳解剖に対して堅牢である。
本稿では,物体内および物体間ロバスト性を評価するための新しい指標を提案し,その性能を4つの下流アプリケーションで評価する。
論文 参考訳（メタデータ） (2023-11-28T16:16:10Z) - Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。
中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。
on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文 参考訳（メタデータ） (2022-01-07T07:46:01Z) - Few-shot Medical Image Segmentation using a Global Correlation Network
with Discriminative Embedding [60.89561661441736]
医療画像分割のための新しい手法を提案する。
深層畳み込みネットワークを用いた数ショット画像セグメンタを構築します。
深層埋め込みの識別性を高め,同一クラスの特徴領域のクラスタリングを促進する。
論文 参考訳（メタデータ） (2020-12-10T04:01:07Z) - Learning joint segmentation of tissues and brain lesions from
task-specific hetero-modal domain-shifted datasets [6.049813979681482]
本稿では,タスク固有のデータセットから関節組織と病変のセグメンテーションモデルを構築するための新しい手法を提案する。
予測されるリスクがどのように分解され、経験的に最適化されるかを示す。
それぞれのタスクに対して、我々のジョイントアプローチはタスク固有のモデルと完全に教師されたモデルに匹敵するパフォーマンスを達成します。
論文 参考訳（メタデータ） (2020-09-08T22:00:00Z) - Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement
and Gated Fusion [71.87627318863612]
画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。
我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。
我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
論文 参考訳（メタデータ） (2020-02-22T14:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。