論文の概要: Uni-Encoder Meets Multi-Encoders: Representation Before Fusion for Brain Tumor Segmentation with Missing Modalities
- arxiv url: http://arxiv.org/abs/2604.22177v1
- Date: Fri, 24 Apr 2026 03:02:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-27 15:36:26.319998
- Title: Uni-Encoder Meets Multi-Encoders: Representation Before Fusion for Brain Tumor Segmentation with Missing Modalities
- Title（参考訳）: ユニエンコーダとマルチエンコーダ: 欠損モードを伴う脳腫瘍切片の融合前の表現
- Authors: Peibo Song, Xiaotian Xue, Jinshuo Zhang, Zihao Wang, Jinhua Liu, Shujun Fu, Fangxun Bao, Si Yong Yeo,
- Abstract要約: 脳腫瘍の分節化のための2段階ヘテロジニアス法であるUniMEを提案する。
UniMEは、微細な構造キャプチャー、クロスモーダルな相補性モデリング、利用可能なモダリティの活用の間のトレードオフを精査する。
BraTS 2023 と BraTS 2024 の実験では、UniME は不完全なマルチモーダルシナリオ下で従来の手法よりも優れていた。
- 参考スコア（独自算出の注目度）: 15.253982306329393
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal MRI offers complementary information for brain tumor segmentation, but clinical scans often lack one or more modalities, which degrades segmentation performance. In this paper, we propose UniME (Uni-Encoder Meets Multi-Encoders), a two-stage heterogeneous method for brain tumor segmentation with missing modalities that reconciles the trade-offs among fine-grained structure capture, cross-modal complementarity modeling, and exploitation of available modalities. The idea is to decouple representation learning from segmentation via a two-stage heterogeneous architecture. Stage 1 pretrains a single ViT Uni-Encoder with masked image modeling to establish a unified representation robust to missing modalities. Stage 2 adds modality-specific CNN Multi-Encoders to extract high-resolution, multi-scale, fine-grained features. We fuse these features with the global representation to produce precise segmentations. Experiments on BraTS 2023 and BraTS 2024 show that UniME outperforms previous methods under incomplete multi-modal scenarios. The code is available at https://github.com/Hooorace-S/UniME
- Abstract（参考訳）: マルチモーダルMRIは、脳腫瘍のセグメンテーションを補完する情報を提供するが、臨床スキャンでは1つ以上のモダリティが欠如しており、セグメンテーションのパフォーマンスが低下する。
本論文では, 微細構造キャプチャ, クロスモーダル相補性モデリング, 利用可能なモダリティの活用を両立させる, 脳腫瘍セグメンテーションのための2段階ヘテロジニアス手法UniMEを提案する。
この考え方は、表現学習を2段階の不均一なアーキテクチャを通じてセグメンテーションから切り離すことである。
ステージ1では、マスク付きイメージモデリングを備えた単一のViTユニエンコーダを事前訓練し、欠落したモダリティに対して堅牢な統一表現を確立する。
ステージ2では、高解像度、マルチスケール、きめ細かい特徴を抽出するために、モダリティ固有のCNNマルチエンコーダが追加されている。
これらの特徴をグローバル表現と融合して正確なセグメンテーションを生成する。
BraTS 2023 と BraTS 2024 の実験では、UniME は不完全なマルチモーダルシナリオ下で従来の手法よりも優れていた。
コードはhttps://github.com/Hooorace-S/UniMEで入手できる。
関連論文リスト
- Multimodal Visual Surrogate Compression for Alzheimer's Disease Classification [69.87877580725768]
MVSC(Multimodal Visual Surrogate Compression)は、大規模な3D sMRIボリュームをコンパクトな2D機能に圧縮し、適応させることを学ぶ。
MVSCには2つの重要なコンポーネントがある: テキストガイダンスの下でグローバルなクロススライスコンテキストをキャプチャするボリュームコンテキストと、テキストエンハンスでパッチワイズな方法でスライスレベルの情報を集約するAdaptive Slice Fusionモジュール。
論文 参考訳（メタデータ） (2026-01-29T13:05:46Z) - UniMRSeg: Unified Modality-Relax Segmentation via Hierarchical Self-Supervised Compensation [104.59740403500132]
マルチモーダルイメージセグメンテーションは、不完全/破損したモダリティの劣化による実際のデプロイメント課題に直面している。
階層型自己教師型補償(HSSC)による統一Modality-relaxセグメンテーションネットワーク(UniMRSeg)を提案する。
我々のアプローチは、入力レベル、特徴レベル、出力レベルをまたいだ完全なモダリティと不完全なモダリティの間の表現ギャップを階層的に橋渡しします。
論文 参考訳（メタデータ） (2025-09-19T17:29:25Z) - OmniSegmentor: A Flexible Multi-Modal Learning Framework for Semantic Segmentation [74.55725909072903]
我々はOmniSegmentorと呼ばれる新しいマルチモーダル学習フレームワークを提案する。
ImageNetに基づいて、ImageNeXtと呼ばれるマルチモーダル事前学習のための大規模なデータセットを組み立てる。
様々なシナリオにまたがってモデルの知覚能力を一貫して増幅する、普遍的なマルチモーダル事前学習フレームワークを導入する。
論文 参考訳（メタデータ） (2025-09-18T15:52:44Z) - XLSTM-HVED: Cross-Modal Brain Tumor Segmentation and MRI Reconstruction Method Using Vision XLSTM and Heteromodal Variational Encoder-Decoder [9.141615533517719]
我々は,XLSTM-HVEDモデルを導入し,ヘテロモーダルエンコーダ・デコーダ・フレームワークをVision XLSTMモジュールと統合し,欠落したMRIモダリティを再構築する。
このアプローチの主な革新は、モーダル機能の統合を改善する自己意識変動(SAVE)モジュールである。
BraTS 2024データセットを用いた実験では、モダリティが欠落している場合の処理において、既存の先進的手法を著しく上回ります。
論文 参考訳（メタデータ） (2024-12-09T09:04:02Z) - MulModSeg: Enhancing Unpaired Multi-Modal Medical Image Segmentation with Modality-Conditioned Text Embedding and Alternating Training [10.558275557142137]
マルチモーダル(MulModSeg)戦略を提案する。
MulModSegは、凍結されたテキストエンコーダを介して、モダリティ条件付きテキスト埋め込みフレームワークを組み込んでいる。
腹部多臓器および心室サブ構造をCTとMRの両方で分画する従来の方法より一貫して優れていた。
論文 参考訳（メタデータ） (2024-11-23T14:37:01Z) - M$^{2}$SNet: Multi-scale in Multi-scale Subtraction Network for Medical Image Segmentation [66.89632406480949]
医用画像から多様なセグメンテーションを仕上げるマルチスケールサブトラクションネットワーク(M$2$SNet)を提案する。
本手法は,4つの異なる医用画像セグメンテーションタスクの11つのデータセットに対して,異なる評価基準の下で,ほとんどの最先端手法に対して好意的に機能する。
論文 参考訳（メタデータ） (2023-03-20T06:26:49Z) - M3AE: Multimodal Representation Learning for Brain Tumor Segmentation
with Missing Modalities [29.455215925816187]
マルチモーダルMRI(Multimodal magnetic resonance imaging)は、脳腫瘍のサブリージョン解析に補完的な情報を提供する。
画像の破損、アーティファクト、取得プロトコル、コントラストエージェントへのアレルギー、あるいは単にコストによって1つ以上のモダリティが欠落することが一般的である。
そこで本研究では,脳腫瘍切除のための新しい2段階の枠組みを提案する。
論文 参考訳（メタデータ） (2023-03-09T14:54:30Z) - mmFormer: Multimodal Medical Transformer for Incomplete Multimodal
Learning of Brain Tumor Segmentation [38.22852533584288]
3つの主要要素を持つ不完全なマルチモーダル学習のための新しい医療変換器(mmFormer)を提案する。
提案した mmFormer は, ほぼすべての不完全様相のサブセット上で, 不完全多モード脳腫瘍のセグメント化の最先端手法より優れている。
論文 参考訳（メタデータ） (2022-06-06T08:41:56Z) - Modality Completion via Gaussian Process Prior Variational Autoencoders
for Multi-Modal Glioma Segmentation [75.58395328700821]
本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。
MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。
4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
論文 参考訳（メタデータ） (2021-07-07T19:06:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。