論文の概要: NestedFormer: Nested Modality-Aware Transformer for Brain Tumor
Segmentation
- arxiv url: http://arxiv.org/abs/2208.14876v1
- Date: Wed, 31 Aug 2022 14:04:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-01 13:54:20.154826
- Title: NestedFormer: Nested Modality-Aware Transformer for Brain Tumor
Segmentation
- Title（参考訳）: NestedFormer:Nested Modality-Aware Transformer for Brain tumor Segmentation
- Authors: Zhaohu Xing and Lequan Yu and Liang Wan and Tong Han and Lei Zhu
- Abstract要約: そこで我々は,Nested Modality-Aware Transformer (NestedFormer) を提案する。
変換器をベースとしたマルチエンコーダと単一デコーダ構造に基づいて,異なるモードの高レベル表現に対してネストしたマルチモーダル融合を行う。
- 参考スコア（独自算出の注目度）: 29.157465321864265
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Multi-modal MR imaging is routinely used in clinical practice to diagnose and
investigate brain tumors by providing rich complementary information. Previous
multi-modal MRI segmentation methods usually perform modal fusion by
concatenating multi-modal MRIs at an early/middle stage of the network, which
hardly explores non-linear dependencies between modalities. In this work, we
propose a novel Nested Modality-Aware Transformer (NestedFormer) to explicitly
explore the intra-modality and inter-modality relationships of multi-modal MRIs
for brain tumor segmentation. Built on the transformer-based multi-encoder and
single-decoder structure, we perform nested multi-modal fusion for high-level
representations of different modalities and apply modality-sensitive gating
(MSG) at lower scales for more effective skip connections. Specifically, the
multi-modal fusion is conducted in our proposed Nested Modality-aware Feature
Aggregation (NMaFA) module, which enhances long-term dependencies within
individual modalities via a tri-orientated spatial-attention transformer, and
further complements key contextual information among modalities via a
cross-modality attention transformer. Extensive experiments on BraTS2020
benchmark and a private meningiomas segmentation (MeniSeg) dataset show that
the NestedFormer clearly outperforms the state-of-the-arts. The code is
available at https://github.com/920232796/NestedFormer.
- Abstract（参考訳）: マルチモーダルMR画像は、豊富な補完情報を提供することで、脳腫瘍を診断し、調査するための臨床実践で日常的に使用される。
従来のマルチモーダルmriセグメンテーション法は通常、ネットワークの早期/中期にマルチモーダルmriを結合することでモーダル融合を行うが、モダリティ間の非線形依存性をほとんど探さない。
本研究では,脳腫瘍分割のためのマルチモーダルmriのモーダル内およびモダリティ間関係を明示的に探究する,nestedformer (nestedformer) を提案する。
トランスベースのマルチエンコーダとシングルデコーダ構造に基づいて,異なるモダリティの高レベル表現のためのネスト型マルチモーダル融合を行い,より効果的なスキップ接続のためにモダリティセンシティブゲーティング(msg)を低いスケールで適用する。
具体的には,提案するnested modality-aware feature aggregation (nmafa) モジュールでマルチモーダル融合を行い,三方向空間対応トランスフォーマによって個々のモダリティの長期的な依存性を高め,さらにクロスモーダリティアテンショントランスフォーマによるモダリティ間の重要なコンテクスト情報を補完する。
BraTS2020ベンチマークとプライベートな髄膜腫セグメンテーション(MeniSeg)データセットの大規模な実験は、NestedFormerが明らかに最先端技術を上回っていることを示している。
コードはhttps://github.com/920232796/NestedFormerで入手できる。
関連論文リスト
- Multimodal Information Interaction for Medical Image Segmentation [24.024848382458767]
革新的マルチモーダル情報クロストランス(MicFormer)について紹介する。
あるモダリティから特徴を問合せし、対応する応答を別のモダリティから取り出し、バイモーダル特徴間の効果的なコミュニケーションを容易にする。
他のマルチモーダルセグメンテーション手法と比較して,本手法はそれぞれ2.83と4.23のマージンで優れていた。
論文 参考訳（メタデータ） (2024-04-25T07:21:14Z) - A Multimodal Feature Distillation with CNN-Transformer Network for Brain Tumor Segmentation with Incomplete Modalities [15.841483814265592]
本稿では,CNN-Transformer Hybrid Network (MCTSeg) を用いたマルチモーダル特徴蒸留法を提案する。
CNN-Transformer ネットワークと Transformer の畳み込みブロックを併用して提案するモジュールの重要性について検討した。
論文 参考訳（メタデータ） (2024-04-22T09:33:44Z) - Joint Multimodal Transformer for Emotion Recognition in the Wild [49.735299182004404]
マルチモーダル感情認識(MMER)システムは、通常、単調なシステムよりも優れている。
本稿では,キーベースのクロスアテンションと融合するために,ジョイントマルチモーダルトランス (JMT) を利用するMMER法を提案する。
論文 参考訳（メタデータ） (2024-03-15T17:23:38Z) - Modality-Aware and Shift Mixer for Multi-modal Brain Tumor Segmentation [12.094890186803958]
マルチモーダル画像のモダリティ内依存性とモダリティ間依存性を統合した新しいModality Aware and Shift Mixerを提案する。
具体的には,低レベルのモザイク対関係をモデル化するためのニューロイメージング研究に基づいてModality-Awareモジュールを導入し,モザイクパターンを具体化したModality-Shiftモジュールを開発し,高レベルのモザイク間の複雑な関係を自己注意を通して探索する。
論文 参考訳（メタデータ） (2024-03-04T14:21:51Z) - RGBT Tracking via Progressive Fusion Transformer with Dynamically Guided
Learning [37.067605349559]
本稿ではProFormerと呼ばれる新しいプログレッシブフュージョントランスを提案する。
単一のモダリティ情報をマルチモーダル表現に統合し、堅牢なRGBT追跡を行う。
ProFormerは、RGBT210、RGBT234、LasHeR、VTUAVデータセットに新しい最先端パフォーマンスを設定する。
論文 参考訳（メタデータ） (2023-03-26T16:55:58Z) - A Novel Unified Conditional Score-based Generative Framework for
Multi-modal Medical Image Completion [54.512440195060584]
我々は、スコアベース生成モデル(SGM)を活用するために、統一多モードスコアベース生成モデル(UMM-CSGM)を提案する。
UMM-CSGMは、新しいマルチインマルチアウトコンディションスコアネットワーク(mm-CSN)を用いて、クロスモーダル条件分布の包括的集合を学習する。
BraTS19データセットの実験により、UMM-CSGMは腫瘍誘発病変における不均一な増強と不規則な領域をより確実に合成できることが示された。
論文 参考訳（メタデータ） (2022-07-07T16:57:21Z) - Multi-scale Cooperative Multimodal Transformers for Multimodal Sentiment
Analysis in Videos [58.93586436289648]
マルチモーダル感情分析のためのマルチスケール協調型マルチモーダルトランス (MCMulT) アーキテクチャを提案する。
本モデルは,非整合型マルチモーダル列に対する既存手法よりも優れ,整合型マルチモーダル列に対する強い性能を有する。
論文 参考訳（メタデータ） (2022-06-16T07:47:57Z) - mmFormer: Multimodal Medical Transformer for Incomplete Multimodal
Learning of Brain Tumor Segmentation [38.22852533584288]
3つの主要要素を持つ不完全なマルチモーダル学習のための新しい医療変換器(mmFormer)を提案する。
提案した mmFormer は, ほぼすべての不完全様相のサブセット上で, 不完全多モード脳腫瘍のセグメント化の最先端手法より優れている。
論文 参考訳（メタデータ） (2022-06-06T08:41:56Z) - Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal
Sentiment Analysis [96.46952672172021]
Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。
モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
論文 参考訳（メタデータ） (2021-07-28T23:33:42Z) - Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement
and Gated Fusion [71.87627318863612]
画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。
我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。
我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
論文 参考訳（メタデータ） (2020-02-22T14:32:04Z) - Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis [143.55901940771568]
マルチモーダルMR画像合成のためのHybrid-fusion Network(Hi-Net)を提案する。
当社のHi-Netでは,各モーダリティの表現を学習するために,モーダリティ特化ネットワークを用いている。
マルチモーダル合成ネットワークは、潜在表現と各モーダルの階層的特徴を密結合するように設計されている。
論文 参考訳（メタデータ） (2020-02-11T08:26:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。