論文の概要: MMR-Mamba: Multi-Modal MRI Reconstruction with Mamba and Spatial-Frequency Information Fusion
- arxiv url: http://arxiv.org/abs/2406.18950v2
- Date: Sun, 7 Jul 2024 18:19:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-10 00:50:23.804483
- Title: MMR-Mamba: Multi-Modal MRI Reconstruction with Mamba and Spatial-Frequency Information Fusion
- Title（参考訳）: MMR-Mamba:mambaと空間周波数情報融合を用いた多モードMRI再構成
- Authors: Jing Zou, Lanqing Liu, Qi Chen, Shujun Wang, Zhanli Hu, Xiaohan Xing, Jing Qin,
- Abstract要約: MMR-MambaはMRI再建のためのマルチモーダル機能を完全にかつ効率的に統合する新しいフレームワークである。
具体的には,空間領域におけるTCM(Target modality-guided Cross Mamba)モジュールの設計を行う。
次に、フーリエ領域におけるグローバル情報を効率的に統合するための選択周波数融合(SFF)モジュールを提案する。
- 参考スコア（独自算出の注目度）: 17.084083262801737
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-modal MRI offers valuable complementary information for diagnosis and treatment; however, its utility is limited by prolonged scanning times. To accelerate the acquisition process, a practical approach is to reconstruct images of the target modality, which requires longer scanning times, from under-sampled k-space data using the fully-sampled reference modality with shorter scanning times as guidance. The primary challenge of this task is comprehensively and efficiently integrating complementary information from different modalities to achieve high-quality reconstruction. Existing methods struggle with this: 1) convolution-based models fail to capture long-range dependencies; 2) transformer-based models, while excelling in global feature modeling, struggle with quadratic computational complexity. To address this, we propose MMR-Mamba, a novel framework that thoroughly and efficiently integrates multi-modal features for MRI reconstruction, leveraging Mamba's capability to capture long-range dependencies with linear computational complexity while exploiting global properties of the Fourier domain. Specifically, we first design a Target modality-guided Cross Mamba (TCM) module in the spatial domain, which maximally restores the target modality information by selectively incorporating relevant information from the reference modality. Then, we introduce a Selective Frequency Fusion (SFF) module to efficiently integrate global information in the Fourier domain and recover high-frequency signals for the reconstruction of structural details. Furthermore, we devise an Adaptive Spatial-Frequency Fusion (ASFF) module, which mutually enhances the spatial and frequency domains by supplementing less informative channels from one domain with corresponding channels from the other.
- Abstract（参考訳）: マルチモーダルMRIは診断と治療に有用な補完情報を提供するが、その有用性はスキャン時間の延長によって制限される。
取得過程を高速化するため,本手法では,スキャン時間を短縮した全サンプリング参照モーダリティをガイダンスとして,サンプリング時間を要するターゲットモーダリティの画像を,全サンプリング参照モーダリティを用いてアンダーサンプリングしたk空間データから再構成する。
このタスクの主な課題は、様々なモダリティからの補完情報を包括的かつ効率的に統合し、高品質な再構築を実現することである。
既存のメソッドはこれと苦労します。
1) 畳み込みに基づくモデルは、長距離依存を捕捉できない。
2) トランスフォーマーモデルでは,グローバルな特徴モデリングに優れる一方で,2次計算複雑性に悩まされている。
そこで我々は,MMR-Mambaを提案する。MMR-Mambaは,Fourier領域のグローバルな特性を活用しつつ,線形計算複雑性で長距離依存関係をキャプチャする機能を活用し,MRI再構成のためのマルチモーダル機能を徹底的かつ効率的に統合する新しいフレームワークである。
具体的には、まず、ターゲットモード誘導型クロスマンバ(TCM)モジュールを空間領域に設計し、参照モードから関連情報を選択的に取り込み、ターゲットモード情報を最大に復元する。
次に、フーリエ領域のグローバル情報を効率的に統合し、構造情報の再構成のために高周波信号を復元する選択周波数融合(SFF)モジュールを提案する。
さらに,アダプティブ空間周波数融合(ASFF)モジュールを考案し,一方の領域と他方のチャネルを補うことで,空間領域と周波数領域を相互に拡張する。
関連論文リスト
- Zero-shot Dynamic MRI Reconstruction with Global-to-local Diffusion Model [17.375064910924717]
本稿では,Glob-al-to-local Diffusion Model(Glob-al-to-local Diffusion Model)と呼ばれる時間インターリーブ取得方式に基づく動的MRI再構成手法を提案する。
提案手法は, 騒音の低減と保存の両面において良好に機能し, 教師付き手法に匹敵する再現性を実現する。
論文 参考訳（メタデータ） (2024-11-06T07:40:27Z) - Accelerated Multi-Contrast MRI Reconstruction via Frequency and Spatial Mutual Learning [50.74383395813782]
本稿では,周波数・空間相互学習ネットワーク(FSMNet)を提案する。
提案したFSMNetは, 加速度係数の異なるマルチコントラストMR再構成タスクに対して, 最先端の性能を実現する。
論文 参考訳（メタデータ） (2024-09-21T12:02:47Z) - Frequency-Assisted Mamba for Remote Sensing Image Super-Resolution [49.902047563260496]
我々は、リモートセンシング画像(RSI)の超高解像度化のために、視覚状態空間モデル(Mamba)を統合するための最初の試みを開発した。
より優れたSR再構築を実現するため,FMSRと呼ばれる周波数支援型Mambaフレームワークを考案した。
我々のFMSRは、周波数選択モジュール(FSM)、ビジョン状態空間モジュール(VSSM)、ハイブリッドゲートモジュール(HGM)を備えた多層融合アーキテクチャを備えている。
論文 参考訳（メタデータ） (2024-05-08T11:09:24Z) - Enhancing Automatic Modulation Recognition through Robust Global Feature
Extraction [12.868218616042292]
変調信号は長時間の時間依存性を示す。
人間の専門家は星座図のパターンを分析し、変調スキームを分類する。
古典的な畳み込みベースのネットワークは、局所的な特徴を抽出することに長けているが、グローバルな関係を捉えるのに苦労している。
論文 参考訳（メタデータ） (2024-01-02T06:31:24Z) - Modality-Collaborative Transformer with Hybrid Feature Reconstruction
for Robust Emotion Recognition [35.15390769958969]
ハイブリッド特徴再構成(MCT-HFR)を用いた統一型モダリティ協調変換器を提案する。
MCT-HFRは、モダリティ内およびモダリティ間関係を同時に抽出し、動的にバランスをとる新しいアテンションベースのエンコーダで構成されている。
モデルトレーニング中、LFIは、完全特徴を監督信号として活用し、局所的欠落した特徴を回復する一方、GFAはペア完全表現と不完全表現のグローバルな意味的ギャップを減らすように設計されている。
論文 参考訳（メタデータ） (2023-12-26T01:59:23Z) - Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。
従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。
本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
論文 参考訳（メタデータ） (2023-12-19T08:14:14Z) - Specificity-Preserving Federated Learning for MR Image Reconstruction [94.58912814426122]
統合学習は、磁気共鳴(MR)画像再構成におけるデータのプライバシーと効率を改善するために使用できる。
近年のFL技術は、グローバルモデルの一般化を強化することで、この問題を解決する傾向にある。
MR画像再構成のための特異性保存FLアルゴリズム(FedMRI)を提案する。
論文 参考訳（メタデータ） (2021-12-09T22:13:35Z) - Multi-modal Aggregation Network for Fast MR Imaging [85.25000133194762]
我々は,完全サンプル化された補助モダリティから補完表現を発見できる,MANetという新しいマルチモーダル・アグリゲーション・ネットワークを提案する。
我々のMANetでは,完全サンプリングされた補助的およびアンアンサンプされた目標モダリティの表現は,特定のネットワークを介して独立に学習される。
私たちのMANetは、$k$-spaceドメインの周波数信号を同時に回復できるハイブリッドドメイン学習フレームワークに従います。
論文 参考訳（メタデータ） (2021-10-15T13:16:59Z) - Accelerated Multi-Modal MR Imaging with Transformers [92.18406564785329]
MR画像の高速化のためのマルチモーダルトランス(MTrans)を提案する。
トランスアーキテクチャを再構築することで、MTransは深いマルチモーダル情報をキャプチャする強力な能力を得ることができる。
i)MTransはマルチモーダルMRイメージングに改良されたトランスフォーマーを使用する最初の試みであり、CNNベースの手法と比較してよりグローバルな情報を提供する。
論文 参考訳（メタデータ） (2021-06-27T15:01:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。