論文の概要: Accelerated Multi-Contrast MRI Reconstruction via Frequency and Spatial Mutual Learning
- arxiv url: http://arxiv.org/abs/2409.14113v1
- Date: Sat, 21 Sep 2024 12:02:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 03:33:25.637293
- Title: Accelerated Multi-Contrast MRI Reconstruction via Frequency and Spatial Mutual Learning
- Title（参考訳）: 周波数と空間的相互学習によるマルチコントラストMRIの高速化
- Authors: Qi Chen, Xiaohan Xing, Zhen Chen, Zhiwei Xiong,
- Abstract要約: 本稿では,周波数・空間相互学習ネットワーク(FSMNet)を提案する。
提案したFSMNetは, 加速度係数の異なるマルチコントラストMR再構成タスクに対して, 最先端の性能を実現する。
- 参考スコア（独自算出の注目度）: 50.74383395813782
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To accelerate Magnetic Resonance (MR) imaging procedures, Multi-Contrast MR Reconstruction (MCMR) has become a prevalent trend that utilizes an easily obtainable modality as an auxiliary to support high-quality reconstruction of the target modality with under-sampled k-space measurements. The exploration of global dependency and complementary information across different modalities is essential for MCMR. However, existing methods either struggle to capture global dependency due to the limited receptive field or suffer from quadratic computational complexity. To tackle this dilemma, we propose a novel Frequency and Spatial Mutual Learning Network (FSMNet), which efficiently explores global dependencies across different modalities. Specifically, the features for each modality are extracted by the Frequency-Spatial Feature Extraction (FSFE) module, featuring a frequency branch and a spatial branch. Benefiting from the global property of the Fourier transform, the frequency branch can efficiently capture global dependency with an image-size receptive field, while the spatial branch can extract local features. To exploit complementary information from the auxiliary modality, we propose a Cross-Modal Selective fusion (CMS-fusion) module that selectively incorporate the frequency and spatial features from the auxiliary modality to enhance the corresponding branch of the target modality. To further integrate the enhanced global features from the frequency branch and the enhanced local features from the spatial branch, we develop a Frequency-Spatial fusion (FS-fusion) module, resulting in a comprehensive feature representation for the target modality. Extensive experiments on the BraTS and fastMRI datasets demonstrate that the proposed FSMNet achieves state-of-the-art performance for the MCMR task with different acceleration factors. The code is available at: https://github.com/qic999/FSMNet.
- Abstract（参考訳）: 磁気共鳴(MR)イメージングを高速化するため,マルチコントラストMRリコンストラクション(MCMR)が主流となり,低サンプリングk空間測定による目標モードの高品質な再構成を支援する補助として,容易に得るモダリティを利用するようになった。
MCMRには,大域的依存度と相補的情報の探索が不可欠である。
しかし、既存の手法は、受容領域が限られているため、グローバルな依存を捉えるのに苦労するか、2次計算の複雑さに悩まされる。
このジレンマに対処するために、異なるモダリティにまたがるグローバルな依存関係を効率的に探索する新しい周波数空間相互学習ネットワーク(FSMNet)を提案する。
具体的には、周波数分岐と空間分岐を特徴とする周波数空間特徴抽出(FSFE)モジュールにより、各モードの特徴を抽出する。
フーリエ変換のグローバルな性質から、空間枝は局所的な特徴を抽出する一方、周波数枝は画像サイズの受容場によるグローバルな依存を効率的に捉えることができる。
補助モダリティからの相補的情報を活用するために,補助モダリティから周波数と空間的特徴を選択的に取り入れ,対象モダリティの対応する分岐を強化するクロスモーダル選択融合(CMS-fusion)モジュールを提案する。
そこで我々は,周波数-空間融合 (FS-fusion) モジュールを開発した。
BraTSおよび高速MRIデータセットの大規模な実験により、提案したFSMNetは、異なるアクセラレーション係数を持つMCMRタスクの最先端性能を達成することを示した。
コードは、https://github.com/qic999/FSMNet.comで入手できる。
関連論文リスト
- MMR-Mamba: Multi-Modal MRI Reconstruction with Mamba and Spatial-Frequency Information Fusion [17.084083262801737]
MMR-MambaはMRI再建のためのマルチモーダル機能を完全にかつ効率的に統合する新しいフレームワークである。
具体的には,空間領域におけるTCM(Target modality-guided Cross Mamba)モジュールの設計を行う。
次に、フーリエ領域におけるグローバル情報を効率的に統合するための選択周波数融合(SFF)モジュールを提案する。
論文 参考訳（メタデータ） (2024-06-27T07:30:54Z) - Frequency-Assisted Mamba for Remote Sensing Image Super-Resolution [49.902047563260496]
我々は、リモートセンシング画像(RSI)の超高解像度化のために、視覚状態空間モデル(Mamba)を統合するための最初の試みを開発した。
より優れたSR再構築を実現するため,FMSRと呼ばれる周波数支援型Mambaフレームワークを考案した。
我々のFMSRは、周波数選択モジュール(FSM)、ビジョン状態空間モジュール(VSSM)、ハイブリッドゲートモジュール(HGM)を備えた多層融合アーキテクチャを備えている。
論文 参考訳（メタデータ） (2024-05-08T11:09:24Z) - Modality Prompts for Arbitrary Modality Salient Object Detection [57.610000247519196]
本論文は、任意のモーダリティ・サリエント物体検出(AM SOD)の課題について述べる。
任意のモダリティ、例えばRGBイメージ、RGB-Dイメージ、RGB-D-Tイメージから有能なオブジェクトを検出することを目的としている。
AM SODの2つの基本的な課題を解明するために,新しいモード適応トランス (MAT) を提案する。
論文 参考訳（メタデータ） (2024-05-06T11:02:02Z) - A Multimodal Feature Distillation with CNN-Transformer Network for Brain Tumor Segmentation with Incomplete Modalities [15.841483814265592]
本稿では,CNN-Transformer Hybrid Network (MCTSeg) を用いたマルチモーダル特徴蒸留法を提案する。
CNN-Transformer ネットワークと Transformer の畳み込みブロックを併用して提案するモジュールの重要性について検討した。
論文 参考訳（メタデータ） (2024-04-22T09:33:44Z) - Enhancing Automatic Modulation Recognition through Robust Global Feature
Extraction [12.868218616042292]
変調信号は長時間の時間依存性を示す。
人間の専門家は星座図のパターンを分析し、変調スキームを分類する。
古典的な畳み込みベースのネットワークは、局所的な特徴を抽出することに長けているが、グローバルな関係を捉えるのに苦労している。
論文 参考訳（メタデータ） (2024-01-02T06:31:24Z) - Modality-Collaborative Transformer with Hybrid Feature Reconstruction
for Robust Emotion Recognition [35.15390769958969]
ハイブリッド特徴再構成(MCT-HFR)を用いた統一型モダリティ協調変換器を提案する。
MCT-HFRは、モダリティ内およびモダリティ間関係を同時に抽出し、動的にバランスをとる新しいアテンションベースのエンコーダで構成されている。
モデルトレーニング中、LFIは、完全特徴を監督信号として活用し、局所的欠落した特徴を回復する一方、GFAはペア完全表現と不完全表現のグローバルな意味的ギャップを減らすように設計されている。
論文 参考訳（メタデータ） (2023-12-26T01:59:23Z) - Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。
従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。
本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
論文 参考訳（メタデータ） (2023-12-19T08:14:14Z) - Specificity-Preserving Federated Learning for MR Image Reconstruction [94.58912814426122]
統合学習は、磁気共鳴(MR)画像再構成におけるデータのプライバシーと効率を改善するために使用できる。
近年のFL技術は、グローバルモデルの一般化を強化することで、この問題を解決する傾向にある。
MR画像再構成のための特異性保存FLアルゴリズム(FedMRI)を提案する。
論文 参考訳（メタデータ） (2021-12-09T22:13:35Z) - Over-and-Under Complete Convolutional RNN for MRI Reconstruction [57.95363471940937]
MR画像再構成のための最近のディープラーニングに基づく手法は、通常、汎用的なオートエンコーダアーキテクチャを利用する。
OUCR(Over-and-Under Complete Convolu?tional Recurrent Neural Network)を提案する。
提案手法は, トレーニング可能なパラメータの少ない圧縮されたセンシングと, 一般的なディープラーニングに基づく手法に対して, 大幅な改善を実現する。
論文 参考訳（メタデータ） (2021-06-16T15:56:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。