論文の概要: Swin Transformer for Fast MRI
- arxiv url: http://arxiv.org/abs/2201.03230v1
- Date: Mon, 10 Jan 2022 09:32:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-11 14:45:16.250044
- Title: Swin Transformer for Fast MRI
- Title(参考訳): 高速MRI用スイニングトランス
- Authors: Jiahao Huang, Yingying Fang, Yinzhe Wu, Huanjun Wu, Zhifan Gao, Yang
Li, Javier Del Ser, Jun Xia, Guang Yang
- Abstract要約: SwinMRは、高速MRI再構成のための新しいSwin変換器ベースの方法である。
ネットワークは入力モジュール(IM)、特徴抽出モジュール(FE)、出力モジュール(OM)で構成される。
- 参考スコア(独自算出の注目度): 12.28925347961542
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Magnetic resonance imaging (MRI) is an important non-invasive clinical tool
that can produce high-resolution and reproducible images. However, a long
scanning time is required for high-quality MR images, which leads to exhaustion
and discomfort of patients, inducing more artefacts due to voluntary movements
of the patients and involuntary physiological movements. To accelerate the
scanning process, methods by k-space undersampling and deep learning based
reconstruction have been popularised. This work introduced SwinMR, a novel Swin
transformer based method for fast MRI reconstruction. The whole network
consisted of an input module (IM), a feature extraction module (FEM) and an
output module (OM). The IM and OM were 2D convolutional layers and the FEM was
composed of a cascaded of residual Swin transformer blocks (RSTBs) and 2D
convolutional layers. The RSTB consisted of a series of Swin transformer layers
(STLs). The shifted windows multi-head self-attention (W-MSA/SW-MSA) of STL was
performed in shifted windows rather than the multi-head self-attention (MSA) of
the original transformer in the whole image space. A novel multi-channel loss
was proposed by using the sensitivity maps, which was proved to reserve more
textures and details. We performed a series of comparative studies and ablation
studies in the Calgary-Campinas public brain MR dataset and conducted a
downstream segmentation experiment in the Multi-modal Brain Tumour Segmentation
Challenge 2017 dataset. The results demonstrate our SwinMR achieved
high-quality reconstruction compared with other benchmark methods, and it shows
great robustness with different undersampling masks, under noise interruption
and on different datasets. The code is publicly available at
https://github.com/ayanglab/SwinMR.
- Abstract(参考訳): MRIは高解像度で再現可能な画像を生成する重要な非侵襲的臨床ツールである。
しかし、高画質MR画像には長い走査時間が必要であり、患者の疲労や不快感を招き、患者の自発的な動きや不随意の生理的動きによって多くの人工物が引き起こされる。
走査過程を高速化するため,k空間アンダーサンプリング法や深層学習に基づく再構成法が普及している。
この研究は、高速MRI再構成のための新しいスウィントランスベースの方法であるSwinMRを導入した。
ネットワーク全体は、入力モジュール(IM)、特徴抽出モジュール(FEM)、出力モジュール(OM)から構成されていた。
IMおよびOMは2次元畳み込み層であり, FEMは残留スウィン変圧器ブロック(RSTB)と2次元畳み込み層から構成されていた。
RSTBは一連のSwin Transformer Layer(STL)で構成されていた。
STLのシフトウィンドウマルチヘッド自己アテンション(W-MSA/SW-MSA)は、画像空間全体において元のトランスのマルチヘッド自己アテンション(MSA)ではなく、シフトウィンドウで実行された。
感性マップを用いて新しいマルチチャネル損失を提案し、さらにテクスチャや詳細を保存できることが証明された。
我々はCalgary-Campinas公開脳MRデータセットで比較研究とアブレーション研究を行い、Multi-modal Brain Tumour Segmentation Challenge 2017データセットで下流セグメンテーション実験を行った。
その結果、SwinMRは他のベンチマーク手法と比較して高品質な再構成を実現し、ノイズ遮断や異なるデータセット下で異なるアンダーサンプリングマスクで大きな堅牢性を示した。
コードはhttps://github.com/ayanglab/SwinMRで公開されている。
関連論文リスト
- Enhanced Self-supervised Learning for Multi-modality MRI Segmentation and Classification: A Novel Approach Avoiding Model Collapse [6.3467517115551875]
多モードMRI(Multi-modality magnetic resonance imaging)は、コンピュータ支援診断のための補完的な情報を提供する。
従来のディープラーニングアルゴリズムは、病変をセグメント化し、磁気共鳴画像で疾患を分類する特定の解剖学的構造を特定するのに適している。
自己教師付き学習(SSL)は、事前学習によりラベル付きデータから特徴表現を効果的に学習することができ、自然画像解析に有効であることが示されている。
ほとんどのSSLメソッドはマルチモードMRIの類似性を無視し、モデルが崩壊する。
ハイブリッドマスクパターン(HMP)とピラミッドバーローツイン(PBT)を組み合わせた多モードMRIマスク自動エンコーダの確立と検証を行った。
論文 参考訳(メタデータ) (2024-07-15T01:11:30Z) - MindFormer: A Transformer Architecture for Multi-Subject Brain Decoding via fMRI [50.55024115943266]
我々は、fMRI条件の特徴ベクトルを生成するためにMindFormerと呼ばれる新しいトランスフォーマーアーキテクチャを導入する。
MindFormerは,1)fMRI信号から意味論的に意味のある特徴を抽出するIP-Adapterに基づく新しいトレーニング戦略,2)fMRI信号の個人差を効果的に捉える主観的トークンと線形層である。
論文 参考訳(メタデータ) (2024-05-28T00:36:25Z) - NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation [55.51412454263856]
本稿では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。
様々な個人から約67,000 fMRI-imageペアのトレーニングを行うことで,fMRI-to-imageデコーディング能力に優れたモデルが得られた。
論文 参考訳(メタデータ) (2024-03-27T02:42:52Z) - Learning Dynamic MRI Reconstruction with Convolutional Network Assisted
Reconstruction Swin Transformer [0.7802769338493889]
本研究では、4次元MRIのためのRestruction Swin Transformer (RST) という新しいアーキテクチャを提案する。
RSTはビデオスウィントランスのバックボーン設計を継承し、画素の強度を回復するために新しい再構成ヘッドを導入した。
心臓4D MRデータセットの実験的結果は、RTTの優位性をさらに裏付けるものである。
論文 参考訳(メタデータ) (2023-09-19T00:42:45Z) - On Sensitivity and Robustness of Normalization Schemes to Input
Distribution Shifts in Automatic MR Image Diagnosis [58.634791552376235]
深層学習(DL)モデルは、再構成画像を入力として、複数の疾患の診断において最先端のパフォーマンスを達成した。
DLモデルは、トレーニングとテストフェーズ間の入力データ分布の変化につながるため、さまざまなアーティファクトに敏感である。
本稿では,グループ正規化やレイヤ正規化といった他の正規化手法を用いて,画像のさまざまなアーチファクトに対して,モデル性能にロバスト性を注入することを提案する。
論文 参考訳(メタデータ) (2023-06-23T03:09:03Z) - Multi-head Cascaded Swin Transformers with Attention to k-space Sampling
Pattern for Accelerated MRI Reconstruction [16.44971774468092]
我々は,McSTRA(Multi-head Cascaded Swin Transformer)と題する,物理学に基づくスタンドアロン(畳み込みフリー)トランスモデルを提案する。
当モデルでは, 画像と定量的に, 最先端のMRI再建法より有意に優れていた。
論文 参考訳(メタデータ) (2022-07-18T07:21:56Z) - Fast MRI Reconstruction: How Powerful Transformers Are? [1.523157765626545]
k空間アンサンプと深層学習に基づく再構成による手法が、スキャンプロセスの高速化のために一般化されている。
特に、高速MRI再構成のために、GAN(Generative Adversarial Network)ベースのSwin Transformer(ST-GAN)を導入した。
異なるアンダーサンプリング条件からのMRI再建には,トランスフォーマーが有効であることを示す。
論文 参考訳(メタデータ) (2022-01-23T23:41:48Z) - Multi-modal Aggregation Network for Fast MR Imaging [85.25000133194762]
我々は,完全サンプル化された補助モダリティから補完表現を発見できる,MANetという新しいマルチモーダル・アグリゲーション・ネットワークを提案する。
我々のMANetでは,完全サンプリングされた補助的およびアンアンサンプされた目標モダリティの表現は,特定のネットワークを介して独立に学習される。
私たちのMANetは、$k$-spaceドメインの周波数信号を同時に回復できるハイブリッドドメイン学習フレームワークに従います。
論文 参考訳(メタデータ) (2021-10-15T13:16:59Z) - Modality Completion via Gaussian Process Prior Variational Autoencoders
for Multi-Modal Glioma Segmentation [75.58395328700821]
本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。
MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。
4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
論文 参考訳(メタデータ) (2021-07-07T19:06:34Z) - Generative Adversarial Networks (GAN) Powered Fast Magnetic Resonance
Imaging -- Mini Review, Comparison and Perspectives [5.3148259096171175]
MRIの欠点の1つは、他の画像モダリティに比べて比較的遅いスキャンと再構成である。
ディープニューラルネットワーク(DNN)は、比較的高品質な画像を再現するスパースMRI再構成モデルに使われてきた。
画像の知覚品質を向上した高速MRIを実現するために,GAN(Generative Adversarial Networks)に基づく手法を提案する。
論文 参考訳(メタデータ) (2021-05-04T23:59:00Z) - Multifold Acceleration of Diffusion MRI via Slice-Interleaved Diffusion
Encoding (SIDE) [50.65891535040752]
本稿では,Slice-Interleaved Diffusionと呼ばれる拡散符号化方式を提案する。
SIDEは、拡散重み付き(DW)画像ボリュームを異なる拡散勾配で符号化したスライスでインターリーブする。
また,高いスライスアンサンプデータからDW画像を効果的に再構成するためのディープラーニングに基づく手法を提案する。
論文 参考訳(メタデータ) (2020-02-25T14:48:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。