論文の概要: Magnetic Resonance Image Processing Transformer for General Reconstruction
- arxiv url: http://arxiv.org/abs/2405.15098v1
- Date: Thu, 23 May 2024 23:13:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-27 18:48:01.367587
- Title: Magnetic Resonance Image Processing Transformer for General Reconstruction
- Title（参考訳）: 一般再構成のための磁気共鳴画像処理変換器
- Authors: Guoyao Shen, Mengyu Li, Stephan Anderson, Chad W. Farris, Xin Zhang,
- Abstract要約: 本研究では,MR-IPT (MR-IPT) にマルチヘッドテールと1つの共有ウィンドウトランスを組み込んだ。
MR-IPTモデルの設計をガイドするために, 変圧器構造が異なるMR-IPTの3つの変異を行った。
- 参考スコア（独自算出の注目度）: 2.7802624923496353
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Purpose: To develop and evaluate a deep learning model for general accelerated MRI reconstruction. Materials and Methods: This retrospective study built a magnetic resonance image processing transformer (MR-IPT) which includes multi-head-tails and a single shared window transformer main body. Three mutations of MR-IPT with different transformer structures were implemented to guide the design of our MR-IPT model. Pre-trained on the MRI set of RadImageNet including 672675 images with multiple anatomy categories, the model was further migrated and evaluated on fastMRI knee dataset with 25012 images for downstream reconstruction tasks. We performed comparison studies with three CNN-based conventional networks in zero- and few-shot learning scenarios. Transfer learning process was conducted on both MR-IPT and CNN networks to further validate the generalizability of MR-IPT. To study the model performance stability, we evaluated our model with various downstream dataset sizes ranging from 10 to 2500 images. Result: The MR-IPT model provided superior performance in multiple downstream tasks compared to conventional CNN networks. MR-IPT achieved a PSNR/SSIM of 26.521/0.6102 (4-fold) and 24.861/0.4996 (8-fold) in 10-epoch learning, surpassing UNet128 at 25.056/0.5832 (4-fold) and 22.984/0.4637 (8-fold). With the same large-scale pre-training, MR-IPT provided a 5% performance boost compared to UNet128 in zero-shot learning in 8-fold and 3% in 4-fold. Conclusion: MR-IPT framework benefits from its transformer-based structure and large-scale pre-training and can serve as a solid backbone in other downstream tasks with zero- and few-shot learning.
- Abstract（参考訳）: 目的:全般的加速MRI再構成のための深層学習モデルの開発と評価。
Materials and Methods:本研究はMR-IPT(MR-IPT)を開発した。
MR-IPTモデルの設計をガイドするために, 変圧器構造が異なるMR-IPTの3つの変異を行った。
RadImageNetのMRIセットに、複数の解剖学的カテゴリを持つ672675画像を含む事前トレーニングを行い、このモデルをさらに移行し、下流再構築タスクのために25012画像の高速MRI膝データセットで評価した。
ゼロおよび少数ショット学習シナリオにおいて,従来の3つのCNNネットワークと比較検討を行った。
MR-IPTとCNNのネットワーク上で転送学習を行い,MR-IPTの一般化可能性をさらに検証した。
モデル性能の安定性について検討するために,10から2500画像まで,様々な下流データセットサイズでモデルを評価した。
結果: MR-IPTモデルは, 従来のCNNネットワークと比較して, 複数の下流タスクにおいて優れた性能を示した。
MR-IPTは、PSNR/SSIMは26.521/0.6102 (4倍)、24.861/0.4996 (8倍)で、UNet128を25.056/0.5832 (4倍)、22.984/0.4637 (8倍)で上回った。
同じ大規模な事前トレーニングで、MR-IPTは、8倍のゼロショット学習ではUNet128が3%、4倍のパフォーマンスを5%向上させた。
結論:MR-IPTフレームワークは、トランスフォーマーベースの構造と大規模な事前トレーニングの恩恵を受けており、ゼロショットと少数ショットの学習を伴う他の下流タスクの堅固なバックボーンとして機能する。
関連論文リスト
- STMR: Spiral Transformer for Hand Mesh Reconstruction [11.47314655711821]
本稿では,トランスフォーマーアーキテクチャにスパイラルサンプリングを巧みに統合し,メッシュトポロジを利用したハンドメッシュ再構成の性能向上を実現する。
FreiHANDデータセットの実験では、STMRの最先端性能と非並列推論速度が、同様のバックボーン法と比較された。
論文 参考訳（メタデータ） (2024-07-08T14:05:27Z) - Cross-Modality High-Frequency Transformer for MR Image Super-Resolution [100.50972513285598]
我々はTransformerベースのMR画像超解像フレームワークを構築するための初期の取り組みを構築した。
我々は、高周波構造とモード間コンテキストを含む2つの領域先行について考察する。
我々は,Cross-modality High- frequency Transformer (Cohf-T)と呼ばれる新しいTransformerアーキテクチャを構築し,低解像度画像の超解像化を実現する。
論文 参考訳（メタデータ） (2022-03-29T07:56:55Z) - Transformer-empowered Multi-scale Contextual Matching and Aggregation
for Multi-contrast MRI Super-resolution [55.52779466954026]
マルチコントラスト・スーパーレゾリューション (SR) 再構成により, SR画像の高画質化が期待できる。
既存の手法では、これらの特徴をマッチングし、融合させる効果的なメカニズムが欠如している。
そこで本稿では,トランスフォーマーを利用したマルチスケールコンテキストマッチングとアグリゲーション技術を開発することで,これらの問題を解決する新しいネットワークを提案する。
論文 参考訳（メタデータ） (2022-03-26T01:42:59Z) - Fast MRI Reconstruction: How Powerful Transformers Are? [1.523157765626545]
k空間アンサンプと深層学習に基づく再構成による手法が、スキャンプロセスの高速化のために一般化されている。
特に、高速MRI再構成のために、GAN(Generative Adversarial Network)ベースのSwin Transformer(ST-GAN)を導入した。
異なるアンダーサンプリング条件からのMRI再建には,トランスフォーマーが有効であることを示す。
論文 参考訳（メタデータ） (2022-01-23T23:41:48Z) - ReconFormer: Accelerated MRI Reconstruction Using Recurrent Transformer [60.27951773998535]
本稿では,MRI再構成のためのリカレントトランスモデルである textbfReconFormer を提案する。
高度にアンダーサンプリングされたk空間データから高純度磁気共鳴像を反復的に再構成することができる。
パラメータ効率が向上し,最先端手法よりも大幅に向上したことを示す。
論文 参考訳（メタデータ） (2022-01-23T21:58:19Z) - Reference-based Magnetic Resonance Image Reconstruction Using Texture
Transforme [86.6394254676369]
高速MRI再構成のための新しいテクスチャトランスフォーマーモジュール(TTM)を提案する。
変換器のクエリやキーとしてアンダーサンプルのデータと参照データを定式化する。
提案したTTMは、MRIの再構成手法に積み重ねることで、その性能をさらに向上させることができる。
論文 参考訳（メタデータ） (2021-11-18T03:06:25Z) - Multi-modal Aggregation Network for Fast MR Imaging [85.25000133194762]
我々は,完全サンプル化された補助モダリティから補完表現を発見できる,MANetという新しいマルチモーダル・アグリゲーション・ネットワークを提案する。
我々のMANetでは,完全サンプリングされた補助的およびアンアンサンプされた目標モダリティの表現は,特定のネットワークを介して独立に学習される。
私たちのMANetは、$k$-spaceドメインの周波数信号を同時に回復できるハイブリッドドメイン学習フレームワークに従います。
論文 参考訳（メタデータ） (2021-10-15T13:16:59Z) - Accelerated Multi-Modal MR Imaging with Transformers [92.18406564785329]
MR画像の高速化のためのマルチモーダルトランス(MTrans)を提案する。
トランスアーキテクチャを再構築することで、MTransは深いマルチモーダル情報をキャプチャする強力な能力を得ることができる。
i)MTransはマルチモーダルMRイメージングに改良されたトランスフォーマーを使用する最初の試みであり、CNNベースの手法と比較してよりグローバルな情報を提供する。
論文 参考訳（メタデータ） (2021-06-27T15:01:30Z) - Robust Image Reconstruction with Misaligned Structural Information [0.27074235008521236]
再建と登録を共同で行う変分フレームワークを提案する。
我々のアプローチは、異なるモダリティに対してこれを最初に達成し、再構築と登録の両方の精度で確立されたアプローチを上回ります。
論文 参考訳（メタデータ） (2020-04-01T17:21:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。