論文の概要: Magnetic Resonance Image Processing Transformer for General Reconstruction
- arxiv url: http://arxiv.org/abs/2405.15098v1
- Date: Thu, 23 May 2024 23:13:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-05-27 18:48:01.367587
- Title: Magnetic Resonance Image Processing Transformer for General Reconstruction
- Title(参考訳): 一般再構成のための磁気共鳴画像処理変換器
- Authors: Guoyao Shen, Mengyu Li, Stephan Anderson, Chad W. Farris, Xin Zhang,
- Abstract要約: 本研究では,MR-IPT (MR-IPT) にマルチヘッドテールと1つの共有ウィンドウトランスを組み込んだ。
MR-IPTモデルの設計をガイドするために, 変圧器構造が異なるMR-IPTの3つの変異を行った。
- 参考スコア(独自算出の注目度): 2.7802624923496353
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Purpose: To develop and evaluate a deep learning model for general accelerated MRI reconstruction. Materials and Methods: This retrospective study built a magnetic resonance image processing transformer (MR-IPT) which includes multi-head-tails and a single shared window transformer main body. Three mutations of MR-IPT with different transformer structures were implemented to guide the design of our MR-IPT model. Pre-trained on the MRI set of RadImageNet including 672675 images with multiple anatomy categories, the model was further migrated and evaluated on fastMRI knee dataset with 25012 images for downstream reconstruction tasks. We performed comparison studies with three CNN-based conventional networks in zero- and few-shot learning scenarios. Transfer learning process was conducted on both MR-IPT and CNN networks to further validate the generalizability of MR-IPT. To study the model performance stability, we evaluated our model with various downstream dataset sizes ranging from 10 to 2500 images. Result: The MR-IPT model provided superior performance in multiple downstream tasks compared to conventional CNN networks. MR-IPT achieved a PSNR/SSIM of 26.521/0.6102 (4-fold) and 24.861/0.4996 (8-fold) in 10-epoch learning, surpassing UNet128 at 25.056/0.5832 (4-fold) and 22.984/0.4637 (8-fold). With the same large-scale pre-training, MR-IPT provided a 5% performance boost compared to UNet128 in zero-shot learning in 8-fold and 3% in 4-fold. Conclusion: MR-IPT framework benefits from its transformer-based structure and large-scale pre-training and can serve as a solid backbone in other downstream tasks with zero- and few-shot learning.
- Abstract(参考訳): 目的:全般的加速MRI再構成のための深層学習モデルの開発と評価。
Materials and Methods:本研究はMR-IPT(MR-IPT)を開発した。
MR-IPTモデルの設計をガイドするために, 変圧器構造が異なるMR-IPTの3つの変異を行った。
RadImageNetのMRIセットに、複数の解剖学的カテゴリを持つ672675画像を含む事前トレーニングを行い、このモデルをさらに移行し、下流再構築タスクのために25012画像の高速MRI膝データセットで評価した。
ゼロおよび少数ショット学習シナリオにおいて,従来の3つのCNNネットワークと比較検討を行った。
MR-IPTとCNNのネットワーク上で転送学習を行い,MR-IPTの一般化可能性をさらに検証した。
モデル性能の安定性について検討するために,10から2500画像まで,様々な下流データセットサイズでモデルを評価した。
結果: MR-IPTモデルは, 従来のCNNネットワークと比較して, 複数の下流タスクにおいて優れた性能を示した。
MR-IPTは、PSNR/SSIMは26.521/0.6102 (4倍)、24.861/0.4996 (8倍)で、UNet128を25.056/0.5832 (4倍)、22.984/0.4637 (8倍)で上回った。
同じ大規模な事前トレーニングで、MR-IPTは、8倍のゼロショット学習ではUNet128が3%、4倍のパフォーマンスを5%向上させた。
結論:MR-IPTフレームワークは、トランスフォーマーベースの構造と大規模な事前トレーニングの恩恵を受けており、ゼロショットと少数ショットの学習を伴う他の下流タスクの堅固なバックボーンとして機能する。
関連論文リスト
- Residual Vision Transformer (ResViT) Based Self-Supervised Learning Model for Brain Tumor Classification [0.08192907805418585]
自己教師付き学習モデルは、限られたデータセット問題に対するデータ効率と注目すべき解決策を提供する。
本稿では2段階の脳腫瘍分類のための生成型SSLモデルを提案する。
提案されたモデルが最も精度が高く、T1シークエンスでBraTsデータセットで90.56%、Figshareで98.53%、Kaggle脳腫瘍データセットで98.47%を達成している。
論文 参考訳(メタデータ) (2024-11-19T21:42:57Z) - STMR: Spiral Transformer for Hand Mesh Reconstruction [11.47314655711821]
本稿では,トランスフォーマーアーキテクチャにスパイラルサンプリングを巧みに統合し,メッシュトポロジを利用したハンドメッシュ再構成の性能向上を実現する。
FreiHANDデータセットの実験では、STMRの最先端性能と非並列推論速度が、同様のバックボーン法と比較された。
論文 参考訳(メタデータ) (2024-07-08T14:05:27Z) - Deep Learning Based Apparent Diffusion Coefficient Map Generation from Multi-parametric MR Images for Patients with Diffuse Gliomas [1.5267759610392577]
拡散強調(DWI)MRIから得られたADCマップは、組織内の水分子に関する機能的測定を提供する。
本研究では,多パラメータMR画像からADCマップを合成するディープラーニングフレームワークを開発することを目的とする。
論文 参考訳(メタデータ) (2024-07-02T19:08:40Z) - NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation [55.51412454263856]
本稿では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。
様々な個人から約67,000 fMRI-imageペアのトレーニングを行うことで,fMRI-to-imageデコーディング能力に優れたモデルが得られた。
論文 参考訳(メタデータ) (2024-03-27T02:42:52Z) - A Comparative Study on 1.5T-3T MRI Conversion through Deep Neural
Network Models [0.0]
1.5T MRIから脳の3TライクなMR画像を生成するための、多くのディープニューラルネットワークモデルの能力について検討する。
本研究は,脳内MRI変換のための複数の深層学習ソリューションを評価するための最初の研究である。
論文 参考訳(メタデータ) (2022-10-12T16:14:42Z) - Model-Guided Multi-Contrast Deep Unfolding Network for MRI
Super-resolution Reconstruction [68.80715727288514]
MRI観察行列を用いて,反復型MGDUNアルゴリズムを新しいモデル誘導深部展開ネットワークに展開する方法を示す。
本稿では,医療画像SR再構成のためのモデルガイド型解釈可能なDeep Unfolding Network(MGDUN)を提案する。
論文 参考訳(メタデータ) (2022-09-15T03:58:30Z) - Multi-head Cascaded Swin Transformers with Attention to k-space Sampling
Pattern for Accelerated MRI Reconstruction [16.44971774468092]
我々は,McSTRA(Multi-head Cascaded Swin Transformer)と題する,物理学に基づくスタンドアロン(畳み込みフリー)トランスモデルを提案する。
当モデルでは, 画像と定量的に, 最先端のMRI再建法より有意に優れていた。
論文 参考訳(メタデータ) (2022-07-18T07:21:56Z) - A deep cascade of ensemble of dual domain networks with gradient-based
T1 assistance and perceptual refinement for fast MRI reconstruction [1.1744028458220428]
我々は,再建の量的および知覚的品質をさらに向上させるため,深層ネットワークを構築した。
単コイル取得には,データ忠実度(DF)ユニットにインターリーブされたRSNブロックのカスケードであるディープカスケードRSN(DC-RSN)を導入する。
マルチコイル取得には, 可変分割RSN (VS-RSN) , ブロックの深いカスケード, それぞれ RSN, マルチコイルDFユニット, 重み付き平均モジュールを含むブロックを提案する。
論文 参考訳(メタデータ) (2022-07-05T03:29:40Z) - Cross-Modality High-Frequency Transformer for MR Image Super-Resolution [100.50972513285598]
我々はTransformerベースのMR画像超解像フレームワークを構築するための初期の取り組みを構築した。
我々は、高周波構造とモード間コンテキストを含む2つの領域先行について考察する。
我々は,Cross-modality High- frequency Transformer (Cohf-T)と呼ばれる新しいTransformerアーキテクチャを構築し,低解像度画像の超解像化を実現する。
論文 参考訳(メタデータ) (2022-03-29T07:56:55Z) - A Long Short-term Memory Based Recurrent Neural Network for
Interventional MRI Reconstruction [50.1787181309337]
本稿では,畳み込み長短期記憶(Conv-LSTM)に基づくリカレントニューラルネットワーク(Recurrent Neural Network, RNN)を提案する。
提案アルゴリズムは,DBSのリアルタイムi-MRIを実現する可能性があり,汎用的なMR誘導介入に使用できる。
論文 参考訳(メタデータ) (2022-03-28T14:03:45Z) - Transformer-empowered Multi-scale Contextual Matching and Aggregation
for Multi-contrast MRI Super-resolution [55.52779466954026]
マルチコントラスト・スーパーレゾリューション (SR) 再構成により, SR画像の高画質化が期待できる。
既存の手法では、これらの特徴をマッチングし、融合させる効果的なメカニズムが欠如している。
そこで本稿では,トランスフォーマーを利用したマルチスケールコンテキストマッチングとアグリゲーション技術を開発することで,これらの問題を解決する新しいネットワークを提案する。
論文 参考訳(メタデータ) (2022-03-26T01:42:59Z) - Fast MRI Reconstruction: How Powerful Transformers Are? [1.523157765626545]
k空間アンサンプと深層学習に基づく再構成による手法が、スキャンプロセスの高速化のために一般化されている。
特に、高速MRI再構成のために、GAN(Generative Adversarial Network)ベースのSwin Transformer(ST-GAN)を導入した。
異なるアンダーサンプリング条件からのMRI再建には,トランスフォーマーが有効であることを示す。
論文 参考訳(メタデータ) (2022-01-23T23:41:48Z) - ReconFormer: Accelerated MRI Reconstruction Using Recurrent Transformer [60.27951773998535]
本稿では,MRI再構成のためのリカレントトランスモデルである textbfReconFormer を提案する。
高度にアンダーサンプリングされたk空間データから高純度磁気共鳴像を反復的に再構成することができる。
パラメータ効率が向上し,最先端手法よりも大幅に向上したことを示す。
論文 参考訳(メタデータ) (2022-01-23T21:58:19Z) - Pre-training and Fine-tuning Transformers for fMRI Prediction Tasks [69.85819388753579]
TFFはトランスフォーマーベースのアーキテクチャと2フェーズのトレーニングアプローチを採用している。
自己教師付きトレーニングは、fMRIスキャンのコレクションに適用され、モデルが3Dボリュームデータの再構成のために訓練される。
その結果、年齢や性別の予測、統合失調症認知など、さまざまなfMRIタスクにおける最先端のパフォーマンスが示された。
論文 参考訳(メタデータ) (2021-12-10T18:04:26Z) - Reference-based Magnetic Resonance Image Reconstruction Using Texture
Transforme [86.6394254676369]
高速MRI再構成のための新しいテクスチャトランスフォーマーモジュール(TTM)を提案する。
変換器のクエリやキーとしてアンダーサンプルのデータと参照データを定式化する。
提案したTTMは、MRIの再構成手法に積み重ねることで、その性能をさらに向上させることができる。
論文 参考訳(メタデータ) (2021-11-18T03:06:25Z) - Fast T2w/FLAIR MRI Acquisition by Optimal Sampling of Information
Complementary to Pre-acquired T1w MRI [52.656075914042155]
本稿では,MRIによる他のモダリティ獲得のためのアンダーサンプリングパターンを最適化するための反復的フレームワークを提案する。
公開データセット上で学習したアンダーサンプリングパターンの優れた性能を実証した。
論文 参考訳(メタデータ) (2021-11-11T04:04:48Z) - Multi-modal Aggregation Network for Fast MR Imaging [85.25000133194762]
我々は,完全サンプル化された補助モダリティから補完表現を発見できる,MANetという新しいマルチモーダル・アグリゲーション・ネットワークを提案する。
我々のMANetでは,完全サンプリングされた補助的およびアンアンサンプされた目標モダリティの表現は,特定のネットワークを介して独立に学習される。
私たちのMANetは、$k$-spaceドメインの周波数信号を同時に回復できるハイブリッドドメイン学習フレームワークに従います。
論文 参考訳(メタデータ) (2021-10-15T13:16:59Z) - Accelerated Multi-Modal MR Imaging with Transformers [92.18406564785329]
MR画像の高速化のためのマルチモーダルトランス(MTrans)を提案する。
トランスアーキテクチャを再構築することで、MTransは深いマルチモーダル情報をキャプチャする強力な能力を得ることができる。
i)MTransはマルチモーダルMRイメージングに改良されたトランスフォーマーを使用する最初の試みであり、CNNベースの手法と比較してよりグローバルな情報を提供する。
論文 参考訳(メタデータ) (2021-06-27T15:01:30Z) - Robust Image Reconstruction with Misaligned Structural Information [0.27074235008521236]
再建と登録を共同で行う変分フレームワークを提案する。
我々のアプローチは、異なるモダリティに対してこれを最初に達成し、再構築と登録の両方の精度で確立されたアプローチを上回ります。
論文 参考訳(メタデータ) (2020-04-01T17:21:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。