論文の概要: Multi-modal brain MRI synthesis based on SwinUNETR
- arxiv url: http://arxiv.org/abs/2506.02467v1
- Date: Tue, 03 Jun 2025 05:33:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-04 21:47:35.298034
- Title: Multi-modal brain MRI synthesis based on SwinUNETR
- Title(参考訳): SwinUNETRを用いたマルチモーダル脳MRI合成
- Authors: Haowen Pang, Weiyan Guo, Chuyang Ye,
- Abstract要約: SwinUNETRは、医療画像解析用に設計された新しいニューラルネットワークアーキテクチャである。
Swin TransformerとCNNを組み合わせることで、SwinUNETRはグローバルなコンテキスト認識と詳細な空間解像度を融合する。
その結果,画像品質,解剖学的整合性,診断値に有意な改善が認められた。
- 参考スコア(独自算出の注目度): 0.8192907805418583
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-modal brain magnetic resonance imaging (MRI) plays a crucial role in clinical diagnostics by providing complementary information across different imaging modalities. However, a common challenge in clinical practice is missing MRI modalities. In this paper, we apply SwinUNETR to the synthesize of missing modalities in brain MRI. SwinUNETR is a novel neural network architecture designed for medical image analysis, integrating the strengths of Swin Transformer and convolutional neural networks (CNNs). The Swin Transformer, a variant of the Vision Transformer (ViT), incorporates hierarchical feature extraction and window-based self-attention mechanisms, enabling it to capture both local and global contextual information effectively. By combining the Swin Transformer with CNNs, SwinUNETR merges global context awareness with detailed spatial resolution. This hybrid approach addresses the challenges posed by the varying modality characteristics and complex brain structures, facilitating the generation of accurate and realistic synthetic images. We evaluate the performance of SwinUNETR on brain MRI datasets and demonstrate its superior capability in generating clinically valuable images. Our results show significant improvements in image quality, anatomical consistency, and diagnostic value.
- Abstract(参考訳): マルチモーダル脳MRI(Multi-modal brain magnetic resonance imaging)は、様々な画像モダリティに相補的な情報を提供することによって臨床診断において重要な役割を担っている。
しかし、臨床実践における共通の課題はMRIモダリティの欠如である。
本稿では,SwinUNETRを脳MRIの欠如したモードの合成に適用する。
SwinUNETRは、医療画像解析のために設計された新しいニューラルネットワークアーキテクチャで、Swin Transformerと畳み込みニューラルネットワーク(CNN)の強みを統合する。
ViT(Vision Transformer)の派生版であるSwin Transformerは階層的な特徴抽出とウィンドウベースの自己認識機構を備えており、ローカルとグローバルの両方のコンテキスト情報を効果的にキャプチャすることができる。
Swin TransformerとCNNを組み合わせることで、SwinUNETRはグローバルなコンテキスト認識と詳細な空間解像度を融合する。
このハイブリッドアプローチは、様々なモジュラリティ特性と複雑な脳構造によって引き起こされる課題に対処し、正確でリアルな合成画像の生成を促進する。
脳MRIデータセットにおけるSwinUNETRの性能評価を行い、臨床的に価値のある画像を生成する優れた能力を実証した。
その結果,画像品質,解剖学的整合性,診断値に有意な改善が認められた。
関連論文リスト
- Ensemble Learning and 3D Pix2Pix for Comprehensive Brain Tumor Analysis in Multimodal MRI [2.104687387907779]
本研究では,ハイブリッドトランスモデルと畳み込みニューラルネットワーク(CNN)を用いたアンサンブル学習の強みを活用した統合的アプローチを提案する。
本手法は,アキシャルアテンションとトランスフォーマーエンコーダを併用して,高機能な空間関係モデリングを行う。
その結果,Dice similarity Coefficient (DSC), Hausdorff Distance (HD95), Structure similarity Index Measure (SSIM), Peak Signal-to-Noise Ratio (PSNR), Mean-Square Error (MSE) などの画期的な評価が得られた。
論文 参考訳(メタデータ) (2024-12-16T15:10:53Z) - Towards General Text-guided Image Synthesis for Customized Multimodal Brain MRI Generation [51.28453192441364]
マルチモーダル脳磁気共鳴(MR)イメージングは神経科学や神経学において不可欠である。
現在のMR画像合成アプローチは、通常、特定のタスクのための独立したデータセットで訓練される。
テキスト誘導ユニバーサルMR画像合成モデルであるTUMSynについて述べる。
論文 参考訳(メタデータ) (2024-09-25T11:14:47Z) - Enhance the Image: Super Resolution using Artificial Intelligence in MRI [10.00462384555522]
本章では,MRIの空間分解能向上のためのディープラーニング技術の概要を紹介する。
深層学習に基づくMRI超解像の実現可能性と信頼性に関する課題と今後の展望について論じる。
論文 参考訳(メタデータ) (2024-06-19T15:19:41Z) - MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。
このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。
実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
論文 参考訳(メタデータ) (2024-05-28T00:36:25Z) - SDR-Former: A Siamese Dual-Resolution Transformer for Liver Lesion
Classification Using 3D Multi-Phase Imaging [59.78761085714715]
本研究は肝病変分類のための新しいSDR-Formerフレームワークを提案する。
提案フレームワークは2つの臨床データセットに関する総合的な実験を通じて検証された。
科学コミュニティを支援するため,肝病変解析のための多段階MRデータセットを公開しています。
論文 参考訳(メタデータ) (2024-02-27T06:32:56Z) - Disentangled Multimodal Brain MR Image Translation via Transformer-based
Modality Infuser [12.402947207350394]
マルチモーダル脳MR画像の合成を目的としたトランスフォーマーを用いたモダリティインジェクタを提案する。
本手法では,エンコーダからモダリティに依存しない特徴を抽出し,その特徴をモダリティ固有の特徴に変換する。
われわれはBraTS 2018データセットで4つのMRモードを変換する実験を行った。
論文 参考訳(メタデータ) (2024-02-01T06:34:35Z) - fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for
Multi-Subject Brain Activity Decoding [54.17776744076334]
本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。
我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。
コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
論文 参考訳(メタデータ) (2023-11-01T07:24:22Z) - BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP
for Generic Natural Visual Stimulus Decoding [51.911473457195555]
BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。
脳の活動、画像、およびテキストの間のモダリティギャップを埋める。
BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
論文 参考訳(メタデータ) (2023-02-25T03:28:54Z) - ResViT: Residual vision transformers for multi-modal medical image
synthesis [0.0]
本稿では、畳み込み演算子の局所的精度と視覚変換器の文脈的感度を組み合わせ、医用画像合成のための新しい生成逆変換手法ResViTを提案する。
以上の結果から,ResViTと競合する手法の質的観察と定量化の両面での優位性が示唆された。
論文 参考訳(メタデータ) (2021-06-30T12:57:37Z) - Diffusion-Weighted Magnetic Resonance Brain Images Generation with
Generative Adversarial Networks and Variational Autoencoders: A Comparison
Study [55.78588835407174]
本研究では,高画質,多彩で現実的な拡散重み付き磁気共鳴画像が深部生成モデルを用いて合成可能であることを示す。
Introspective Variational AutoencoderとStyle-Based GANの2つのネットワークを医療分野におけるデータ拡張の資格として提示する。
論文 参考訳(メタデータ) (2020-06-24T18:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。