論文の概要: Uni-COAL: A Unified Framework for Cross-Modality Synthesis and
Super-Resolution of MR Images
- arxiv url: http://arxiv.org/abs/2311.08225v1
- Date: Tue, 14 Nov 2023 15:05:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-15 13:36:23.569866
- Title: Uni-COAL: A Unified Framework for Cross-Modality Synthesis and
Super-Resolution of MR Images
- Title(参考訳): Uni-COAL:MR画像のクロスモダリティ合成と超解像のための統一フレームワーク
- Authors: Zhiyun Song, Zengxin Qi, Xin Wang, Xiangyu Zhao, Zhenrong Shen, Sheng
Wang, Manman Fei, Zhe Wang, Di Zang, Dongdong Chen, Linlin Yao, Qian Wang,
Xuehai Wu, Lichi Zhang
- Abstract要約: 磁気共鳴画像(MRI)において、CMS、超解像(SR)、CMSR(CMSR)の併用が広く研究されている。
CMS、SR、CMSRを統一ネットワークで実行することはできない。
上記の課題を1つのネットワークで実現するために,Unified Co-Modulated Alias-free framework (Uni-COAL)を提案する。
- 参考スコア(独自算出の注目度): 34.79786909094346
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cross-modality synthesis (CMS), super-resolution (SR), and their combination
(CMSR) have been extensively studied for magnetic resonance imaging (MRI).
Their primary goals are to enhance the imaging quality by synthesizing the
desired modality and reducing the slice thickness. Despite the promising
synthetic results, these techniques are often tailored to specific tasks,
thereby limiting their adaptability to complex clinical scenarios. Therefore,
it is crucial to build a unified network that can handle various image
synthesis tasks with arbitrary requirements of modality and resolution
settings, so that the resources for training and deploying the models can be
greatly reduced. However, none of the previous works is capable of performing
CMS, SR, and CMSR using a unified network. Moreover, these MRI reconstruction
methods often treat alias frequencies improperly, resulting in suboptimal
detail restoration. In this paper, we propose a Unified Co-Modulated Alias-free
framework (Uni-COAL) to accomplish the aforementioned tasks with a single
network. The co-modulation design of the image-conditioned and stochastic
attribute representations ensures the consistency between CMS and SR, while
simultaneously accommodating arbitrary combinations of input/output modalities
and thickness. The generator of Uni-COAL is also designed to be alias-free
based on the Shannon-Nyquist signal processing framework, ensuring effective
suppression of alias frequencies. Additionally, we leverage the semantic prior
of Segment Anything Model (SAM) to guide Uni-COAL, ensuring a more authentic
preservation of anatomical structures during synthesis. Experiments on three
datasets demonstrate that Uni-COAL outperforms the alternatives in CMS, SR, and
CMSR tasks for MR images, which highlights its generalizability to wide-range
applications.
- Abstract(参考訳): 磁気共鳴画像(MRI)において,クロスモダリティ合成(CMS),超解像(SR),それらの組み合わせ(CMSR)が広く研究されている。
その主な目的は、望まれるモダリティを合成し、スライス厚を小さくすることで、画像品質を向上させることである。
有望な合成結果にもかかわらず、これらの技術は特定のタスクに適合することが多く、複雑な臨床シナリオへの適応性が制限される。
したがって、モダリティと解像度設定の任意の要件で様々な画像合成タスクを処理できる統一ネットワークを構築することが重要であり、モデルのトレーニングと展開のためのリソースを大幅に削減できる。
しかし、以前の作品では、統一されたネットワークを使ってcms、sr、cmsrを実行することはできない。
さらに、これらのMRI再建法は、しばしばエイリアス周波数を不適切に治療し、至適の細部回復をもたらす。
本稿では,上記のタスクを単一ネットワークで実現するための,共変調エイリアスフリーフレームワーク (uni-coal) を提案する。
画像条件付きおよび確率的属性表現の共変調設計は、CMSとSRの整合性を確保しながら、入力/出力のモダリティと厚みの任意の組み合わせを同時に調整する。
Uni-COALのジェネレータはShannon-Nyquist信号処理フレームワークに基づいてエイリアスフリーに設計されており、エイリアス周波数を効果的に抑制する。
さらに、Segment Anything Model (SAM) のセグメンテーション前の意味を活用し、Uni-COALをガイドし、合成中の解剖学的構造をより確実に保存する。
3つのデータセットの実験により、Uni-COALはMR画像のCMS、SR、CMSRタスクの代替よりも優れており、広範囲のアプリケーションへの一般化性を強調している。
関連論文リスト
- Frequency-Assisted Mamba for Remote Sensing Image Super-Resolution [49.902047563260496]
我々は、リモートセンシング画像(RSI)の超高解像度化のために、視覚状態空間モデル(Mamba)を統合するための最初の試みを開発した。
より優れたSR再構築を実現するため,FMSRと呼ばれる周波数支援型Mambaフレームワークを考案した。
我々のFMSRは、周波数選択モジュール(FSM)、ビジョン状態空間モジュール(VSSM)、ハイブリッドゲートモジュール(HGM)を備えた多層融合アーキテクチャを備えている。
論文 参考訳(メタデータ) (2024-05-08T11:09:24Z) - DuDoUniNeXt: Dual-domain unified hybrid model for single and
multi-contrast undersampled MRI reconstruction [24.937435059755288]
そこで我々はDuDoUniNeXtを提案する。DuDoUniNeXtは、不在、低品質、高品質な参照画像を含むシナリオに対応可能な、統合されたデュアルドメインMRI再構成ネットワークである。
実験により,提案モデルが最先端のSCモデルとMCモデルを大幅に上回ることを示した。
論文 参考訳(メタデータ) (2024-03-08T12:26:48Z) - Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。
従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。
本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
論文 参考訳(メタデータ) (2023-12-19T08:14:14Z) - Unified Brain MR-Ultrasound Synthesis using Multi-Modal Hierarchical
Representations [34.821129614819604]
MHVAE(Deep Hierarchical Variational Auto-Encoder, VAE)は, 様々なモダリティから欠落した画像を合成する。
階層的な潜在構造を持つマルチモーダルVAEを拡張して,複数のモーダル画像を共通の潜在表現で融合する確率的定式化を導入する。
画像の欠落に対して,マルチモーダルVAE,条件付きGAN,現在の最先端統一手法(ResViT)より優れた性能を示した。
論文 参考訳(メタデータ) (2023-09-15T20:21:03Z) - Compound Attention and Neighbor Matching Network for Multi-contrast MRI
Super-resolution [7.197850827700436]
MRIのマルチコントラスト超解像は、シングルイメージ超解像よりも優れた結果が得られる。
マルチコントラストMRI SRのための合成アテンションと近接マッチング(CANM-Net)を備えた新しいネットワークアーキテクチャを提案する。
CANM-Netは、ふりかえりと将来の実験において最先端のアプローチより優れている。
論文 参考訳(メタデータ) (2023-07-05T09:44:02Z) - CoLa-Diff: Conditional Latent Diffusion Model for Multi-Modal MRI
Synthesis [11.803971719704721]
ほとんどの拡散ベースのMRI合成モデルは単一のモードを使用している。
拡散型多モードMRI合成モデル、すなわち条件付き潜在拡散モデル(CoLa-Diff)を提案する。
実験により、CoLa-Diffは他の最先端MRI合成法よりも優れていることが示された。
論文 参考訳(メタデータ) (2023-03-24T15:46:10Z) - Model-Guided Multi-Contrast Deep Unfolding Network for MRI
Super-resolution Reconstruction [68.80715727288514]
MRI観察行列を用いて,反復型MGDUNアルゴリズムを新しいモデル誘導深部展開ネットワークに展開する方法を示す。
本稿では,医療画像SR再構成のためのモデルガイド型解釈可能なDeep Unfolding Network(MGDUN)を提案する。
論文 参考訳(メタデータ) (2022-09-15T03:58:30Z) - A Novel Unified Conditional Score-based Generative Framework for
Multi-modal Medical Image Completion [54.512440195060584]
我々は、スコアベース生成モデル(SGM)を活用するために、統一多モードスコアベース生成モデル(UMM-CSGM)を提案する。
UMM-CSGMは、新しいマルチインマルチアウトコンディションスコアネットワーク(mm-CSN)を用いて、クロスモーダル条件分布の包括的集合を学習する。
BraTS19データセットの実験により、UMM-CSGMは腫瘍誘発病変における不均一な増強と不規則な領域をより確実に合成できることが示された。
論文 参考訳(メタデータ) (2022-07-07T16:57:21Z) - Transformer-empowered Multi-scale Contextual Matching and Aggregation
for Multi-contrast MRI Super-resolution [55.52779466954026]
マルチコントラスト・スーパーレゾリューション (SR) 再構成により, SR画像の高画質化が期待できる。
既存の手法では、これらの特徴をマッチングし、融合させる効果的なメカニズムが欠如している。
そこで本稿では,トランスフォーマーを利用したマルチスケールコンテキストマッチングとアグリゲーション技術を開発することで,これらの問題を解決する新しいネットワークを提案する。
論文 参考訳(メタデータ) (2022-03-26T01:42:59Z) - ResViT: Residual vision transformers for multi-modal medical image
synthesis [0.0]
本稿では、畳み込み演算子の局所的精度と視覚変換器の文脈的感度を組み合わせ、医用画像合成のための新しい生成逆変換手法ResViTを提案する。
以上の結果から,ResViTと競合する手法の質的観察と定量化の両面での優位性が示唆された。
論文 参考訳(メタデータ) (2021-06-30T12:57:37Z) - Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis [143.55901940771568]
マルチモーダルMR画像合成のためのHybrid-fusion Network(Hi-Net)を提案する。
当社のHi-Netでは,各モーダリティの表現を学習するために,モーダリティ特化ネットワークを用いている。
マルチモーダル合成ネットワークは、潜在表現と各モーダルの階層的特徴を密結合するように設計されている。
論文 参考訳(メタデータ) (2020-02-11T08:26:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。