論文の概要: Deep Learning based Multi-modal Computing with Feature Disentanglement
for MRI Image Synthesis
- arxiv url: http://arxiv.org/abs/2105.02835v1
- Date: Thu, 6 May 2021 17:22:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-07 13:16:16.616711
- Title: Deep Learning based Multi-modal Computing with Feature Disentanglement
for MRI Image Synthesis
- Title（参考訳）: MRI画像合成のための特徴分散を用いた深層学習に基づくマルチモーダルコンピューティング
- Authors: Yuchen Fei, Bo Zhan, Mei Hong, Xi Wu, Jiliu Zhou, Yan Wang
- Abstract要約: 本稿では,MRI合成のための深層学習に基づくマルチモーダル計算モデルを提案する。
提案手法は,各入力モダリティを,共有情報と特定の情報を持つモダリティ固有空間で分割する。
テストフェーズにおける目標モダリティの特定情報の欠如に対処するために、局所適応融合(laf)モジュールを採用してモダリティライクな擬似ターゲットを生成する。
- 参考スコア（独自算出の注目度）: 8.363448006582065
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Purpose: Different Magnetic resonance imaging (MRI) modalities of the same
anatomical structure are required to present different pathological information
from the physical level for diagnostic needs. However, it is often difficult to
obtain full-sequence MRI images of patients owing to limitations such as time
consumption and high cost. The purpose of this work is to develop an algorithm
for target MRI sequences prediction with high accuracy, and provide more
information for clinical diagnosis. Methods: We propose a deep learning based
multi-modal computing model for MRI synthesis with feature disentanglement
strategy. To take full advantage of the complementary information provided by
different modalities, multi-modal MRI sequences are utilized as input. Notably,
the proposed approach decomposes each input modality into modality-invariant
space with shared information and modality-specific space with specific
information, so that features are extracted separately to effectively process
the input data. Subsequently, both of them are fused through the adaptive
instance normalization (AdaIN) layer in the decoder. In addition, to address
the lack of specific information of the target modality in the test phase, a
local adaptive fusion (LAF) module is adopted to generate a modality-like
pseudo-target with specific information similar to the ground truth. Results:
To evaluate the synthesis performance, we verify our method on the BRATS2015
dataset of 164 subjects. The experimental results demonstrate our approach
significantly outperforms the benchmark method and other state-of-the-art
medical image synthesis methods in both quantitative and qualitative measures.
Compared with the pix2pixGANs method, the PSNR improves from 23.68 to 24.8.
Conclusion: The proposed method could be effective in prediction of target MRI
sequences, and useful for clinical diagnosis and treatment.
- Abstract（参考訳）: 目的: 同一解剖学的構造の異なる磁気共鳴イメージング(mri)は, 診断に必要な物理レベルから異なる病理情報を提示するために必要である。
しかし, 時間消費や高コストといった制限により, フルシーケンスMRI画像の取得が困難である場合が多い。
本研究の目的は,mriシーケンス予測を高精度に行うアルゴリズムを開発し,臨床診断により多くの情報を提供することである。
方法: 特徴分散戦略を用いたMRI合成のための深層学習に基づくマルチモーダル計算モデルを提案する。
異なるモードで提供される補完情報をフル活用するために、マルチモーダルMRIシーケンスを入力として利用する。
特に,提案手法では,各入力モダリティを,共有情報と特定の情報を持つモダリティ固有空間に分解することにより,特徴を分離して抽出し,入力データを効果的に処理する。
その後、両者はデコーダの適応インスタンス正規化(adain)層を介して融合される。
また、試験相における目標モダリティの具体的情報の欠如に対処するため、局所適応融合(LAF)モジュールを採用し、基底真実に類似した具体的情報を持つモダリティのような擬似ターゲットを生成する。
結果: 合成性能を評価するため, 164被験者のBRATS2015データセットを用いて本手法を検証する。
実験により,本手法は定量化および定性化の両面で,ベンチマーク法や他の最先端の医用画像合成法よりも優れていた。
pix2pixGANs法と比較すると、PSNRは23.68から24.8に改善されている。
結論: 提案手法は, 対象MRI領域の予測に有効であり, 臨床診断や治療に有用であると考えられた。
関連論文リスト
- Leveraging Multimodal CycleGAN for the Generation of Anatomically Accurate Synthetic CT Scans from MRIs [1.779948689352186]
我々は、MRIから合成CTスキャンを生成するために、Deep Learningモデルの異なる構成の能力を解析する。
異なるMRIモダリティからCTスキャンを生成するために、コントラスト剤を使用しないいくつかのCycleGANモデルを教師なしで訓練した。
結果から, 入力のモーダル性に応じて, モデルが全く異なる性能を持つことを示す。
論文 参考訳（メタデータ） (2024-07-15T16:38:59Z) - A Unified Framework for Synthesizing Multisequence Brain MRI via Hybrid Fusion [4.47838172826189]
我々はHF-GAN(Hybrid Fusion GAN)と呼ばれる,マルチシーケンスMR画像の合成のための新しい統合フレームワークを提案する。
本稿では,相補的情報と相補的情報との絡み合った抽出を確実にするためのハイブリッド核融合エンコーダを提案する。
共通特徴表現は、欠落したMR配列を合成するために、モダリティ注入器を介してターゲット潜在空間に変換される。
論文 参考訳（メタデータ） (2024-06-21T08:06:00Z) - NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation [55.51412454263856]
本稿では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。
様々な個人から約67,000 fMRI-imageペアのトレーニングを行うことで,fMRI-to-imageデコーディング能力に優れたモデルが得られた。
論文 参考訳（メタデータ） (2024-03-27T02:42:52Z) - Cross-modality Guidance-aided Multi-modal Learning with Dual Attention
for MRI Brain Tumor Grading [47.50733518140625]
脳腫瘍は世界で最も致命的ながんの1つであり、子供や高齢者に非常に多い。
本稿では,MRI脳腫瘍グレーディングの課題に対処するために,新たな多モード学習法を提案する。
論文 参考訳（メタデータ） (2024-01-17T07:54:49Z) - A Compact Implicit Neural Representation for Efficient Storage of
Massive 4D Functional Magnetic Resonance Imaging [14.493622422645053]
fMRI圧縮は、複雑な時間的ダイナミクス、低信号-雑音比、複雑な基礎的冗長性のために、ユニークな課題を生んでいる。
Inlicit Neural Representation (INR)に基づくfMRIデータに適した新しい圧縮パラダイムについて報告する。
論文 参考訳（メタデータ） (2023-11-30T05:54:37Z) - Source-Free Collaborative Domain Adaptation via Multi-Perspective
Feature Enrichment for Functional MRI Analysis [55.03872260158717]
安静時MRI機能(rs-fMRI)は、神経疾患の分析を助けるために多地点で研究されている。
ソース領域とターゲット領域の間のfMRIの不均一性を低減するための多くの手法が提案されている。
しかし、マルチサイト研究における懸念やデータストレージの負担のため、ソースデータの取得は困難である。
我々は、fMRI解析のためのソースフリー協調ドメイン適応フレームワークを設計し、事前訓練されたソースモデルとラベルなしターゲットデータのみにアクセスできるようにする。
論文 参考訳（メタデータ） (2023-08-24T01:30:18Z) - K-Space-Aware Cross-Modality Score for Synthesized Neuroimage Quality
Assessment [71.27193056354741]
クロスモダリティな医用画像合成をどう評価するかという問題は、ほとんど解明されていない。
本稿では,この課題の進展を促すため,新しい指標K-CROSSを提案する。
K-CROSSは、トレーニング済みのマルチモードセグメンテーションネットワークを使用して、病変の位置を予測する。
論文 参考訳（メタデータ） (2023-07-10T01:26:48Z) - FAST-AID Brain: Fast and Accurate Segmentation Tool using Artificial
Intelligence Developed for Brain [0.8376091455761259]
ヒト脳の132領域への高速かつ正確なセグメンテーションのための新しい深層学習法を提案する。
提案モデルは、効率的なU-Netライクなネットワークと、異なるビューと階層関係の交差点の利点を利用する。
提案手法は,画像の事前処理や性能低下を伴わずに頭蓋骨や他の人工物を含む脳MRIデータに適用することができる。
論文 参考訳（メタデータ） (2022-08-30T16:06:07Z) - Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。
中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。
on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文 参考訳（メタデータ） (2022-01-07T07:46:01Z) - Modality Completion via Gaussian Process Prior Variational Autoencoders
for Multi-Modal Glioma Segmentation [75.58395328700821]
本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。
MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。
4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
論文 参考訳（メタデータ） (2021-07-07T19:06:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。