論文の概要: Deep Learning based Multi-modal Computing with Feature Disentanglement
for MRI Image Synthesis
- arxiv url: http://arxiv.org/abs/2105.02835v1
- Date: Thu, 6 May 2021 17:22:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-07 13:16:16.616711
- Title: Deep Learning based Multi-modal Computing with Feature Disentanglement
for MRI Image Synthesis
- Title(参考訳): MRI画像合成のための特徴分散を用いた深層学習に基づくマルチモーダルコンピューティング
- Authors: Yuchen Fei, Bo Zhan, Mei Hong, Xi Wu, Jiliu Zhou, Yan Wang
- Abstract要約: 本稿では,MRI合成のための深層学習に基づくマルチモーダル計算モデルを提案する。
提案手法は,各入力モダリティを,共有情報と特定の情報を持つモダリティ固有空間で分割する。
テストフェーズにおける目標モダリティの特定情報の欠如に対処するために、局所適応融合(laf)モジュールを採用してモダリティライクな擬似ターゲットを生成する。
- 参考スコア(独自算出の注目度): 8.363448006582065
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Purpose: Different Magnetic resonance imaging (MRI) modalities of the same
anatomical structure are required to present different pathological information
from the physical level for diagnostic needs. However, it is often difficult to
obtain full-sequence MRI images of patients owing to limitations such as time
consumption and high cost. The purpose of this work is to develop an algorithm
for target MRI sequences prediction with high accuracy, and provide more
information for clinical diagnosis. Methods: We propose a deep learning based
multi-modal computing model for MRI synthesis with feature disentanglement
strategy. To take full advantage of the complementary information provided by
different modalities, multi-modal MRI sequences are utilized as input. Notably,
the proposed approach decomposes each input modality into modality-invariant
space with shared information and modality-specific space with specific
information, so that features are extracted separately to effectively process
the input data. Subsequently, both of them are fused through the adaptive
instance normalization (AdaIN) layer in the decoder. In addition, to address
the lack of specific information of the target modality in the test phase, a
local adaptive fusion (LAF) module is adopted to generate a modality-like
pseudo-target with specific information similar to the ground truth. Results:
To evaluate the synthesis performance, we verify our method on the BRATS2015
dataset of 164 subjects. The experimental results demonstrate our approach
significantly outperforms the benchmark method and other state-of-the-art
medical image synthesis methods in both quantitative and qualitative measures.
Compared with the pix2pixGANs method, the PSNR improves from 23.68 to 24.8.
Conclusion: The proposed method could be effective in prediction of target MRI
sequences, and useful for clinical diagnosis and treatment.
- Abstract(参考訳): 目的: 同一解剖学的構造の異なる磁気共鳴イメージング(mri)は, 診断に必要な物理レベルから異なる病理情報を提示するために必要である。
しかし, 時間消費や高コストといった制限により, フルシーケンスMRI画像の取得が困難である場合が多い。
本研究の目的は,mriシーケンス予測を高精度に行うアルゴリズムを開発し,臨床診断により多くの情報を提供することである。
方法: 特徴分散戦略を用いたMRI合成のための深層学習に基づくマルチモーダル計算モデルを提案する。
異なるモードで提供される補完情報をフル活用するために、マルチモーダルMRIシーケンスを入力として利用する。
特に,提案手法では,各入力モダリティを,共有情報と特定の情報を持つモダリティ固有空間に分解することにより,特徴を分離して抽出し,入力データを効果的に処理する。
その後、両者はデコーダの適応インスタンス正規化(adain)層を介して融合される。
また、試験相における目標モダリティの具体的情報の欠如に対処するため、局所適応融合(LAF)モジュールを採用し、基底真実に類似した具体的情報を持つモダリティのような擬似ターゲットを生成する。
結果: 合成性能を評価するため, 164被験者のBRATS2015データセットを用いて本手法を検証する。
実験により,本手法は定量化および定性化の両面で,ベンチマーク法や他の最先端の医用画像合成法よりも優れていた。
pix2pixGANs法と比較すると、PSNRは23.68から24.8に改善されている。
結論: 提案手法は, 対象MRI領域の予測に有効であり, 臨床診断や治療に有用であると考えられた。
関連論文リスト
- Cross-modality Guidance-aided Multi-modal Learning with Dual Attention
for MRI Brain Tumor Grading [47.50733518140625]
脳腫瘍は世界で最も致命的ながんの1つであり、子供や高齢者に非常に多い。
本稿では,MRI脳腫瘍グレーディングの課題に対処するために,新たな多モード学習法を提案する。
論文 参考訳(メタデータ) (2024-01-17T07:54:49Z) - A Compact Implicit Neural Representation for Efficient Storage of
Massive 4D Functional Magnetic Resonance Imaging [14.493622422645053]
fMRI圧縮は、複雑な時間的ダイナミクス、低信号-雑音比、複雑な基礎的冗長性のために、ユニークな課題を生んでいる。
Inlicit Neural Representation (INR)に基づくfMRIデータに適した新しい圧縮パラダイムについて報告する。
論文 参考訳(メタデータ) (2023-11-30T05:54:37Z) - Source-Free Collaborative Domain Adaptation via Multi-Perspective
Feature Enrichment for Functional MRI Analysis [55.03872260158717]
安静時MRI機能(rs-fMRI)は、神経疾患の分析を助けるために多地点で研究されている。
ソース領域とターゲット領域の間のfMRIの不均一性を低減するための多くの手法が提案されている。
しかし、マルチサイト研究における懸念やデータストレージの負担のため、ソースデータの取得は困難である。
我々は、fMRI解析のためのソースフリー協調ドメイン適応フレームワークを設計し、事前訓練されたソースモデルとラベルなしターゲットデータのみにアクセスできるようにする。
論文 参考訳(メタデータ) (2023-08-24T01:30:18Z) - K-Space-Aware Cross-Modality Score for Synthesized Neuroimage Quality
Assessment [71.27193056354741]
クロスモダリティな医用画像合成をどう評価するかという問題は、ほとんど解明されていない。
本稿では,この課題の進展を促すため,新しい指標K-CROSSを提案する。
K-CROSSは、トレーニング済みのマルチモードセグメンテーションネットワークを使用して、病変の位置を予測する。
論文 参考訳(メタデータ) (2023-07-10T01:26:48Z) - DIGEST: Deeply supervIsed knowledGE tranSfer neTwork learning for brain
tumor segmentation with incomplete multi-modal MRI scans [16.93394669748461]
多モードMRI(Multi-modal magnetic resonance imaging)に基づく脳腫瘍の分節化は、脳腫瘍の診断、治療、術後の評価を支援する重要な役割を担っている。
既存の自動セグメンテーション法によって達成されたインスピレーション性能にもかかわらず、マルチモーダルMRIデータは実際の臨床応用では利用できない。
そこで本研究では,異なる条件下で正確な脳腫瘍セグメント化を実現するDIGEST(Deeply SupervIsed KnowledGE tranSfer neTwork)を提案する。
論文 参考訳(メタデータ) (2022-11-15T09:01:14Z) - Integrative Imaging Informatics for Cancer Research: Workflow Automation
for Neuro-oncology (I3CR-WANO) [0.12175619840081271]
我々は,多系列ニューロオンコロジーMRIデータの集約と処理のための人工知能ベースのソリューションを提案する。
エンド・ツー・エンドのフレームワーク i) アンサンブル分類器を用いてMRIの配列を分類し, i) 再現可能な方法でデータを前処理し, iv) 腫瘍組織サブタイプを規定する。
欠落したシーケンスに対して堅牢であり、専門的なループアプローチを採用しており、セグメンテーションの結果は放射線学者によって手動で洗練される可能性がある。
論文 参考訳(メタデータ) (2022-10-06T18:23:42Z) - FAST-AID Brain: Fast and Accurate Segmentation Tool using Artificial
Intelligence Developed for Brain [0.8376091455761259]
ヒト脳の132領域への高速かつ正確なセグメンテーションのための新しい深層学習法を提案する。
提案モデルは、効率的なU-Netライクなネットワークと、異なるビューと階層関係の交差点の利点を利用する。
提案手法は,画像の事前処理や性能低下を伴わずに頭蓋骨や他の人工物を含む脳MRIデータに適用することができる。
論文 参考訳(メタデータ) (2022-08-30T16:06:07Z) - Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。
中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。
on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文 参考訳(メタデータ) (2022-01-07T07:46:01Z) - Modality Completion via Gaussian Process Prior Variational Autoencoders
for Multi-Modal Glioma Segmentation [75.58395328700821]
本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。
MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。
4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
論文 参考訳(メタデータ) (2021-07-07T19:06:34Z) - Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement
and Gated Fusion [71.87627318863612]
画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。
我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。
我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
論文 参考訳(メタデータ) (2020-02-22T14:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。