Fugu-MT 論文翻訳(概要): Disentangled Multimodal Brain MR Image Translation via Transformer-based Modality Infuser

論文の概要: Disentangled Multimodal Brain MR Image Translation via Transformer-based Modality Infuser

arxiv url: http://arxiv.org/abs/2402.00375v1
Date: Thu, 1 Feb 2024 06:34:35 GMT
ステータス: 処理完了
システム内更新日: 2024-02-02 16:12:57.505392
Title: Disentangled Multimodal Brain MR Image Translation via Transformer-based Modality Infuser
Title（参考訳）: Transformer-based Modality Infuser を用いた遠絡型マルチモーダル脳MR画像変換
Authors: Jihoon Cho, Xiaofeng Liu, Fangxu Xing, Jinsong Ouyang, Georges El Fakhri, Jinah Park, Jonghye Woo
Abstract要約: マルチモーダル脳MR画像の合成を目的としたトランスフォーマーを用いたモダリティインジェクタを提案する。本手法では,エンコーダからモダリティに依存しない特徴を抽出し,その特徴をモダリティ固有の特徴に変換する。われわれはBraTS 2018データセットで4つのMRモードを変換する実験を行った。
参考スコア（独自算出の注目度）: 12.402947207350394
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multimodal Magnetic Resonance (MR) Imaging plays a crucial role in disease diagnosis due to its ability to provide complementary information by analyzing a relationship between multimodal images on the same subject. Acquiring all MR modalities, however, can be expensive, and, during a scanning session, certain MR images may be missed depending on the study protocol. The typical solution would be to synthesize the missing modalities from the acquired images such as using generative adversarial networks (GANs). Yet, GANs constructed with convolutional neural networks (CNNs) are likely to suffer from a lack of global relationships and mechanisms to condition the desired modality. To address this, in this work, we propose a transformer-based modality infuser designed to synthesize multimodal brain MR images. In our method, we extract modality-agnostic features from the encoder and then transform them into modality-specific features using the modality infuser. Furthermore, the modality infuser captures long-range relationships among all brain structures, leading to the generation of more realistic images. We carried out experiments on the BraTS 2018 dataset, translating between four MR modalities, and our experimental results demonstrate the superiority of our proposed method in terms of synthesis quality. In addition, we conducted experiments on a brain tumor segmentation task and different conditioning methods.
Abstract（参考訳）: マルチモーダルmri (multimodal magnetic resonance, mr) は,同一被験者のマルチモーダル画像間の関係を解析することにより補完的情報を提供できるため,疾患診断において重要な役割を担っている。しかし、すべてのMRモダリティの取得は高価であり、スキャンセッションの間は、特定のMR画像が研究プロトコルによって見逃される可能性がある。典型的な解決策は、生成逆数ネットワーク(GAN)のような取得した画像から欠落したモダリティを合成することである。しかし、畳み込みニューラルネットワーク(CNN)で構築されたGANは、望ましいモダリティを条件付けるグローバルな関係やメカニズムの欠如に悩まされる可能性が高い。そこで本研究では,マルチモーダル脳MR画像の合成を目的としたトランスフォーマーを用いたモダリティインジェクタを提案する。本手法では,エンコーダからモダリティに依存しない特徴を抽出し,モダリティ注入器を用いてモダリティ固有の特徴に変換する。さらに、modality infuserはすべての脳構造間の長距離関係をキャプチャし、より現実的な画像を生成する。我々は,BraTS 2018データセットを用いて,4つのMRモード間の変換実験を行い,提案手法が合成品質において優れていることを示す実験結果を得た。また,脳腫瘍の分節課題と異なる条件付け法について実験を行った。

関連論文リスト

Towards General Text-guided Image Synthesis for Customized Multimodal Brain MRI Generation [51.28453192441364]
マルチモーダル脳磁気共鳴(MR)イメージングは神経科学や神経学において不可欠である。現在のMR画像合成アプローチは、通常、特定のタスクのための独立したデータセットで訓練される。テキスト誘導ユニバーサルMR画像合成モデルであるTUMSynについて述べる。
論文参考訳（メタデータ） (2024-09-25T11:14:47Z)
A Unified Framework for Synthesizing Multisequence Brain MRI via Hybrid Fusion [4.47838172826189]
我々はHF-GAN(Hybrid Fusion GAN)と呼ばれる,マルチシーケンスMR画像の合成のための新しい統合フレームワークを提案する。本稿では,相補的情報と相補的情報との絡み合った抽出を確実にするためのハイブリッド核融合エンコーダを提案する。共通特徴表現は、欠落したMR配列を合成するために、モダリティ注入器を介してターゲット潜在空間に変換される。
論文参考訳（メタデータ） (2024-06-21T08:06:00Z)
MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
論文参考訳（メタデータ） (2024-05-28T00:36:25Z)
NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation [55.51412454263856]
本稿では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。様々な個人から約67,000 fMRI-imageペアのトレーニングを行うことで,fMRI-to-imageデコーディング能力に優れたモデルが得られた。
論文参考訳（メタデータ） (2024-03-27T02:42:52Z)
Enhancing CT Image synthesis from multi-modal MRI data based on a multi-task neural network framework [16.864720020158906]
拡張型Transformer U-Netアーキテクチャに基づく多目的マルチタスクニューラルネットワークフレームワークを提案する。我々はCT画像を個別のサブタスクに分解する従来の問題を分解する。マルチモーダルデータを扱う際のフレームワークの汎用性を高めるため,複数の画像チャネルでモデルを拡張した。
論文参考訳（メタデータ） (2023-12-13T18:22:38Z)
A Learnable Variational Model for Joint Multimodal MRI Reconstruction and Synthesis [4.056490719080639]
マルチモーダルMRIの関節再構成と合成のための新しいディープラーニングモデルを提案する。本モデルの出力は、ソースのモダリティの再構成画像と、ターゲットのモダリティで合成された高品質な画像を含む。
論文参考訳（メタデータ） (2022-04-08T01:35:19Z)
Multi-modal Aggregation Network for Fast MR Imaging [85.25000133194762]
我々は,完全サンプル化された補助モダリティから補完表現を発見できる,MANetという新しいマルチモーダル・アグリゲーション・ネットワークを提案する。我々のMANetでは,完全サンプリングされた補助的およびアンアンサンプされた目標モダリティの表現は,特定のネットワークを介して独立に学習される。私たちのMANetは、$k$-spaceドメインの周波数信号を同時に回復できるハイブリッドドメイン学習フレームワークに従います。
論文参考訳（メタデータ） (2021-10-15T13:16:59Z)
Modality Completion via Gaussian Process Prior Variational Autoencoders for Multi-Modal Glioma Segmentation [75.58395328700821]
本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。 MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。 4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
論文参考訳（メタデータ） (2021-07-07T19:06:34Z)
ResViT: Residual vision transformers for multi-modal medical image synthesis [0.0]
本稿では、畳み込み演算子の局所的精度と視覚変換器の文脈的感度を組み合わせ、医用画像合成のための新しい生成逆変換手法ResViTを提案する。以上の結果から,ResViTと競合する手法の質的観察と定量化の両面での優位性が示唆された。
論文参考訳（メタデータ） (2021-06-30T12:57:37Z)
Representation Disentanglement for Multi-modal MR Analysis [15.498244253687337]
近年の研究では、マルチモーダルディープラーニング分析は、画像から解剖学的(形状)およびモダリティ(外観)表現を明示的に切り離すことから恩恵を受けることができることが示唆されている。対象とモダリティをまたいだ表現の類似性関係を正規化するマージン損失を提案する。頑健なトレーニングを実現するため,全てのモダリティの画像を符号化する単一モデルの設計のために条件付き畳み込みを導入する。
論文参考訳（メタデータ） (2021-02-23T02:08:38Z)
Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis [143.55901940771568]
マルチモーダルMR画像合成のためのHybrid-fusion Network(Hi-Net)を提案する。当社のHi-Netでは,各モーダリティの表現を学習するために,モーダリティ特化ネットワークを用いている。マルチモーダル合成ネットワークは、潜在表現と各モーダルの階層的特徴を密結合するように設計されている。
論文参考訳（メタデータ） (2020-02-11T08:26:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。