論文の概要: Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis
- arxiv url: http://arxiv.org/abs/2002.05000v1
- Date: Tue, 11 Feb 2020 08:26:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-02 02:40:16.153037
- Title: Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis
- Title（参考訳）: Hi-Net:マルチモーダルMR画像合成のためのハイブリッドフュージョンネットワーク
- Authors: Tao Zhou, Huazhu Fu, Geng Chen, Jianbing Shen, and Ling Shao
- Abstract要約: マルチモーダルMR画像合成のためのHybrid-fusion Network(Hi-Net)を提案する。
当社のHi-Netでは,各モーダリティの表現を学習するために,モーダリティ特化ネットワークを用いている。
マルチモーダル合成ネットワークは、潜在表現と各モーダルの階層的特徴を密結合するように設計されている。
- 参考スコア（独自算出の注目度）: 143.55901940771568
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Magnetic resonance imaging (MRI) is a widely used neuroimaging technique that
can provide images of different contrasts (i.e., modalities). Fusing this
multi-modal data has proven particularly effective for boosting model
performance in many tasks. However, due to poor data quality and frequent
patient dropout, collecting all modalities for every patient remains a
challenge. Medical image synthesis has been proposed as an effective solution
to this, where any missing modalities are synthesized from the existing ones.
In this paper, we propose a novel Hybrid-fusion Network (Hi-Net) for
multi-modal MR image synthesis, which learns a mapping from multi-modal source
images (i.e., existing modalities) to target images (i.e., missing modalities).
In our Hi-Net, a modality-specific network is utilized to learn representations
for each individual modality, and a fusion network is employed to learn the
common latent representation of multi-modal data. Then, a multi-modal synthesis
network is designed to densely combine the latent representation with
hierarchical features from each modality, acting as a generator to synthesize
the target images. Moreover, a layer-wise multi-modal fusion strategy is
presented to effectively exploit the correlations among multiple modalities, in
which a Mixed Fusion Block (MFB) is proposed to adaptively weight different
fusion strategies (i.e., element-wise summation, product, and maximization).
Extensive experiments demonstrate that the proposed model outperforms other
state-of-the-art medical image synthesis methods.
- Abstract（参考訳）: 磁気共鳴イメージング(MRI)は、異なるコントラスト(モダリティ)の画像を提供するために広く用いられる神経イメージング技術である。
このマルチモーダルデータの融合は、多くのタスクにおけるモデルパフォーマンス向上に特に有効であることが証明された。
しかし、データ品質の低下と頻繁な患者ドロップアウトのため、すべての患者に対するすべてのモダリティの収集は依然として困難である。
医用画像合成は、既存の画像から欠落したモダリティを合成する効果的な解法として提案されている。
本稿では,マルチモーダルmr画像合成のための新しいハイブリッド・フュージョン・ネットワーク(hi-net)を提案する。
当社のHi-Netでは,モダリティ固有のネットワークを用いて個々のモダリティの表現を学習し,融合ネットワークを用いてマルチモーダルデータの一般的な潜在表現を学習する。
そして、複数のモーダル合成ネットワークを設計し、各モーダルから潜在表現と階層的特徴を密結合させ、生成器として機能して対象画像を合成する。
さらに,複数のモード間の相関を効果的に活用するために,混合核融合ブロック(mfb)を提案し,異なる核融合戦略(要素和,積,最大化など)を適応的に重み付ける。
広汎な実験により,提案モデルが他の最先端の医用画像合成法より優れていることが示された。
関連論文リスト
- Disentangled Multimodal Brain MR Image Translation via Transformer-based
Modality Infuser [12.402947207350394]
マルチモーダル脳MR画像の合成を目的としたトランスフォーマーを用いたモダリティインジェクタを提案する。
本手法では,エンコーダからモダリティに依存しない特徴を抽出し,その特徴をモダリティ固有の特徴に変換する。
われわれはBraTS 2018データセットで4つのMRモードを変換する実験を行った。
論文 参考訳（メタデータ） (2024-02-01T06:34:35Z) - Unified Brain MR-Ultrasound Synthesis using Multi-Modal Hierarchical
Representations [34.821129614819604]
MHVAE(Deep Hierarchical Variational Auto-Encoder, VAE)は, 様々なモダリティから欠落した画像を合成する。
階層的な潜在構造を持つマルチモーダルVAEを拡張して,複数のモーダル画像を共通の潜在表現で融合する確率的定式化を導入する。
画像の欠落に対して,マルチモーダルVAE,条件付きGAN,現在の最先端統一手法(ResViT)より優れた性能を示した。
論文 参考訳（メタデータ） (2023-09-15T20:21:03Z) - Unified Multi-Modal Image Synthesis for Missing Modality Imputation [23.681228202899984]
そこで本研究では,モダリティの欠如を抑えるために,新しいマルチモーダル画像合成法を提案する。
提案手法は, 各種合成タスクの処理に有効であり, 従来の手法と比較して優れた性能を示す。
論文 参考訳（メタデータ） (2023-04-11T16:59:15Z) - CoLa-Diff: Conditional Latent Diffusion Model for Multi-Modal MRI
Synthesis [11.803971719704721]
ほとんどの拡散ベースのMRI合成モデルは単一のモードを使用している。
拡散型多モードMRI合成モデル、すなわち条件付き潜在拡散モデル(CoLa-Diff)を提案する。
実験により、CoLa-Diffは他の最先端MRI合成法よりも優れていることが示された。
論文 参考訳（メタデータ） (2023-03-24T15:46:10Z) - A Novel Unified Conditional Score-based Generative Framework for
Multi-modal Medical Image Completion [54.512440195060584]
我々は、スコアベース生成モデル(SGM)を活用するために、統一多モードスコアベース生成モデル(UMM-CSGM)を提案する。
UMM-CSGMは、新しいマルチインマルチアウトコンディションスコアネットワーク(mm-CSN)を用いて、クロスモーダル条件分布の包括的集合を学習する。
BraTS19データセットの実験により、UMM-CSGMは腫瘍誘発病変における不均一な増強と不規則な領域をより確実に合成できることが示された。
論文 参考訳（メタデータ） (2022-07-07T16:57:21Z) - A Learnable Variational Model for Joint Multimodal MRI Reconstruction
and Synthesis [4.056490719080639]
マルチモーダルMRIの関節再構成と合成のための新しいディープラーニングモデルを提案する。
本モデルの出力は、ソースのモダリティの再構成画像と、ターゲットのモダリティで合成された高品質な画像を含む。
論文 参考訳（メタデータ） (2022-04-08T01:35:19Z) - Multimodal Image Synthesis and Editing: The Generative AI Era [131.9569600472503]
マルチモーダル画像合成と編集は 近年 ホットな研究テーマになっている。
近年のマルチモーダル画像合成・編集の進歩を包括的に理解している。
ベンチマークデータセットと評価指標と,それに対応する実験結果について述べる。
論文 参考訳（メタデータ） (2021-12-27T10:00:16Z) - Multi-modal Aggregation Network for Fast MR Imaging [85.25000133194762]
我々は,完全サンプル化された補助モダリティから補完表現を発見できる,MANetという新しいマルチモーダル・アグリゲーション・ネットワークを提案する。
我々のMANetでは,完全サンプリングされた補助的およびアンアンサンプされた目標モダリティの表現は,特定のネットワークを介して独立に学習される。
私たちのMANetは、$k$-spaceドメインの周波数信号を同時に回復できるハイブリッドドメイン学習フレームワークに従います。
論文 参考訳（メタデータ） (2021-10-15T13:16:59Z) - Multimodal Face Synthesis from Visual Attributes [85.87796260802223]
本稿では,マルチモーダル顔画像を保存するIDを同時に合成する新たな生成対向ネットワークを提案する。
実画像と偽画像の区別を行う識別装置にマルチモーダルストレッチインモジュールを導入。
論文 参考訳（メタデータ） (2021-04-09T13:47:23Z) - Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement
and Gated Fusion [71.87627318863612]
画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。
我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。
我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
論文 参考訳（メタデータ） (2020-02-22T14:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。