論文の概要: Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis

• arxiv url: http://arxiv.org/abs/2002.05000v1
• Date: Tue, 11 Feb 2020 08:26:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 02:40:16.153037
• Title: Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis
• Title（参考訳）: Hi-Net:マルチモーダルMR画像合成のためのハイブリッドフュージョンネットワーク
• Authors: Tao Zhou, Huazhu Fu, Geng Chen, Jianbing Shen, and Ling Shao
• Abstract要約: マルチモーダルMR画像合成のためのHybrid-fusion Network(Hi-Net)を提案する。 当社のHi-Netでは,各モーダリティの表現を学習するために,モーダリティ特化ネットワークを用いている。 マルチモーダル合成ネットワークは、潜在表現と各モーダルの階層的特徴を密結合するように設計されている。
• 参考スコア（独自算出の注目度）: 143.55901940771568
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Magnetic resonance imaging (MRI) is a widely used neuroimaging technique that can provide images of different contrasts (i.e., modalities). Fusing this multi-modal data has proven particularly effective for boosting model performance in many tasks. However, due to poor data quality and frequent patient dropout, collecting all modalities for every patient remains a challenge. Medical image synthesis has been proposed as an effective solution to this, where any missing modalities are synthesized from the existing ones. In this paper, we propose a novel Hybrid-fusion Network (Hi-Net) for multi-modal MR image synthesis, which learns a mapping from multi-modal source images (i.e., existing modalities) to target images (i.e., missing modalities). In our Hi-Net, a modality-specific network is utilized to learn representations for each individual modality, and a fusion network is employed to learn the common latent representation of multi-modal data. Then, a multi-modal synthesis network is designed to densely combine the latent representation with hierarchical features from each modality, acting as a generator to synthesize the target images. Moreover, a layer-wise multi-modal fusion strategy is presented to effectively exploit the correlations among multiple modalities, in which a Mixed Fusion Block (MFB) is proposed to adaptively weight different fusion strategies (i.e., element-wise summation, product, and maximization). Extensive experiments demonstrate that the proposed model outperforms other state-of-the-art medical image synthesis methods.
• Abstract（参考訳）: 磁気共鳴イメージング(MRI)は、異なるコントラスト(モダリティ)の画像を提供するために広く用いられる神経イメージング技術である。 このマルチモーダルデータの融合は、多くのタスクにおけるモデルパフォーマンス向上に特に有効であることが証明された。 しかし、データ品質の低下と頻繁な患者ドロップアウトのため、すべての患者に対するすべてのモダリティの収集は依然として困難である。 医用画像合成は、既存の画像から欠落したモダリティを合成する効果的な解法として提案されている。 本稿では,マルチモーダルmr画像合成のための新しいハイブリッド・フュージョン・ネットワーク(hi-net)を提案する。 当社のHi-Netでは,モダリティ固有のネットワークを用いて個々のモダリティの表現を学習し,融合ネットワークを用いてマルチモーダルデータの一般的な潜在表現を学習する。 そして、複数のモーダル合成ネットワークを設計し、各モーダルから潜在表現と階層的特徴を密結合させ、生成器として機能して対象画像を合成する。 さらに,複数のモード間の相関を効果的に活用するために,混合核融合ブロック(mfb)を提案し,異なる核融合戦略(要素和,積,最大化など)を適応的に重み付ける。 広汎な実験により,提案モデルが他の最先端の医用画像合成法より優れていることが示された。

関連論文リスト

• SLMT-Net: A Self-supervised Learning based Multi-scale Transformer Network for Cross-Modality MR Image Synthesis [52.41439725865149]
  磁気共鳴(MR)画像合成は、既存の画像から欠落したモダリティを作り出すことを目的としている。 完全にペア化されたマルチモーダルトレーニングデータを大量に取得することは依然として困難である。 本稿では,多次元MR画像合成のための自己教師付き学習ベースマルチスケールトランスフォーマネットワーク(SLMT-Net)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T11:40:40Z)
• A Novel Unified Conditional Score-based Generative Framework for Multi-modal Medical Image Completion [54.512440195060584]
  我々は、スコアベース生成モデル(SGM)を活用するために、統一多モードスコアベース生成モデル(UMM-CSGM)を提案する。 UMM-CSGMは、新しいマルチインマルチアウトコンディションスコアネットワーク(mm-CSN)を用いて、クロスモーダル条件分布の包括的集合を学習する。 BraTS19データセットの実験により、UMM-CSGMは腫瘍誘発病変における不均一な増強と不規則な領域をより確実に合成できることが示された。
  論文  参考訳（メタデータ） (2022-07-07T16:57:21Z)
• A Learnable Variational Model for Joint Multimodal MRI Reconstruction and Synthesis [4.056490719080639]
  マルチモーダルMRIの関節再構成と合成のための新しいディープラーニングモデルを提案する。 本モデルの出力は、ソースのモダリティの再構成画像と、ターゲットのモダリティで合成された高品質な画像を含む。
  論文  参考訳（メタデータ） (2022-04-08T01:35:19Z)
• Multi-modal Aggregation Network for Fast MR Imaging [85.25000133194762]
  我々は,完全サンプル化された補助モダリティから補完表現を発見できる,MANetという新しいマルチモーダル・アグリゲーション・ネットワークを提案する。 我々のMANetでは,完全サンプリングされた補助的およびアンアンサンプされた目標モダリティの表現は,特定のネットワークを介して独立に学習される。 私たちのMANetは、$k$-spaceドメインの周波数信号を同時に回復できるハイブリッドドメイン学習フレームワークに従います。
  論文  参考訳（メタデータ） (2021-10-15T13:16:59Z)
• ResViT: Residual vision transformers for multi-modal medical image synthesis [0.0]
  本稿では、畳み込み演算子の局所的精度と視覚変換器の文脈的感度を組み合わせ、医用画像合成のための新しい生成逆変換手法ResViTを提案する。 以上の結果から,ResViTと競合する手法の質的観察と定量化の両面での優位性が示唆された。
  論文  参考訳（メタデータ） (2021-06-30T12:57:37Z)
• Multimodal Face Synthesis from Visual Attributes [85.87796260802223]
  本稿では,マルチモーダル顔画像を保存するIDを同時に合成する新たな生成対向ネットワークを提案する。 実画像と偽画像の区別を行う識別装置にマルチモーダルストレッチインモジュールを導入。
  論文  参考訳（メタデータ） (2021-04-09T13:47:23Z)
• Coupled Feature Learning for Multimodal Medical Image Fusion [42.23662451234756]
  マルチモーダル画像融合は、取得した画像と異なるセンサーの関連情報を組み合わせることを目指しています。 本稿では,結合辞書学習に基づく新しいマルチモーダル画像融合法を提案する。
  論文  参考訳（メタデータ） (2021-02-17T09:13:28Z)
• Multi-Modality Generative Adversarial Networks with Tumor Consistency Loss for Brain MR Image Synthesis [30.64847799586407]
  1つのMRモードT2から3つの高品質MRモード(FLAIR, T1, T1ce)を同時に合成する多モード生成対向ネットワーク(MGAN)を提案する。 実験結果から, 合成画像の品質は, ベースラインモデル, pix2pixで合成した画像より優れていることがわかった。
  論文  参考訳（メタデータ） (2020-05-02T21:33:15Z)
• Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion [71.87627318863612]
  画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。 我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。 我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2020-02-22T14:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。