論文の概要: Unified Brain MR-Ultrasound Synthesis using Multi-Modal Hierarchical Representations

• arxiv url: http://arxiv.org/abs/2309.08747v2
• Date: Tue, 19 Sep 2023 15:48:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 11:09:02.030049
• Title: Unified Brain MR-Ultrasound Synthesis using Multi-Modal Hierarchical Representations
• Title（参考訳）: マルチモーダル階層表現を用いた脳mr-ultrasound合成
• Authors: Reuben Dorent, Nazim Haouchine, Fryderyk K\"ogl, Samuel Joutard, Parikshit Juvekar, Erickson Torio, Alexandra Golby, Sebastien Ourselin, Sarah Frisken, Tom Vercauteren, Tina Kapur, William M. Wells
• Abstract要約: MHVAE(Deep Hierarchical Variational Auto-Encoder, VAE)は, 様々なモダリティから欠落した画像を合成する。 階層的な潜在構造を持つマルチモーダルVAEを拡張して,複数のモーダル画像を共通の潜在表現で融合する確率的定式化を導入する。 画像の欠落に対して,マルチモーダルVAE,条件付きGAN,現在の最先端統一手法(ResViT)より優れた性能を示した。
• 参考スコア（独自算出の注目度）: 34.821129614819604
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce MHVAE, a deep hierarchical variational auto-encoder (VAE) that synthesizes missing images from various modalities. Extending multi-modal VAEs with a hierarchical latent structure, we introduce a probabilistic formulation for fusing multi-modal images in a common latent representation while having the flexibility to handle incomplete image sets as input. Moreover, adversarial learning is employed to generate sharper images. Extensive experiments are performed on the challenging problem of joint intra-operative ultrasound (iUS) and Magnetic Resonance (MR) synthesis. Our model outperformed multi-modal VAEs, conditional GANs, and the current state-of-the-art unified method (ResViT) for synthesizing missing images, demonstrating the advantage of using a hierarchical latent representation and a principled probabilistic fusion operation. Our code is publicly available \url{https://github.com/ReubenDo/MHVAE}.
• Abstract（参考訳）: MHVAE(Deep Hierarchical Variational Auto-Encoder, VAE)は, 様々なモードから欠落した画像を合成する。 階層的な潜在構造を持つマルチモーダルVAEを拡張し,不完全な画像集合を入力として扱う柔軟性を有しつつ,共通潜在表現にマルチモーダル画像を融合する確率的定式化を導入する。 さらに、よりシャープな画像を生成するために、逆学習を用いる。 関節内超音波(iUS)とMR(MR)合成の課題について,広範囲にわたる実験を行った。 提案モデルでは,マルチモーダルVAE,条件付きGAN,および現在最先端統合手法(ResViT)で画像の合成を行い,階層的潜在表現と原理的確率的融合操作の利点を実証した。 私たちのコードは \url{https://github.com/reubendo/mhvae} で公開されている。

関連論文リスト

• Disentangled Multimodal Brain MR Image Translation via Transformer-based Modality Infuser [12.402947207350394]
  マルチモーダル脳MR画像の合成を目的としたトランスフォーマーを用いたモダリティインジェクタを提案する。 本手法では,エンコーダからモダリティに依存しない特徴を抽出し,その特徴をモダリティ固有の特徴に変換する。 われわれはBraTS 2018データセットで4つのMRモードを変換する実験を行った。
  論文  参考訳（メタデータ） (2024-02-01T06:34:35Z)
• CoLa-Diff: Conditional Latent Diffusion Model for Multi-Modal MRI Synthesis [11.803971719704721]
  ほとんどの拡散ベースのMRI合成モデルは単一のモードを使用している。 拡散型多モードMRI合成モデル、すなわち条件付き潜在拡散モデル(CoLa-Diff)を提案する。 実験により、CoLa-Diffは他の最先端MRI合成法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-03-24T15:46:10Z)
• Semantic Image Synthesis via Diffusion Models [159.4285444680301]
  Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。 セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
  論文  参考訳（メタデータ） (2022-06-30T18:31:51Z)
• Image Generation with Multimodal Priors using Denoising Diffusion Probabilistic Models [54.1843419649895]
  このタスクを達成するために生成モデルを使用する際の大きな課題は、すべてのモダリティと対応する出力を含むペアデータの欠如である。 本稿では,拡散確率的合成モデルに基づく多モデル先行画像生成手法を提案する。
  論文  参考訳（メタデータ） (2022-06-10T12:23:05Z)
• A Learnable Variational Model for Joint Multimodal MRI Reconstruction and Synthesis [4.056490719080639]
  マルチモーダルMRIの関節再構成と合成のための新しいディープラーニングモデルを提案する。 本モデルの出力は、ソースのモダリティの再構成画像と、ターゲットのモダリティで合成された高品質な画像を含む。
  論文  参考訳（メタデータ） (2022-04-08T01:35:19Z)
• Multi-modal Aggregation Network for Fast MR Imaging [85.25000133194762]
  我々は,完全サンプル化された補助モダリティから補完表現を発見できる,MANetという新しいマルチモーダル・アグリゲーション・ネットワークを提案する。 我々のMANetでは,完全サンプリングされた補助的およびアンアンサンプされた目標モダリティの表現は,特定のネットワークを介して独立に学習される。 私たちのMANetは、$k$-spaceドメインの周波数信号を同時に回復できるハイブリッドドメイン学習フレームワークに従います。
  論文  参考訳（メタデータ） (2021-10-15T13:16:59Z)
• Multimodal Face Synthesis from Visual Attributes [85.87796260802223]
  本稿では,マルチモーダル顔画像を保存するIDを同時に合成する新たな生成対向ネットワークを提案する。 実画像と偽画像の区別を行う識別装置にマルチモーダルストレッチインモジュールを導入。
  論文  参考訳（メタデータ） (2021-04-09T13:47:23Z)
• Multimodal Image Synthesis with Conditional Implicit Maximum Likelihood Estimation [54.17177006826262]
  我々はImplicit Maximum Likelihood Estimation (IMLE)に基づく新しい一般条件画像合成法を開発した。 我々は,シーンレイアウトからの単一画像超解像と画像合成という,2つのタスクにおけるマルチモーダル画像合成性能の改善を実証した。
  論文  参考訳（メタデータ） (2020-04-07T03:06:55Z)
• Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis [143.55901940771568]
  マルチモーダルMR画像合成のためのHybrid-fusion Network(Hi-Net)を提案する。 当社のHi-Netでは,各モーダリティの表現を学習するために,モーダリティ特化ネットワークを用いている。 マルチモーダル合成ネットワークは、潜在表現と各モーダルの階層的特徴を密結合するように設計されている。
  論文  参考訳（メタデータ） (2020-02-11T08:26:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。