論文の概要: Unified Cross-Modal Image Synthesis with Hierarchical Mixture of Product-of-Experts

• arxiv url: http://arxiv.org/abs/2410.19378v1
• Date: Fri, 25 Oct 2024 08:30:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-28 13:37:10.659502
• Title: Unified Cross-Modal Image Synthesis with Hierarchical Mixture of Product-of-Experts
• Title（参考訳）: プロダクト・オブ・エキスパートの階層的混合による一元的クロスモーダル画像合成
• Authors: Reuben Dorent, Nazim Haouchine, Alexandra Golby, Sarah Frisken, Tina Kapur, William Wells,
• Abstract要約: MMHVAEと呼ばれるマルチモーダル階層的変分自動エンコーダの深層混合を行い、異なるモードで観察された画像から欠落した画像を合成する。 MMHVAEの設計は、4つの課題に取り組むことに焦点を当てている: (i) 高解像度画像を生成するために複雑なマルチモーダルデータの潜在表現を作成すること、 (ii) 変分分布を奨励し、クロスモーダル画像合成に必要な欠落情報を推定すること、 (iii) 欠落したデータのコンテキストでマルチモーダル情報を融合すること、 (iv) トレーニング時に不完全なデータセットを扱うためにデータセットレベルの情報を活用すること。
• 参考スコア（独自算出の注目度）: 38.44974546811238
• License:
• Abstract: We propose a deep mixture of multimodal hierarchical variational auto-encoders called MMHVAE that synthesizes missing images from observed images in different modalities. MMHVAE's design focuses on tackling four challenges: (i) creating a complex latent representation of multimodal data to generate high-resolution images; (ii) encouraging the variational distributions to estimate the missing information needed for cross-modal image synthesis; (iii) learning to fuse multimodal information in the context of missing data; (iv) leveraging dataset-level information to handle incomplete data sets at training time. Extensive experiments are performed on the challenging problem of pre-operative brain multi-parametric magnetic resonance and intra-operative ultrasound imaging.
• Abstract（参考訳）: MMHVAEと呼ばれるマルチモーダル階層的変分自動エンコーダの深層混合物を提案し、異なるモードで観察された画像から欠落した画像を合成する。 MMHVAEの設計は4つの課題に取り組むことに焦点を当てている。 一 マルチモーダルデータの複雑な潜在表現を作成して高解像度画像を生成すること。 二 画像合成に必要となる欠落情報を推定するよう変分分布を奨励すること。 三 欠落したデータの文脈において、マルチモーダル情報を融合することを学ぶこと。 (iv) トレーニング時にデータセットレベルの情報を活用して、不完全なデータセットを処理する。 術前のマルチパラメトリック磁気共鳴と術中超音波イメージングの課題について, 広範囲にわたる実験を行った。

関連論文リスト

• FORESEE: Multimodal and Multi-view Representation Learning for Robust Prediction of Cancer Survival [3.4686401890974197]
  マルチモーダル情報のマイニングにより患者生存を確実に予測する新しいエンドツーエンドフレームワークFOESEEを提案する。 クロスフュージョントランスフォーマーは、細胞レベル、組織レベル、腫瘍の不均一度レベルの特徴を効果的に利用し、予後を相関させる。 ハイブリットアテンションエンコーダ(HAE)は、コンテキストアテンションモジュールを用いて、コンテキスト関係の特徴を取得する。 また、モダリティ内の損失情報を再構成する非対称マスク型3重マスク型オートエンコーダを提案する。
  論文  参考訳（メタデータ） (2024-05-13T12:39:08Z)
• SDR-Former: A Siamese Dual-Resolution Transformer for Liver Lesion Classification Using 3D Multi-Phase Imaging [59.78761085714715]
  本研究は肝病変分類のための新しいSDR-Formerフレームワークを提案する。 提案フレームワークは2つの臨床データセットに関する総合的な実験を通じて検証された。 科学コミュニティを支援するため,肝病変解析のための多段階MRデータセットを公開しています。
  論文  参考訳（メタデータ） (2024-02-27T06:32:56Z)
• Hybrid-Supervised Dual-Search: Leveraging Automatic Learning for Loss-free Multi-Exposure Image Fusion [60.221404321514086]
  マルチ露光画像融合(MEF)は、様々な露光レベルを表すデジタルイメージングの限界に対処するための重要な解決策である。 本稿では、ネットワーク構造と損失関数の両方を自動設計するための二段階最適化探索方式であるHSDS-MEFと呼ばれるMEFのためのハイブリッドスーパービジョンデュアルサーチ手法を提案する。
  論文  参考訳（メタデータ） (2023-09-03T08:07:26Z)
• Unified Multi-Modal Image Synthesis for Missing Modality Imputation [23.681228202899984]
  そこで本研究では,モダリティの欠如を抑えるために,新しいマルチモーダル画像合成法を提案する。 提案手法は, 各種合成タスクの処理に有効であり, 従来の手法と比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2023-04-11T16:59:15Z)
• TFormer: A throughout fusion transformer for multi-modal skin lesion diagnosis [6.899641625551976]
  我々は,MSLDで十分な情報干渉を行うために,純粋なトランスフォーマーベースのTFormer(スルーアウト・フュージョン・トランスフォーマー)を提案する。 そこで我々は,2分岐階層型マルチモーダルトランス (HMT) ブロックのスタックを慎重に設計し,ステージバイステージ方式で異なる画像モダリティ間で情報を融合する。 我々のTFormerは、他の最先端メソッドよりも優れています。
  論文  参考訳（メタデータ） (2022-11-21T12:07:05Z)
• One Model to Synthesize Them All: Multi-contrast Multi-scale Transformer for Missing Data Imputation [3.9207133968068684]
  我々は、シーケンス・ツー・シーケンス学習問題として、欠落データ計算を定式化する。 マルチコントラストマルチスケールトランス (MMT) を提案する。 MMTは、異なる領域における各入力コントラストの重要性を理解することができるため、本質的に解釈可能である。
  論文  参考訳（メタデータ） (2022-04-28T18:49:27Z)
• A Learnable Variational Model for Joint Multimodal MRI Reconstruction and Synthesis [4.056490719080639]
  マルチモーダルMRIの関節再構成と合成のための新しいディープラーニングモデルを提案する。 本モデルの出力は、ソースのモダリティの再構成画像と、ターゲットのモダリティで合成された高品質な画像を含む。
  論文  参考訳（メタデータ） (2022-04-08T01:35:19Z)
• Modality Completion via Gaussian Process Prior Variational Autoencoders for Multi-Modal Glioma Segmentation [75.58395328700821]
  本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。 MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。 4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
  論文  参考訳（メタデータ） (2021-07-07T19:06:34Z)
• Multifold Acceleration of Diffusion MRI via Slice-Interleaved Diffusion Encoding (SIDE) [50.65891535040752]
  本稿では,Slice-Interleaved Diffusionと呼ばれる拡散符号化方式を提案する。 SIDEは、拡散重み付き(DW)画像ボリュームを異なる拡散勾配で符号化したスライスでインターリーブする。 また,高いスライスアンサンプデータからDW画像を効果的に再構成するためのディープラーニングに基づく手法を提案する。
  論文  参考訳（メタデータ） (2020-02-25T14:48:17Z)
• Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis [143.55901940771568]
  マルチモーダルMR画像合成のためのHybrid-fusion Network(Hi-Net)を提案する。 当社のHi-Netでは,各モーダリティの表現を学習するために,モーダリティ特化ネットワークを用いている。 マルチモーダル合成ネットワークは、潜在表現と各モーダルの階層的特徴を密結合するように設計されている。
  論文  参考訳（メタデータ） (2020-02-11T08:26:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。