論文の概要: Multimodal synthesis of MRI and tabular data with diffusion in a joint latent space via cross-attention

• arxiv url: http://arxiv.org/abs/2605.06699v1
• Date: Tue, 05 May 2026 08:30:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.470885
• Title: Multimodal synthesis of MRI and tabular data with diffusion in a joint latent space via cross-attention
• Title（参考訳）: 交叉アテンションによる関節潜在空間の拡散を伴うMRIと表層データの多重モーダル合成
• Authors: Daniel Mensing, Jan Kapar, Jochen G. Hirsch, Matthias Günther, Horst Hahn, Marvin N. Wright,
• Abstract要約: 磁気共鳴画像(MRI)と表層臨床データを共同で合成する多モード潜時拡散モデルを提案する。 本モデルは拡散合成の前に2つのモードを融合するために変分オートエンコーダを用いる。 ドイツ国立コーホート(NAKO Gesundheitsstudie)のデータフレームワークの評価を行った。
• 参考スコア（独自算出の注目度）: 1.407401787551479
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a multimodal latent diffusion model that jointly synthesizes volumetric magnetic resonance imaging (MRI) and tabular clinical data within a shared latent space via cross-attention. This approach enables coherent joint representation learning of MRI and tabular modalities for generative modeling. Our model utilizes a variational autoencoder to fuse the two modalities before diffusion-based synthesis, allowing modality-appropriate reconstruction with separate decoders for MRI and tabular data. We evaluated the framework on data from the German National Cohort (NAKO Gesundheitsstudie), comprising over 10,000 participants with MRI scans and clinical tabular features such as age, sex, body measurements, and ethnicity. The generated MRI volumes exhibited anatomical plausibility and body composition consistent with the synthesized tabular attributes. Quantitative evaluation using Fréchet distance and precision-recall metrics confirmed high-fidelity image generation. In the tabular modality, our model outperformed CTGAN across standard evaluation metrics and achieved results comparable to TVAE, demonstrating competitive performance relative to established unimodal baselines. This work is, to our knowledge, the first to demonstrate the feasibility of jointly modeling MRI and mixed-type tabular data in a single latent diffusion framework, offering a proof-of-concept for generating coherent synthetic multimodal patient data and aligning with the broader goal of developing digital twins in healthcare.
• Abstract（参考訳）: 本稿では,画像画像と表層臨床データをクロスアテンションにより相互に合成する多モード潜時拡散モデルを提案する。 このアプローチは、MRIのコヒーレントな関節表現学習と、生成モデルのための表層モーダル性を実現する。 本モデルでは,拡散合成に先立って2つのモーダルを融合させる変動型オートエンコーダを用いて,MRIと表データ用の分離デコーダを用いて,モダリティに適合した再構成を行う。 ドイツ国立コーホート(NAKO Gesundheitsstudie,NAKO Gesundheitsstudie,NAKO Gesundheitsstudie,NAKO Gesundheitsstudie)のデータに基づいて,MRIスキャンと年齢,性別,身体計測,民族性などの臨床表層的特徴について検討した。 生成したMRIの容積は解剖学的妥当性を示し,体組成は合成表状属性と一致した。 フレシェ距離と高精度リコール測定値を用いた高忠実度画像生成の定量的評価 表層モードでは,標準評価指標のCTGANよりも優れ,TVAEに匹敵する結果を得た。 この研究は、我々の知る限り、単一の潜伏拡散フレームワークにおいて、MRIと混合型表層データを共同でモデル化し、一貫性のある人工マルチモーダル患者データを生成し、医療におけるデジタルツインを開発するという目標に合わせるための概念実証を提供するという、初めて実現可能性を示すものである。

関連論文リスト

• Mamba-driven MRI-to-CT Synthesis for MRI-only Radiotherapy Planning [4.3531418255555545]
  マンバ (Mamba) は、モダリティ間翻訳のための状態空間モデルである。 We adapt the U-Mamba and the SegMamba architecture, originally proposed for segmentation, to perform cross-modality image generation。 私たちの3D Mambaアーキテクチャは、複雑な特徴と長距離ボリューム依存を効果的に捉え、正確なCT合成を可能にします。
  論文  参考訳（メタデータ） (2026-03-24T14:56:39Z)
• A Unified Attention U-Net Framework for Cross-Modality Tumor Segmentation in MRI and CT [0.0]
  本研究では,MRI (BraTS 2021) と CT (LIDC-IDRI) データセットを併用した統合型注意U-Netアーキテクチャを提案する。 提案するパイプラインは、モーダリティ調和前処理、注意誘導スキップ接続、およびモーダリティ対応のFocal Tversky損失関数を組み込んだものである。
  論文  参考訳（メタデータ） (2026-01-07T23:50:45Z)
• Diffusion Models for conditional MRI generation [0.0]
  脳磁気共鳴画像(MRI)生成のための潜時拡散モデル(LDM)を提案する。 生成画像の品質を評価するために、Fr'echet Inception Distance(FID)とMulti-Scale Structure similarity Index(MS-SSIM)のメトリクスを使用した。
  論文  参考訳（メタデータ） (2025-02-25T20:08:29Z)
• MRGen: Segmentation Data Engine for Underrepresented MRI Modalities [59.61465292965639]
  稀ながら臨床的に重要な画像モダリティのための医用画像分割モデルの訓練は、注釈付きデータの不足により困難である。 本稿では,データ合成における生成モデルの利用について検討する。 本稿では,テキストプロンプトとセグメンテーションマスクを条件とした医用画像合成のためのデータエンジンMRGenを提案する。
  論文  参考訳（メタデータ） (2024-12-04T16:34:22Z)
• Physics-Informed Latent Diffusion for Multimodal Brain MRI Synthesis [43.82741134285203]
  可変数の脳MRIモダリティを合成できる物理インフォームド生成モデルを提案する。 提案手法は遅延拡散モデルと2段階生成過程を利用する。 実験は、見えないMRコントラストを発生させ、身体的可視性を維持するためのこのアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2024-09-20T14:21:34Z)
• Principled Feature Disentanglement for High-Fidelity Unified Brain MRI Synthesis [5.657045602016982]
  ハイブリッド融合GAN(HF-GAN)と呼ばれる,マルチシーケンスMR画像のための新しい統合フレームワークを提案する。 並列な1対1ストリームを利用して、モダリティ固有の情報を処理しながら、複雑な相補的特徴を抽出するために、強力な多対1ストリームを構築する。 健康脳MRIと病理脳MRIの両方の公開データセットの枠組みを検証した。
  論文  参考訳（メタデータ） (2024-06-21T08:06:00Z)
• HyperFusion: A Hypernetwork Approach to Multimodal Integration of Tabular and Medical Imaging Data for Predictive Modeling [4.44283662576491]
  EHRの値と測定値に画像処理を条件付け,臨床画像と表層データを融合させるハイパーネットワークに基づく新しいフレームワークを提案する。 このアプローチは、これらのモダリティに存在する相補的な情報を活用し、様々な医療応用の精度を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-03-20T05:50:04Z)
• Cross-modality Guidance-aided Multi-modal Learning with Dual Attention for MRI Brain Tumor Grading [47.50733518140625]
  脳腫瘍は世界で最も致命的ながんの1つであり、子供や高齢者に非常に多い。 本稿では,MRI脳腫瘍グレーディングの課題に対処するために,新たな多モード学習法を提案する。
  論文  参考訳（メタデータ） (2024-01-17T07:54:49Z)
• Confidence-guided Lesion Mask-based Simultaneous Synthesis of Anatomic and Molecular MR Images in Patients with Post-treatment Malignant Gliomas [65.64363834322333]
  信頼性ガイドSAMR(CG-SAMR)は、病変情報からマルチモーダル解剖学的配列にデータを合成する。 モジュールは中間結果に対する信頼度測定に基づいて合成をガイドする。 実際の臨床データを用いた実験により,提案モデルが最先端の合成法よりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-08-06T20:20:22Z)
• Lesion Mask-based Simultaneous Synthesis of Anatomic and MolecularMR Images using a GAN [59.60954255038335]
  提案するフレームワークは,ストレッチアウトアップサンプリングモジュール,ブレインアトラスエンコーダ,セグメンテーション一貫性モジュール,マルチスケールラベルワイド識別器から構成される。 実際の臨床データを用いた実験により,提案モデルが最先端の合成法よりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-06-26T02:50:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。