論文の概要: Towards General Text-guided Image Synthesis for Customized Multimodal Brain MRI Generation

• arxiv url: http://arxiv.org/abs/2409.16818v1
• Date: Wed, 25 Sep 2024 11:14:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-27 04:05:48.739857
• Title: Towards General Text-guided Image Synthesis for Customized Multimodal Brain MRI Generation
• Title（参考訳）: カスタマイズ型マルチモーダル脳MRI生成のための汎用テキスト誘導画像合成に向けて
• Authors: Yulin Wang, Honglin Xiong, Kaicong Sun, Shuwei Bai, Ling Dai, Zhongxiang Ding, Jiameng Liu, Qian Wang, Qian Liu, Dinggang Shen,
• Abstract要約: マルチモーダル脳磁気共鳴(MR)イメージングは神経科学や神経学において不可欠である。 現在のMR画像合成アプローチは、通常、特定のタスクのための独立したデータセットで訓練される。 テキスト誘導ユニバーサルMR画像合成モデルであるTUMSynについて述べる。
• 参考スコア（独自算出の注目度）: 51.28453192441364
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal brain magnetic resonance (MR) imaging is indispensable in neuroscience and neurology. However, due to the accessibility of MRI scanners and their lengthy acquisition time, multimodal MR images are not commonly available. Current MR image synthesis approaches are typically trained on independent datasets for specific tasks, leading to suboptimal performance when applied to novel datasets and tasks. Here, we present TUMSyn, a Text-guided Universal MR image Synthesis generalist model, which can flexibly generate brain MR images with demanded imaging metadata from routinely acquired scans guided by text prompts. To ensure TUMSyn's image synthesis precision, versatility, and generalizability, we first construct a brain MR database comprising 31,407 3D images with 7 MRI modalities from 13 centers. We then pre-train an MRI-specific text encoder using contrastive learning to effectively control MR image synthesis based on text prompts. Extensive experiments on diverse datasets and physician assessments indicate that TUMSyn can generate clinically meaningful MR images with specified imaging metadata in supervised and zero-shot scenarios. Therefore, TUMSyn can be utilized along with acquired MR scan(s) to facilitate large-scale MRI-based screening and diagnosis of brain diseases.
• Abstract（参考訳）: マルチモーダル脳磁気共鳴(MR)イメージングは神経科学や神経学において不可欠である。 しかし、MRIスキャナーのアクセシビリティと長い取得時間のため、マルチモーダルMR画像は一般的には利用できない。 現在のMR画像合成アプローチは、通常、特定のタスクのための独立したデータセットでトレーニングされ、新しいデータセットやタスクに適用した場合、最適以下のパフォーマンスをもたらす。 本稿では,テキストプロンプトでガイドされる日常的に取得されたスキャンから,要求された画像メタデータを用いて柔軟に脳MR画像を生成することができる,テキスト誘導ユニバーサルMR画像合成ジェネリストモデルTUMSynを提案する。 TUMSynの画像合成精度、汎用性、一般化性を確保するため、まず13中心から7つのMRIモダリティを持つ31,407個の3D画像からなる脳MRデータベースを構築した。 次に、コントラスト学習を用いて、MRI固有のテキストエンコーダを事前訓練し、テキストプロンプトに基づくMR画像合成を効果的に制御する。 多様なデータセットと医師の評価に関する広範な実験により、TUMSynは、監督およびゼロショットのシナリオで特定の画像メタデータを持つ臨床的に有意義なMR画像を生成することができることが示された。 したがって、TUMSynは取得したMRスキャンと共に利用でき、MRIによる大規模なスクリーニングと脳疾患の診断が容易になる。

関連論文リスト

• Synthetic Brain Images: Bridging the Gap in Brain Mapping With Generative Adversarial Model [0.0]
  本研究では,高忠実かつ現実的なMRI画像スライス作成にDeep Convolutional Generative Adversarial Networks (DCGAN) を用いることを検討した。 判別器ネットワークは、生成されたスライスと実際のスライスを区別するが、ジェネレータネットワークは、現実的なMRI画像スライスを合成することを学ぶ。 ジェネレータは、敵のトレーニングアプローチを通じて、実際のMRIデータを忠実に模倣するスライスを生成する能力を向上させる。
  論文  参考訳（メタデータ） (2024-04-11T05:06:51Z)
• Disentangled Multimodal Brain MR Image Translation via Transformer-based Modality Infuser [12.402947207350394]
  マルチモーダル脳MR画像の合成を目的としたトランスフォーマーを用いたモダリティインジェクタを提案する。 本手法では,エンコーダからモダリティに依存しない特徴を抽出し,その特徴をモダリティ固有の特徴に変換する。 われわれはBraTS 2018データセットで4つのMRモードを変換する実験を行った。
  論文  参考訳（メタデータ） (2024-02-01T06:34:35Z)
• fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for Multi-Subject Brain Activity Decoding [54.17776744076334]
  本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。 我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。 コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
  論文  参考訳（メタデータ） (2023-11-01T07:24:22Z)
• Style transfer between Microscopy and Magnetic Resonance Imaging via Generative Adversarial Network in small sample size settings [49.84018914962972]
  磁気共鳴イメージング(MRI)のクロスモーダル増強と、同じ組織サンプルに基づく顕微鏡イメージングが期待できる。 コンディショナル・ジェネレーティブ・逆境ネットワーク (cGAN) アーキテクチャを用いて, コーパス・カロサムのMRI画像から顕微鏡組織像を生成する方法を検討した。
  論文  参考訳（メタデータ） (2023-10-16T13:58:53Z)
• CMRxRecon: An open cardiac MRI dataset for the competition of accelerated image reconstruction [62.61209705638161]
  ディープラーニングベースのCMRイメージングアルゴリズムへの関心が高まっている。 ディープラーニング手法は大規模なトレーニングデータセットを必要とする。 このデータセットには300人の被験者のマルチコントラスト、マルチビュー、マルチスライス、マルチコイルCMRイメージングデータが含まれている。
  論文  参考訳（メタデータ） (2023-09-19T15:14:42Z)
• The Brain Tumor Segmentation (BraTS) Challenge 2023: Brain MR Image Synthesis for Tumor Segmentation (BraSyn) [9.082208613256295]
  本稿では,脳MR画像合成ベンチマーク(BraSyn)とMICCAI(Medical Image Computing and Computer-Assisted Intervention)2023を併用して,脳MR画像合成ベンチマーク(BraSyn)の確立について紹介する。 この課題の主な目的は、複数の利用可能な画像が提供される際に、MRIの欠落を現実的に生成できる画像合成手法を評価することである。
  論文  参考訳（メタデータ） (2023-05-15T20:49:58Z)
• BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP for Generic Natural Visual Stimulus Decoding [51.911473457195555]
  BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。 脳の活動、画像、およびテキストの間のモダリティギャップを埋める。 BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
  論文  参考訳（メタデータ） (2023-02-25T03:28:54Z)
• Multi-modal Aggregation Network for Fast MR Imaging [85.25000133194762]
  我々は,完全サンプル化された補助モダリティから補完表現を発見できる,MANetという新しいマルチモーダル・アグリゲーション・ネットワークを提案する。 我々のMANetでは,完全サンプリングされた補助的およびアンアンサンプされた目標モダリティの表現は,特定のネットワークを介して独立に学習される。 私たちのMANetは、$k$-spaceドメインの周波数信号を同時に回復できるハイブリッドドメイン学習フレームワークに従います。
  論文  参考訳（メタデータ） (2021-10-15T13:16:59Z)
• Enhanced Magnetic Resonance Image Synthesis with Contrast-Aware Generative Adversarial Networks [5.3580471186206005]
  各種取得パラメータを基準とした合成MR膝画像を生成するために,GAN(generative adversarial Network)を訓練した。 チューリング試験では、2人の専門家が実際のMR画像と合成画像の40.5%を誤ってラベル付けし、生成された合成画像と実際のMR画像の画質が同等であることを示した。
  論文  参考訳（メタデータ） (2021-02-17T11:39:36Z)
• Self-Supervised Ultrasound to MRI Fetal Brain Image Synthesis [20.53251934808636]
  胎児脳MRI(Fetal brain magnetic resonance imaging)は、発達する脳の精細な画像を提供するが、第2三期異常検診には適さない。 本稿では,臨床用US画像から直接MRライクな画像を生成することを提案する。 提案するモデルは、外部アノテーションを使わずに、エンドツーエンドでトレーニング可能で自己管理できる。
  論文  参考訳（メタデータ） (2020-08-19T22:56:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。