論文の概要: Cross Group Attention and Group-wise Rolling for Multimodal Medical Image Synthesis

• arxiv url: http://arxiv.org/abs/2411.14684v1
• Date: Fri, 22 Nov 2024 02:29:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 15:03:41.228477
• Title: Cross Group Attention and Group-wise Rolling for Multimodal Medical Image Synthesis
• Title（参考訳）: マルチモーダル医用画像合成のためのクロスグループアテンションとグループワイズローリング
• Authors: Tao Song, Yicheng Wu, Minhao Hu, Xiangde Luo, Linda Wei, Guotai Wang, Yi Guo, Feng Xu, Shaoting Zhang,
• Abstract要約: マルチモーダルMR画像合成は、いくつかのMRIデータを融合してマッピングすることで、欠落したモダリティ画像を生成することを目的としている。 マルチモーダルMR画像合成におけるモダリティ間関係とモダリティ間関係の両方を探索するAdaptive Group-wise Interaction Network (AGI-Net)を提案する。
• 参考スコア（独自算出の注目度）: 22.589087990596887
• License:
• Abstract: Multimodal MR image synthesis aims to generate missing modality image by fusing and mapping a few available MRI data. Most existing approaches typically adopt an image-to-image translation scheme. However, these methods often suffer from sub-optimal performance due to the spatial misalignment between different modalities while they are typically treated as input channels. Therefore, in this paper, we propose an Adaptive Group-wise Interaction Network (AGI-Net) that explores both inter-modality and intra-modality relationships for multimodal MR image synthesis. Specifically, groups are first pre-defined along the channel dimension and then we perform an adaptive rolling for the standard convolutional kernel to capture inter-modality spatial correspondences. At the same time, a cross-group attention module is introduced to fuse information across different channel groups, leading to better feature representation. We evaluated the effectiveness of our model on the publicly available IXI and BraTS2023 datasets, where the AGI-Net achieved state-of-the-art performance for multimodal MR image synthesis. Code will be released.
• Abstract（参考訳）: マルチモーダルMR画像合成は、いくつかのMRIデータを融合してマッピングすることで、欠落したモダリティ画像を生成することを目的としている。 既存のほとんどのアプローチでは画像から画像への変換方式が一般的である。 しかし、これらの手法は、通常入力チャネルとして扱われる間、異なるモダリティ間の空間的不一致により、しばしば準最適性能に悩まされる。 そこで本稿では,マルチモーダルMR画像合成におけるモダリティ間関係とモダリティ間関係の両方を探索するAdaptive Group-wise Interaction Network (AGI-Net)を提案する。 具体的には、まずチャネル次元に沿ってグループを事前定義し、次に標準畳み込みカーネルの適応圧延を行い、モーダリティ間空間対応を捉える。 同時に、異なるチャネルグループ間で情報を融合するためにグループ間アテンションモジュールが導入され、より優れた特徴表現がもたらされる。 我々は、AGI-NetがマルチモーダルMR画像合成のための最先端性能を達成したIXIおよびBraTS2023データセットに対するモデルの有効性を評価した。 コードはリリースされる。

関連論文リスト

• NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation [55.51412454263856]
  本稿では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。 様々な個人から約67,000 fMRI-imageペアのトレーニングを行うことで,fMRI-to-imageデコーディング能力に優れたモデルが得られた。
  論文  参考訳（メタデータ） (2024-03-27T02:42:52Z)
• Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
  Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。 従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。 本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
  論文  参考訳（メタデータ） (2023-12-19T08:14:14Z)
• A Simple and Robust Framework for Cross-Modality Medical Image Segmentation applied to Vision Transformers [0.0]
  単一条件モデルを用いて複数モードの公平な画像分割を実現するための簡単なフレームワークを提案する。 本研究の枠組みは,マルチモーダル全心条件課題において,他のモダリティセグメンテーション手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-09T09:51:44Z)
• Unified Frequency-Assisted Transformer Framework for Detecting and Grounding Multi-Modal Manipulation [109.1912721224697]
  本稿では、DGM4問題に対処するため、UFAFormerという名前のUnified Frequency-Assisted TransFormerフレームワークを提案する。 離散ウェーブレット変換を利用して、画像を複数の周波数サブバンドに分解し、リッチな顔偽造品をキャプチャする。 提案する周波数エンコーダは、帯域内およびバンド間自己アテンションを組み込んだもので、多種多様なサブバンド内および多種多様なフォージェリー特徴を明示的に集約する。
  論文  参考訳（メタデータ） (2023-09-18T11:06:42Z)
• Unified Brain MR-Ultrasound Synthesis using Multi-Modal Hierarchical Representations [34.821129614819604]
  MHVAE(Deep Hierarchical Variational Auto-Encoder, VAE)は, 様々なモダリティから欠落した画像を合成する。 階層的な潜在構造を持つマルチモーダルVAEを拡張して,複数のモーダル画像を共通の潜在表現で融合する確率的定式化を導入する。 画像の欠落に対して,マルチモーダルVAE,条件付きGAN,現在の最先端統一手法(ResViT)より優れた性能を示した。
  論文  参考訳（メタデータ） (2023-09-15T20:21:03Z)
• Multi-scale Transformer Network with Edge-aware Pre-training for Cross-Modality MR Image Synthesis [52.41439725865149]
  クロスモダリティ磁気共鳴(MR)画像合成は、与えられたモダリティから欠落するモダリティを生成するために用いられる。 既存の(教師付き学習)手法は、効果的な合成モデルを訓練するために、多くのペア化されたマルチモーダルデータを必要とすることが多い。 マルチスケールトランスフォーマーネットワーク(MT-Net)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T11:40:40Z)
• Semantic Image Synthesis via Diffusion Models [159.4285444680301]
  Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。 セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
  論文  参考訳（メタデータ） (2022-06-30T18:31:51Z)
• Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis [143.55901940771568]
  マルチモーダルMR画像合成のためのHybrid-fusion Network(Hi-Net)を提案する。 当社のHi-Netでは,各モーダリティの表現を学習するために,モーダリティ特化ネットワークを用いている。 マルチモーダル合成ネットワークは、潜在表現と各モーダルの階層的特徴を密結合するように設計されている。
  論文  参考訳（メタデータ） (2020-02-11T08:26:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。