論文の概要: One Model to Synthesize Them All: Multi-contrast Multi-scale Transformer for Missing Data Imputation

• arxiv url: http://arxiv.org/abs/2204.13738v2
• Date: Wed, 22 Mar 2023 18:30:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 18:46:50.094476
• Title: One Model to Synthesize Them All: Multi-contrast Multi-scale Transformer for Missing Data Imputation
• Title（参考訳）: これらすべてを合成するための1つのモデル:データのインプテーションを欠くマルチコントラストマルチスケールトランスフォーマー
• Authors: Jiang Liu, Srivathsa Pasumarthi, Ben Duffy, Enhao Gong, Keshav Datta, Greg Zaharchuk
• Abstract要約: 我々は、シーケンス・ツー・シーケンス学習問題として、欠落データ計算を定式化する。 マルチコントラストマルチスケールトランス (MMT) を提案する。 MMTは、異なる領域における各入力コントラストの重要性を理解することができるため、本質的に解釈可能である。
• 参考スコア（独自算出の注目度）: 3.9207133968068684
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-contrast magnetic resonance imaging (MRI) is widely used in clinical practice as each contrast provides complementary information. However, the availability of each imaging contrast may vary amongst patients, which poses challenges to radiologists and automated image analysis algorithms. A general approach for tackling this problem is missing data imputation, which aims to synthesize the missing contrasts from existing ones. While several convolutional neural networks (CNN) based algorithms have been proposed, they suffer from the fundamental limitations of CNN models, such as the requirement for fixed numbers of input and output channels, the inability to capture long-range dependencies, and the lack of interpretability. In this work, we formulate missing data imputation as a sequence-to-sequence learning problem and propose a multi-contrast multi-scale Transformer (MMT), which can take any subset of input contrasts and synthesize those that are missing. MMT consists of a multi-scale Transformer encoder that builds hierarchical representations of inputs combined with a multi-scale Transformer decoder that generates the outputs in a coarse-to-fine fashion. The proposed multi-contrast Swin Transformer blocks can efficiently capture intra- and inter-contrast dependencies for accurate image synthesis. Moreover, MMT is inherently interpretable as it allows us to understand the importance of each input contrast in different regions by analyzing the in-built attention maps of Transformer blocks in the decoder. Extensive experiments on two large-scale multi-contrast MRI datasets demonstrate that MMT outperforms the state-of-the-art methods quantitatively and qualitatively.
• Abstract（参考訳）: 多コントラストMRI(Multi-Contrast magnetic resonance imaging)は臨床で広く用いられている。 しかし、各画像コントラストの可用性は患者によって異なり、放射線医や自動画像解析アルゴリズムに課題が生じる。 この問題を解決する一般的なアプローチは、データインプテーションの欠如であり、既存のデータとのコントラストの欠如を合成することを目的としている。 いくつかの畳み込みニューラルネットワーク(CNN)ベースのアルゴリズムが提案されているが、CNNモデルの基本的な制限、例えば、入力チャネルと出力チャネルの固定数の要件、長距離依存をキャプチャすることができないこと、解釈不能などである。 本研究では,データインプテーションの欠落をシーケンスからシーケンスへの学習問題として定式化し,入力コントラストの任意のサブセットを取り込んで,欠落したデータを合成するマルチコントラストマルチスケールトランス(mmt)を提案する。 MMTは、入力の階層的な表現を構築するマルチスケールトランスフォーマーエンコーダと、粗い方法で出力を生成するマルチスケールトランスフォーマーデコーダで構成される。 提案するマルチコントラストスウィントランスブロックは、正確な画像合成のために、コントラスト内およびコントラスト間依存性を効率的に捉えることができる。 さらに、MTMは、デコーダ内のトランスフォーマーブロックの組込みアテンションマップを解析することにより、異なる領域における各入力コントラストの重要性を理解することができるため、本質的に解釈可能である。 2つの大規模マルチコントラストMRIデータセットに対する大規模な実験により、MTTは最先端の手法を定量的に質的に優れていることが示された。

関連論文リスト

• Disentangled Multimodal Brain MR Image Translation via Transformer-based Modality Infuser [12.402947207350394]
  マルチモーダル脳MR画像の合成を目的としたトランスフォーマーを用いたモダリティインジェクタを提案する。 本手法では,エンコーダからモダリティに依存しない特徴を抽出し,その特徴をモダリティ固有の特徴に変換する。 われわれはBraTS 2018データセットで4つのMRモードを変換する実験を行った。
  論文  参考訳（メタデータ） (2024-02-01T06:34:35Z)
• CoNeS: Conditional neural fields with shift modulation for multi-sequence MRI translation [5.662694302758443]
  マルチシーケンスMRI(Multi-sequence magnetic resonance imaging)は、現代の臨床研究とディープラーニング研究の両方に広く応用されている。 画像取得プロトコルの違いや、患者のコントラスト剤の禁忌が原因で、MRIの1つ以上の配列が欠落することがしばしば起こる。 1つの有望なアプローチは、生成モデルを利用して欠落したシーケンスを合成することであり、これはサロゲート獲得の役割を果たす。
  論文  参考訳（メタデータ） (2023-09-06T19:01:58Z)
• On Sensitivity and Robustness of Normalization Schemes to Input Distribution Shifts in Automatic MR Image Diagnosis [58.634791552376235]
  深層学習(DL)モデルは、再構成画像を入力として、複数の疾患の診断において最先端のパフォーマンスを達成した。 DLモデルは、トレーニングとテストフェーズ間の入力データ分布の変化につながるため、さまざまなアーティファクトに敏感である。 本稿では,グループ正規化やレイヤ正規化といった他の正規化手法を用いて,画像のさまざまなアーチファクトに対して,モデル性能にロバスト性を注入することを提案する。
  論文  参考訳（メタデータ） (2023-06-23T03:09:03Z)
• Multi-scale Transformer Network with Edge-aware Pre-training for Cross-Modality MR Image Synthesis [52.41439725865149]
  クロスモダリティ磁気共鳴(MR)画像合成は、与えられたモダリティから欠落するモダリティを生成するために用いられる。 既存の(教師付き学習)手法は、効果的な合成モデルを訓練するために、多くのペア化されたマルチモーダルデータを必要とすることが多い。 マルチスケールトランスフォーマーネットワーク(MT-Net)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T11:40:40Z)
• Transformer-empowered Multi-scale Contextual Matching and Aggregation for Multi-contrast MRI Super-resolution [55.52779466954026]
  マルチコントラスト・スーパーレゾリューション (SR) 再構成により, SR画像の高画質化が期待できる。 既存の手法では、これらの特徴をマッチングし、融合させる効果的なメカニズムが欠如している。 そこで本稿では,トランスフォーマーを利用したマルチスケールコンテキストマッチングとアグリゲーション技術を開発することで,これらの問題を解決する新しいネットワークを提案する。
  論文  参考訳（メタデータ） (2022-03-26T01:42:59Z)
• Multimodal-Boost: Multimodal Medical Image Super-Resolution using Multi-Attention Network with Wavelet Transform [5.416279158834623]
  対応する画像分解能の喪失は、医用画像診断の全体的な性能を低下させる。 ディープラーニングベースのシングルイメージスーパーレゾリューション(SISR)アルゴリズムは、全体的な診断フレームワークに革命をもたらした。 本研究は,低周波データから高頻度情報を学習する深層マルチアテンションモジュールを用いたGAN(Generative Adversarial Network)を提案する。
  論文  参考訳（メタデータ） (2021-10-22T10:13:46Z)
• CyTran: A Cycle-Consistent Transformer with Multi-Level Consistency for Non-Contrast to Contrast CT Translation [56.622832383316215]
  コントラストCTを非コントラストCTに変換する手法を提案する。 提案手法は、CyTranを略して、サイクル一貫性のある生成逆転変換器に基づいている。 実験の結果、CyTranは競合するすべての手法より優れています。
  論文  参考訳（メタデータ） (2021-10-12T23:25:03Z)
• Modality Completion via Gaussian Process Prior Variational Autoencoders for Multi-Modal Glioma Segmentation [75.58395328700821]
  本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。 MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。 4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
  論文  参考訳（メタデータ） (2021-07-07T19:06:34Z)
• ResViT: Residual vision transformers for multi-modal medical image synthesis [0.0]
  本稿では、畳み込み演算子の局所的精度と視覚変換器の文脈的感度を組み合わせ、医用画像合成のための新しい生成逆変換手法ResViTを提案する。 以上の結果から,ResViTと競合する手法の質的観察と定量化の両面での優位性が示唆された。
  論文  参考訳（メタデータ） (2021-06-30T12:57:37Z)
• TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation [78.01570371790669]
  医用画像のセグメンテーションは医療システムの開発に必須の前提条件である。 様々な医療画像セグメンテーションタスクにおいて、U-Netとして知られるu字型アーキテクチャがデファクトスタンダードとなっている。 医用画像セグメンテーションの強力な代替手段として,トランスフォーマーとU-Netの両方を有効活用するTransUNetを提案する。
  論文  参考訳（メタデータ） (2021-02-08T16:10:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。