Fugu-MT 論文翻訳(概要): ResViT: Residual vision transformers for multi-modal medical image synthesis

論文の概要: ResViT: Residual vision transformers for multi-modal medical image synthesis

arxiv url: http://arxiv.org/abs/2106.16031v1
Date: Wed, 30 Jun 2021 12:57:37 GMT
ステータス: 処理完了
システム内更新日: 2021-07-01 15:21:48.421967
Title: ResViT: Residual vision transformers for multi-modal medical image synthesis
Title（参考訳）: ResViT:マルチモーダル医用画像合成のための残像変換器
Authors: Onat Dalmaz, Mahmut Yurt, Tolga \c{C}ukur
Abstract要約: 本稿では、畳み込み演算子の局所的精度と視覚変換器の文脈的感度を組み合わせ、医用画像合成のための新しい生成逆変換手法ResViTを提案する。以上の結果から,ResViTと競合する手法の質的観察と定量化の両面での優位性が示唆された。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multi-modal imaging is a key healthcare technology in the diagnosis and management of disease, but it is often underutilized due to costs associated with multiple separate scans. This limitation yields the need for synthesis of unacquired modalities from the subset of available modalities. In recent years, generative adversarial network (GAN) models with superior depiction of structural details have been established as state-of-the-art in numerous medical image synthesis tasks. However, GANs are characteristically based on convolutional neural network (CNN) backbones that perform local processing with compact filters. This inductive bias, in turn, compromises learning of long-range spatial dependencies. While attention maps incorporated in GANs can multiplicatively modulate CNN features to emphasize critical image regions, their capture of global context is mostly implicit. Here, we propose a novel generative adversarial approach for medical image synthesis, ResViT, to combine local precision of convolution operators with contextual sensitivity of vision transformers. Based on an encoder-decoder architecture, ResViT employs a central bottleneck comprising novel aggregated residual transformer (ART) blocks that synergistically combine convolutional and transformer modules. Comprehensive demonstrations are performed for synthesizing missing sequences in multi-contrast MRI and CT images from MRI. Our results indicate the superiority of ResViT against competing methods in terms of qualitative observations and quantitative metrics.
Abstract（参考訳）: マルチモーダルイメージングは、疾患の診断と管理において重要な医療技術であるが、複数の個別のスキャンに伴うコストのため、しばしば利用されていない。この制限は、未獲得のモダリティを利用可能なモダリティのサブセットから合成する必要性をもたらす。近年,多くの医用画像合成タスクにおいて,構造的詳細の描写に優れるGANモデルが最先端技術として確立されている。しかし、GANは、コンパクトなフィルタで局所処理を行う畳み込みニューラルネットワーク(CNN)のバックボーンを特徴としている。この帰納的バイアスは、逆に、長距離空間依存の学習を損なう。 ganに組み込まれたアテンションマップはcnnの特徴を乗法的に変調して重要な画像領域を強調することができるが、そのグローバルコンテキストの捉え方は暗黙的である。本稿では、畳み込み演算子の局所的精度と視覚変換器の文脈的感度を組み合わせ、医用画像合成のための新しい生成逆変換手法ResViTを提案する。エンコーダ・デコーダアーキテクチャに基づいて、ResViTは、畳み込みモジュールと変圧器モジュールを相乗的に結合する新しい集合的残留トランス (ART) ブロックからなる中心的ボトルネックを使用する。マルチコントラストMRIおよびCT画像の欠失配列をMRIから合成するための総合的なデモンストレーションを行う。この結果から,ResViTと競合する手法の質的観察と定量化の点で優位性が示唆された。

関連論文リスト

A Unified Model for Compressed Sensing MRI Across Undersampling Patterns [69.19631302047569]
ディープニューラルネットワークは、アンダーサンプル計測から高忠実度画像を再構成する大きな可能性を示している。我々のモデルは、離散化に依存しないアーキテクチャであるニューラル演算子に基づいている。我々の推論速度は拡散法よりも1,400倍速い。
論文参考訳（メタデータ） (2024-10-05T20:03:57Z)
I2I-Mamba: Multi-modal medical image synthesis via selective state space modeling [8.48392350084504]
本稿では,医用画像合成のための新しい敵対モデルI2I-Mambaを提案する。 I2I-Mambaは、ターゲットモダリティ画像の合成における最先端CNNおよびトランスフォーマーベースの手法に対して優れた性能を提供する。
論文参考訳（メタデータ） (2024-05-22T21:55:58Z)
Disentangled Multimodal Brain MR Image Translation via Transformer-based Modality Infuser [12.402947207350394]
マルチモーダル脳MR画像の合成を目的としたトランスフォーマーを用いたモダリティインジェクタを提案する。本手法では,エンコーダからモダリティに依存しない特徴を抽出し,その特徴をモダリティ固有の特徴に変換する。われわれはBraTS 2018データセットで4つのMRモードを変換する実験を行った。
論文参考訳（メタデータ） (2024-02-01T06:34:35Z)
CoNeS: Conditional neural fields with shift modulation for multi-sequence MRI translation [5.662694302758443]
マルチシーケンスMRI(Multi-sequence magnetic resonance imaging)は、現代の臨床研究とディープラーニング研究の両方に広く応用されている。画像取得プロトコルの違いや、患者のコントラスト剤の禁忌が原因で、MRIの1つ以上の配列が欠落することがしばしば起こる。 1つの有望なアプローチは、生成モデルを利用して欠落したシーケンスを合成することであり、これはサロゲート獲得の役割を果たす。
論文参考訳（メタデータ） (2023-09-06T19:01:58Z)
On Sensitivity and Robustness of Normalization Schemes to Input Distribution Shifts in Automatic MR Image Diagnosis [58.634791552376235]
深層学習(DL)モデルは、再構成画像を入力として、複数の疾患の診断において最先端のパフォーマンスを達成した。 DLモデルは、トレーニングとテストフェーズ間の入力データ分布の変化につながるため、さまざまなアーティファクトに敏感である。本稿では,グループ正規化やレイヤ正規化といった他の正規化手法を用いて,画像のさまざまなアーチファクトに対して,モデル性能にロバスト性を注入することを提案する。
論文参考訳（メタデータ） (2023-06-23T03:09:03Z)
Generative Adversarial Networks for Brain Images Synthesis: A Review [2.609784101826762]
医用画像において、画像合成とは、ある画像(シーケンス、モダリティ)を別の画像(シーケンス、モダリティ)から推定する過程である。 GAN(Generative Adversarial Network)は、GAN(Generative-based Deep Learning)の一種。我々は,CTからPETへの画像合成,CTからMRIへの画像合成,PETへの画像合成,およびその逆を含む最近のGANの展開を要約した。
論文参考訳（メタデータ） (2023-05-16T17:28:06Z)
Model-Guided Multi-Contrast Deep Unfolding Network for MRI Super-resolution Reconstruction [68.80715727288514]
MRI観察行列を用いて,反復型MGDUNアルゴリズムを新しいモデル誘導深部展開ネットワークに展開する方法を示す。本稿では,医療画像SR再構成のためのモデルガイド型解釈可能なDeep Unfolding Network(MGDUN)を提案する。
論文参考訳（メタデータ） (2022-09-15T03:58:30Z)
One Model to Synthesize Them All: Multi-contrast Multi-scale Transformer for Missing Data Imputation [3.9207133968068684]
我々は、シーケンス・ツー・シーケンス学習問題として、欠落データ計算を定式化する。マルチコントラストマルチスケールトランス (MMT) を提案する。 MMTは、異なる領域における各入力コントラストの重要性を理解することができるため、本質的に解釈可能である。
論文参考訳（メタデータ） (2022-04-28T18:49:27Z)
Transformer-empowered Multi-scale Contextual Matching and Aggregation for Multi-contrast MRI Super-resolution [55.52779466954026]
マルチコントラスト・スーパーレゾリューション (SR) 再構成により, SR画像の高画質化が期待できる。既存の手法では、これらの特徴をマッチングし、融合させる効果的なメカニズムが欠如している。そこで本稿では,トランスフォーマーを利用したマルチスケールコンテキストマッチングとアグリゲーション技術を開発することで,これらの問題を解決する新しいネットワークを提案する。
論文参考訳（メタデータ） (2022-03-26T01:42:59Z)
TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation [78.01570371790669]
医用画像のセグメンテーションは医療システムの開発に必須の前提条件である。様々な医療画像セグメンテーションタスクにおいて、U-Netとして知られるu字型アーキテクチャがデファクトスタンダードとなっている。医用画像セグメンテーションの強力な代替手段として,トランスフォーマーとU-Netの両方を有効活用するTransUNetを提案する。
論文参考訳（メタデータ） (2021-02-08T16:10:50Z)
Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis [143.55901940771568]
マルチモーダルMR画像合成のためのHybrid-fusion Network(Hi-Net)を提案する。当社のHi-Netでは,各モーダリティの表現を学習するために,モーダリティ特化ネットワークを用いている。マルチモーダル合成ネットワークは、潜在表現と各モーダルの階層的特徴を密結合するように設計されている。
論文参考訳（メタデータ） (2020-02-11T08:26:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。