論文の概要: Accelerated Multi-Modal MR Imaging with Transformers

• arxiv url: http://arxiv.org/abs/2106.14248v2
• Date: Tue, 29 Jun 2021 13:37:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-30 13:06:41.171100
• Title: Accelerated Multi-Modal MR Imaging with Transformers
• Title（参考訳）: トランスフォーマーを用いたマルチモーダルmr画像の高速化
• Authors: Chun-Mei Feng and Yunlu Yan and Geng Chen, Huazhu Fu and Yong Xu and Ling Shao
• Abstract要約: MR画像の高速化のためのマルチモーダルトランス(MTrans)を提案する。 トランスアーキテクチャを再構築することで、MTransは深いマルチモーダル情報をキャプチャする強力な能力を得ることができる。 i)MTransはマルチモーダルMRイメージングに改良されたトランスフォーマーを使用する最初の試みであり、CNNベースの手法と比較してよりグローバルな情報を提供する。
• 参考スコア（独自算出の注目度）: 92.18406564785329
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Accelerating multi-modal magnetic resonance (MR) imaging is a new and effective solution for fast MR imaging, providing superior performance in restoring the target modality from its undersampled counterpart with guidance from an auxiliary modality. However, existing works simply introduce the auxiliary modality as prior information, lacking in-depth investigations on the potential mechanisms for fusing two modalities. Further, they usually rely on the convolutional neural networks (CNNs), which focus on local information and prevent them from fully capturing the long-distance dependencies of global knowledge. To this end, we propose a multi-modal transformer (MTrans), which is capable of transferring multi-scale features from the target modality to the auxiliary modality, for accelerated MR imaging. By restructuring the transformer architecture, our MTrans gains a powerful ability to capture deep multi-modal information. More specifically, the target modality and the auxiliary modality are first split into two branches and then fused using a multi-modal transformer module. This module is based on an improved multi-head attention mechanism, named the cross attention module, which absorbs features from the auxiliary modality that contribute to the target modality. Our framework provides two appealing benefits: (i) MTrans is the first attempt at using improved transformers for multi-modal MR imaging, affording more global information compared with CNN-based methods. (ii) A new cross attention module is proposed to exploit the useful information in each branch at different scales. It affords both distinct structural information and subtle pixel-level information, which supplement the target modality effectively.
• Abstract（参考訳）: 多モード磁気共鳴(MR)イメージングは、高速MRイメージングのための新しい効果的ソリューションであり、補助的モードから誘導されたアンダーサンプルからターゲットモダリティを復元する際の優れた性能を提供する。 しかし、既存の作品は単に補助モダリティを事前情報として導入しており、2つのモダリティを融合するための潜在的なメカニズムに関する詳細な調査を欠いている。 さらに、彼らは通常、ローカル情報に重点を置いた畳み込みニューラルネットワーク(CNN)に依存しており、グローバル知識の長距離依存関係を完全にキャプチャすることができない。 そこで本研究では,MTrans(Multi-modal transformer)を提案する。 トランスアーキテクチャを再構築することで、MTransは深いマルチモーダル情報をキャプチャする強力な能力を得ることができる。 具体的には、目標モダリティと補助モダリティをまず2つの分岐に分割し、次にマルチモーダルトランスモジュールを用いて融合する。 このモジュールはクロスアテンションモジュールと呼ばれる改良されたマルチヘッドアテンション機構に基づいており、ターゲットのモダリティに寄与する補助モダリティから特徴を吸収する。 i)MTransはマルチモーダルMRイメージングに改良されたトランスフォーマーを使用する最初の試みであり、CNNベースの手法と比較してよりグローバルな情報を提供する。 (ii) 各ブランチに異なるスケールで有用な情報を活用するために,新たなクロスアテンションモジュールを提案する。 異なる構造情報と微妙なピクセルレベルの情報の両方を持ち、ターゲットのモダリティを効果的に補う。

関連論文リスト

• MMR-Mamba: Multi-Modal MRI Reconstruction with Mamba and Spatial-Frequency Information Fusion [17.084083262801737]
  MMR-MambaはMRI再建のためのマルチモーダル機能を完全にかつ効率的に統合する新しいフレームワークである。 具体的には,空間領域におけるTCM(Target modality-guided Cross Mamba)モジュールの設計を行う。 次に、フーリエ領域におけるグローバル情報を効率的に統合するための選択周波数融合(SFF)モジュールを提案する。
  論文  参考訳（メタデータ） (2024-06-27T07:30:54Z)
• Multimodal Information Interaction for Medical Image Segmentation [24.024848382458767]
  革新的マルチモーダル情報クロストランス(MicFormer)について紹介する。 あるモダリティから特徴を問合せし、対応する応答を別のモダリティから取り出し、バイモーダル特徴間の効果的なコミュニケーションを容易にする。 他のマルチモーダルセグメンテーション手法と比較して,本手法はそれぞれ2.83と4.23のマージンで優れていた。
  論文  参考訳（メタデータ） (2024-04-25T07:21:14Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• Unified Frequency-Assisted Transformer Framework for Detecting and Grounding Multi-Modal Manipulation [109.1912721224697]
  本稿では、DGM4問題に対処するため、UFAFormerという名前のUnified Frequency-Assisted TransFormerフレームワークを提案する。 離散ウェーブレット変換を利用して、画像を複数の周波数サブバンドに分解し、リッチな顔偽造品をキャプチャする。 提案する周波数エンコーダは、帯域内およびバンド間自己アテンションを組み込んだもので、多種多様なサブバンド内および多種多様なフォージェリー特徴を明示的に集約する。
  論文  参考訳（メタデータ） (2023-09-18T11:06:42Z)
• GA-HQS: MRI reconstruction via a generically accelerated unfolding approach [14.988694941405575]
  画素レベルでの入力の微妙な融合のための2階勾配情報とピラミッドアテンションモジュールを組み込んだGA-HQSアルゴリズムを提案する。 本手法は, 単コイルMRI加速度タスクにおいて, 従来よりも優れている。
  論文  参考訳（メタデータ） (2023-04-06T06:21:18Z)
• RGBT Tracking via Progressive Fusion Transformer with Dynamically Guided Learning [37.067605349559]
  本稿ではProFormerと呼ばれる新しいプログレッシブフュージョントランスを提案する。 単一のモダリティ情報をマルチモーダル表現に統合し、堅牢なRGBT追跡を行う。 ProFormerは、RGBT210、RGBT234、LasHeR、VTUAVデータセットに新しい最先端パフォーマンスを設定する。
  論文  参考訳（メタデータ） (2023-03-26T16:55:58Z)
• SIM-Trans: Structure Information Modeling Transformer for Fine-grained Visual Categorization [59.732036564862796]
  本稿では,オブジェクト構造情報を変換器に組み込んだSIM-Trans(Structure Information Modeling Transformer)を提案する。 提案した2つのモジュールは軽量化されており、任意のトランスフォーマーネットワークにプラグインでき、エンドツーエンドで容易に訓練できる。 実験と解析により,提案したSIM-Transが細粒度視覚分類ベンチマークの最先端性能を達成することを示した。
  論文  参考訳（メタデータ） (2022-08-31T03:00:07Z)
• Cross-Modality High-Frequency Transformer for MR Image Super-Resolution [100.50972513285598]
  我々はTransformerベースのMR画像超解像フレームワークを構築するための初期の取り組みを構築した。 我々は、高周波構造とモード間コンテキストを含む2つの領域先行について考察する。 我々は,Cross-modality High- frequency Transformer (Cohf-T)と呼ばれる新しいTransformerアーキテクチャを構築し,低解像度画像の超解像化を実現する。
  論文  参考訳（メタデータ） (2022-03-29T07:56:55Z)
• Multi-modal land cover mapping of remote sensing images using pyramid attention and gated fusion networks [20.66034058363032]
  本稿では、新しいピラミッド注意融合(PAF)モジュールとゲート融合ユニット(GFU)に基づくマルチモーダルリモートセンシングデータの土地被覆マッピングのための新しいマルチモーダルネットワークを提案する。 PAFモジュールは、内蔵のクロスレベルおよびクロスビューアテンション融合機構により、各モードからより微細なコンテキスト表現を効率的に得るように設計されている。 GFUモジュールは、新機能の早期マージに新しいゲーティング機構を使用し、隠れた冗長性とノイズを減少させる。
  論文  参考訳（メタデータ） (2021-11-06T10:01:01Z)
• Multi-modal Aggregation Network for Fast MR Imaging [85.25000133194762]
  我々は,完全サンプル化された補助モダリティから補完表現を発見できる,MANetという新しいマルチモーダル・アグリゲーション・ネットワークを提案する。 我々のMANetでは,完全サンプリングされた補助的およびアンアンサンプされた目標モダリティの表現は,特定のネットワークを介して独立に学習される。 私たちのMANetは、$k$-spaceドメインの周波数信号を同時に回復できるハイブリッドドメイン学習フレームワークに従います。
  論文  参考訳（メタデータ） (2021-10-15T13:16:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。