論文の概要: TransNorm: Transformer Provides a Strong Spatial Normalization Mechanism
for a Deep Segmentation Model
- arxiv url: http://arxiv.org/abs/2207.13415v1
- Date: Wed, 27 Jul 2022 09:54:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-28 14:00:16.282432
- Title: TransNorm: Transformer Provides a Strong Spatial Normalization Mechanism
for a Deep Segmentation Model
- Title（参考訳）: TransNorm:Deep Segmentation Modelのための強力な空間正規化機構を提供するTransformer
- Authors: Reza Azad, Mohammad T. AL-Antary, Moein Heidari, Dorit Merhof
- Abstract要約: 畳み込みニューラルネットワーク(CNN)は、医療画像処理時代の主流技術である。
本稿では,Transformerモジュールをエンコーダとスキップ接続の両方に統合する,新しいディープセグメンテーションフレームワークであるTrans-Normを提案する。
- 参考スコア（独自算出の注目度）: 4.320393382724066
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the past few years, convolutional neural networks (CNNs), particularly
U-Net, have been the prevailing technique in the medical image processing era.
Specifically, the seminal U-Net, as well as its alternatives, have successfully
managed to address a wide variety of medical image segmentation tasks. However,
these architectures are intrinsically imperfect as they fail to exhibit
long-range interactions and spatial dependencies leading to a severe
performance drop in the segmentation of medical images with variable shapes and
structures. Transformers, preliminary proposed for sequence-to-sequence
prediction, have arisen as surrogate architectures to precisely model global
information assisted by the self-attention mechanism. Despite being feasibly
designed, utilizing a pure Transformer for image segmentation purposes can
result in limited localization capacity stemming from inadequate low-level
features. Thus, a line of research strives to design robust variants of
Transformer-based U-Net. In this paper, we propose Trans-Norm, a novel deep
segmentation framework which concomitantly consolidates a Transformer module
into both encoder and skip-connections of the standard U-Net. We argue that the
expedient design of skip-connections can be crucial for accurate segmentation
as it can assist in feature fusion between the expanding and contracting paths.
In this respect, we derive a Spatial Normalization mechanism from the
Transformer module to adaptively recalibrate the skip connection path.
Extensive experiments across three typical tasks for medical image segmentation
demonstrate the effectiveness of TransNorm. The codes and trained models are
publicly available at https://github.com/rezazad68/transnorm.
- Abstract（参考訳）: 過去数年間、畳み込みニューラルネットワーク(CNN)、特にU-Netは、医用画像処理時代において主流の手法であった。
具体的には、セミナルなU-Netとその代替品は、様々な医療画像のセグメンテーションタスクにうまく対応しました。
しかし、これらのアーキテクチャは、長い範囲の相互作用や空間的依存を示すことができず、様々な形状や構造を持つ医用画像のセグメンテーションに重大なパフォーマンス低下をもたらすため、本質的に不完全である。
シーケンシャル・ツー・シーケンス予測(sequence-to-sequence prediction)の予備案であるトランスフォーマは、自己着脱機構によるグローバル情報を正確にモデル化するサーロゲートアーキテクチャとして出現した。
イメージセグメンテーションのために純粋なトランスフォーマーを使用すると、低レベルの特徴が不十分から生じる限られたローカライゼーション能力が得られる。
したがって、一連の研究はトランスフォーマーベースのu-netのロバストな変種の設計に取り組んでいる。
本稿では、トランスフォーマーモジュールを標準u-netのエンコーダとスキップ接続の両方に結合した新しいディープセグメンテーションフレームワークであるtrans-normを提案する。
我々は,拡張経路と縮小経路の機能融合を支援するため,スキップ接続の迅速設計が正確なセグメント化に不可欠であると主張する。
この観点から,スイッチ接続経路を適応的に再調整する空間正規化機構をTransformerモジュールから導出する。
医用画像分割のための3つの典型的なタスクにわたる広範囲な実験は、TransNormの有効性を示す。
コードとトレーニングされたモデルはhttps://github.com/rezazad68/transnorm.comで公開されている。
関連論文リスト
- TransUKAN:Computing-Efficient Hybrid KAN-Transformer for Enhanced Medical Image Segmentation [5.280523424712006]
U-Netは現在、医療画像セグメンテーションの最も広く使われているアーキテクチャである。
我々は、メモリ使用量と計算負荷を減らすためにkanを改善した。
このアプローチは、非線形関係をキャプチャするモデルの能力を高める。
論文 参考訳（メタデータ） (2024-09-23T02:52:49Z) - SeUNet-Trans: A Simple yet Effective UNet-Transformer Model for Medical
Image Segmentation [0.0]
医用画像セグメンテーションのためのシンプルなUNet-Transformer(seUNet-Trans)モデルを提案する。
提案手法では,UNetモデルを特徴抽出器として設計し,入力画像から複数の特徴マップを生成する。
UNetアーキテクチャと自己認識機構を活用することで、我々のモデルはローカルとグローバルの両方のコンテキスト情報を保存するだけでなく、入力要素間の長距離依存関係をキャプチャできる。
論文 参考訳（メタデータ） (2023-10-16T01:13:38Z) - MISSU: 3D Medical Image Segmentation via Self-distilling TransUNet [55.16833099336073]
医用画像セグメンテーションのためのトランスフォーマーベースUNetを提案する。
グローバルな意味情報と局所的な空間的詳細特徴を同時に学習する。
MISSUは従来の最先端手法よりも優れた性能を発揮する。
論文 参考訳（メタデータ） (2022-06-02T07:38:53Z) - DS-TransUNet:Dual Swin Transformer U-Net for Medical Image Segmentation [18.755217252996754]
我々はDual Swin Transformer U-Net(DS-TransUNet)と呼ばれる新しいディープ・メディカル・イメージ・セグメンテーション・フレームワークを提案する。
従来のTransformerベースのソリューションとは異なり、提案されたDS-TransUNetは、まずSwin Transformerをベースとしたデュアルスケールエンコーダワークを採用し、異なる意味尺度の粗くきめ細かな特徴表現を抽出する。
DS-TransUNetのコアコンポーネントであるTransformer Interactive Fusion (TIF)モジュールは,自己保持機構を通じて異なるスケールの特徴間のグローバルな依存関係を効果的に確立するために提案されている。
論文 参考訳（メタデータ） (2021-06-12T08:37:17Z) - Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation [63.46694853953092]
Swin-Unetは、医用画像セグメンテーション用のUnetライクなトランスフォーマーである。
トークン化されたイメージパッチは、TransformerベースのU字型デコーダデコーダアーキテクチャに供給される。
論文 参考訳（メタデータ） (2021-05-12T09:30:26Z) - Transformers Solve the Limited Receptive Field for Monocular Depth
Prediction [82.90445525977904]
畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。
連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
論文 参考訳（メタデータ） (2021-03-22T18:00:13Z) - CoTr: Efficiently Bridging CNN and Transformer for 3D Medical Image
Segmentation [95.51455777713092]
畳み込みニューラルネットワーク(CNN)は、現代の3D医療画像セグメンテーションのデファクトスタンダードとなっている。
本稿では,bf畳み込みニューラルネットワークとbfトランスbf(cotr)を効率良く橋渡しし,正確な3次元医用画像分割を実現する新しい枠組みを提案する。
論文 参考訳（メタデータ） (2021-03-04T13:34:22Z) - Medical Transformer: Gated Axial-Attention for Medical Image
Segmentation [73.98974074534497]
医用画像分割タスクにおけるトランスフォーマティブネットワークアーキテクチャの利用可能性について検討する。
セルフアテンションモジュールに追加の制御機構を導入することで,既存のアーキテクチャを拡張するGated Axial-Attentionモデルを提案する。
医療画像上で効果的にモデルを訓練するために,さらにパフォーマンスを向上させる局所的グローバルトレーニング戦略 (logo) を提案する。
論文 参考訳（メタデータ） (2021-02-21T18:35:14Z) - TransUNet: Transformers Make Strong Encoders for Medical Image
Segmentation [78.01570371790669]
医用画像のセグメンテーションは医療システムの開発に必須の前提条件である。
様々な医療画像セグメンテーションタスクにおいて、U-Netとして知られるu字型アーキテクチャがデファクトスタンダードとなっている。
医用画像セグメンテーションの強力な代替手段として,トランスフォーマーとU-Netの両方を有効活用するTransUNetを提案する。
論文 参考訳（メタデータ） (2021-02-08T16:10:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。