論文の概要: U-Netmer: U-Net meets Transformer for medical image segmentation

• arxiv url: http://arxiv.org/abs/2304.01401v1
• Date: Mon, 3 Apr 2023 22:34:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-05 16:08:01.587774
• Title: U-Netmer: U-Net meets Transformer for medical image segmentation
• Title（参考訳）: U-Netmerが医療用画像セグメンテーション用トランスフォーマーを発表
• Authors: Sheng He, Rina Bao, P. Ellen Grant, Yangming Ou
• Abstract要約: 医用画像セグメンテーションのためのU-NetとTransformerのグローバルなファッション組み合わせを提案する。 提案するU-Netmerは,入力画像をローカルパッチに分割し,ローカルパッチ間のグローバルコンテキスト情報をTransformerの自己保持機構によって学習する。 U-Netmerは、スケールセンシティブな"問題を解決するために、異なるパッチサイズでトレーニングすることができる。
• 参考スコア（独自算出の注目度）: 2.064612766965483
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The combination of the U-Net based deep learning models and Transformer is a new trend for medical image segmentation. U-Net can extract the detailed local semantic and texture information and Transformer can learn the long-rang dependencies among pixels in the input image. However, directly adapting the Transformer for segmentation has ``token-flatten" problem (flattens the local patches into 1D tokens which losses the interaction among pixels within local patches) and ``scale-sensitivity" problem (uses a fixed scale to split the input image into local patches). Compared to directly combining U-Net and Transformer, we propose a new global-local fashion combination of U-Net and Transformer, named U-Netmer, to solve the two problems. The proposed U-Netmer splits an input image into local patches. The global-context information among local patches is learnt by the self-attention mechanism in Transformer and U-Net segments each local patch instead of flattening into tokens to solve the `token-flatten" problem. The U-Netmer can segment the input image with different patch sizes with the identical structure and the same parameter. Thus, the U-Netmer can be trained with different patch sizes to solve the ``scale-sensitivity" problem. We conduct extensive experiments in 7 public datasets on 7 organs (brain, heart, breast, lung, polyp, pancreas and prostate) and 4 imaging modalities (MRI, CT, ultrasound, and endoscopy) to show that the proposed U-Netmer can be generally applied to improve accuracy of medical image segmentation. These experimental results show that U-Netmer provides state-of-the-art performance compared to baselines and other models. In addition, the discrepancy among the outputs of U-Netmer with different scales is linearly correlated to the segmentation accuracy which can be considered as a confidence score to rank test images by difficulty without ground-truth.
• Abstract（参考訳）: U-NetベースのディープラーニングモデルとTransformerの組み合わせは、医療画像セグメンテーションの新しいトレンドである。 U-Netは詳細な局所意味情報やテクスチャ情報を抽出でき、Transformerは入力画像中の画素間の長距離依存関係を学習することができる。 しかし、セグメンテーションのためにTransformerを直接適用するには、‘token-flatten’問題(ローカルパッチを局所パッチ内のピクセル間の相互作用を損なう1Dトークンにフラット化する)と‘‘scale-sensitivity’問題(入力イメージをローカルパッチに分割するために固定スケールを使用する)がある。 そこで本研究では,u-netとtransformerの直接結合と比較して,u-netとtransformerのグローバル・ローカルな組み合わせを提案する。 提案するu-netmerは入力画像をローカルパッチに分割する。 局所パッチ間のグローバルコンテキスト情報は、トランスフォーマおよびu-netセグメントにおける自己アテンション機構によって学習され、トークンに平ら化せずに各局所パッチが“トケンフラット”問題を解決する。u-netmerは、入力画像を同じ構造とパラメータで異なるパッチサイズでセグメント化することができる。したがって、u-netmerは、‘scale-sensitivity’問題を解決するために、異なるパッチサイズで訓練することができる。 7つの臓器 (脳, 心臓, 乳房, 肺, ポリープ, 膵, 前立腺) と4つの画像モダリティ (MRI, CT, 超音波, 内視鏡) を用いて, 提案したU-Netmerが医用画像セグメンテーションの精度を向上させるために一般的に適用可能であることを示す。 これらの実験結果から,U-Netmerはベースラインや他のモデルと比較して最先端の性能を提供することがわかった。 また、異なるスケールのU-Netmerの出力間の差は、グラウンドトルースのない難易度でテスト画像のランク付けに信頼性スコアとみなすことのできるセグメンテーション精度と線形に相関する。

関連論文リスト

• UTSRMorph: A Unified Transformer and Superresolution Network for Unsupervised Medical Image Registration [4.068692674719378]
  複雑な画像登録は、医用画像解析において重要な課題である。 本稿では,UTSRMorphネットワークと統合トランスフォーマー(UTSRMorph)ネットワークという,教師なしの新たな画像登録手法を提案する。
  論文  参考訳（メタデータ） (2024-10-27T06:28:43Z)
• Optimizing Vision Transformers for Medical Image Segmentation and Few-Shot Domain Adaptation [11.690799827071606]
  我々はCS-Unet(Convolutional Swin-Unet)トランスフォーマーブロックを提案し、パッチ埋め込み、プロジェクション、フィードフォワードネットワーク、サンプリングおよびスキップ接続に関連する設定を最適化する。 CS-Unetはゼロからトレーニングすることができ、各機能プロセスフェーズにおける畳み込みの優位性を継承する。 実験によると、CS-Unetは事前トレーニングなしで、パラメータが少ない2つの医療用CTおよびMRIデータセットに対して、最先端の他のデータセットを大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2022-10-14T19:18:52Z)
• Accurate Image Restoration with Attention Retractable Transformer [50.05204240159985]
  画像復元のためのアテンション・リトラクタブル・トランス (ART) を提案する。 ARTはネットワーク内の密集モジュールと疎開モジュールの両方を提示する。 画像超解像、デノナイジング、JPEG圧縮アーティファクト削減タスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-10-04T07:35:01Z)
• R2U++: A Multiscale Recurrent Residual U-Net with Dense Skip Connections for Medical Image Segmentation [0.5735035463793008]
  本稿では,新しいU-Netベースの医用画像セグメンテーションアーキテクチャR2U++を提案する。 提案したアーキテクチャでは, 単純な畳み込みバックボーンを, より深い再帰的な畳み込みブロックに置き換える。 エンコーダとデコーダのセマンティックギャップは、濃密なスキップ経路によって減少する。
  論文  参考訳（メタデータ） (2022-06-03T19:42:44Z)
• MISSU: 3D Medical Image Segmentation via Self-distilling TransUNet [55.16833099336073]
  医用画像セグメンテーションのためのトランスフォーマーベースUNetを提案する。 グローバルな意味情報と局所的な空間的詳細特徴を同時に学習する。 MISSUは従来の最先端手法よりも優れた性能を発揮する。
  論文  参考訳（メタデータ） (2022-06-02T07:38:53Z)
• Reduce Information Loss in Transformers for Pluralistic Image Inpainting [112.50657646357494]
  入力情報を可能な限り保持するための新しいトランスフォーマーベースのフレームワーク"PUT"を提案する。 PUTは、特に大きなマスキング領域と複雑な大規模データセットにおいて、画像の忠実性に関する最先端の手法を大幅に上回る。
  論文  参考訳（メタデータ） (2022-05-10T17:59:58Z)
• Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation [63.46694853953092]
  Swin-Unetは、医用画像セグメンテーション用のUnetライクなトランスフォーマーである。 トークン化されたイメージパッチは、TransformerベースのU字型デコーダデコーダアーキテクチャに供給される。
  論文  参考訳（メタデータ） (2021-05-12T09:30:26Z)
• CoTr: Efficiently Bridging CNN and Transformer for 3D Medical Image Segmentation [95.51455777713092]
  畳み込みニューラルネットワーク(CNN)は、現代の3D医療画像セグメンテーションのデファクトスタンダードとなっている。 本稿では,bf畳み込みニューラルネットワークとbfトランスbf(cotr)を効率良く橋渡しし,正確な3次元医用画像分割を実現する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-03-04T13:34:22Z)
• TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation [78.01570371790669]
  医用画像のセグメンテーションは医療システムの開発に必須の前提条件である。 様々な医療画像セグメンテーションタスクにおいて、U-Netとして知られるu字型アーキテクチャがデファクトスタンダードとなっている。 医用画像セグメンテーションの強力な代替手段として,トランスフォーマーとU-Netの両方を有効活用するTransUNetを提案する。
  論文  参考訳（メタデータ） (2021-02-08T16:10:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。