論文の概要: Transformer Utilization in Medical Image Segmentation Networks

• arxiv url: http://arxiv.org/abs/2304.04225v1
• Date: Sun, 9 Apr 2023 12:35:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 16:49:58.327973
• Title: Transformer Utilization in Medical Image Segmentation Networks
• Title（参考訳）: 医用画像分割ネットワークにおけるトランスフォーマーの利用
• Authors: Saikat Roy, Gregor Koehler, Michael Baumgartner, Constantin Ulrich, Jens Petersen, Fabian Isensee, Klaus Maier-Hein
• Abstract要約: 本稿では,Transformerブロックを線形演算子に置き換えて有効性を定量化するTransformer Ablationを提案する。 2つの医用画像セグメンテーションタスクに関する8つのモデルの実験により、1)トランスフォーマー-リアント表現の置き換え可能な性質、2)トランスフォーマーのキャパシティだけでは表現上の置換を防げないこと、3)トランスフォーマーブロックにおける明示的な特徴階層の存在は、自己認識モジュールに付随するよりも有益である。
• 参考スコア（独自算出の注目度）: 1.4764524377532229
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Owing to success in the data-rich domain of natural images, Transformers have recently become popular in medical image segmentation. However, the pairing of Transformers with convolutional blocks in varying architectural permutations leaves their relative effectiveness to open interpretation. We introduce Transformer Ablations that replace the Transformer blocks with plain linear operators to quantify this effectiveness. With experiments on 8 models on 2 medical image segmentation tasks, we explore -- 1) the replaceable nature of Transformer-learnt representations, 2) Transformer capacity alone cannot prevent representational replaceability and works in tandem with effective design, 3) The mere existence of explicit feature hierarchies in transformer blocks is more beneficial than accompanying self-attention modules, 4) Major spatial downsampling before Transformer modules should be used with caution.
• Abstract（参考訳）: 自然画像のデータ豊富な領域の成功により、トランスフォーマーは近年、医用画像セグメンテーションで人気を博している。 しかし、様々な構造的置換における畳み込みブロックと変換器のペアリングは、その相対的効果をオープン解釈に残している。 本稿では,Transformerブロックを線形演算子に置き換えたTransformer Ablationを導入し,その有効性を定量化する。 2つの医用画像のセグメンテーションタスクに関する8つのモデルの実験により、我々は探索する。 1) 変圧器学習表現の置き換え可能な性質, 2) 変圧器の容量だけでは, 表現的交換性を防止できず, 効果的な設計で機能する。 3) 変圧器ブロックにおける明示的特徴階層の存在は, 自己注意モジュールに付随するよりも有益である。 4) Transformerモジュールの前の主要な空間サンプリングは、慎重に使用するべきである。

関連論文リスト

• ModeT: Learning Deformable Image Registration via Motion Decomposition Transformer [7.629385629884155]
  本稿では,複数のモーダルを明示的にモデル化する新しい動作分解変換器 (ModeT) を提案する。 提案手法は,現状の登録ネットワークやトランスフォーマーよりも優れている。
  論文  参考訳（メタデータ） (2023-06-09T06:00:05Z)
• TransNorm: Transformer Provides a Strong Spatial Normalization Mechanism for a Deep Segmentation Model [4.320393382724066]
  畳み込みニューラルネットワーク(CNN)は、医療画像処理時代の主流技術である。 本稿では,Transformerモジュールをエンコーダとスキップ接続の両方に統合する,新しいディープセグメンテーションフレームワークであるTrans-Normを提案する。
  論文  参考訳（メタデータ） (2022-07-27T09:54:10Z)
• HiViT: Hierarchical Vision Transformer Meets Masked Image Modeling [126.89573619301953]
  我々はHiViT(Hierarchical ViT)という階層型視覚変換器の新しい設計を提案する。 HiViTはMIMで高い効率と優れたパフォーマンスを享受する。 ImageNet-1K上でMAEを実行する場合、HiViT-BはViT-Bよりも0.6%精度が向上し、Swin-Bよりも1.9$times$スピードアップしたと報告している。
  論文  参考訳（メタデータ） (2022-05-30T09:34:44Z)
• Towards Lightweight Transformer via Group-wise Transformation for Vision-and-Language Tasks [126.33843752332139]
  本稿では,LW-Transformerと呼ばれる視覚・言語タスクのための,普遍的で軽量なトランスフォーマーに対するグループワイズ変換を提案する。 LW-Transformerを一組のTransformerベースのネットワークに適用し、3つの視覚・言語タスクと6つのベンチマークデータセットで定量的に測定する。 実験の結果,LW-Transformerは多数のパラメータや計算を節約しながら,視覚・言語タスクのためのトランスフォーマーネットワークと非常に競合する性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2022-04-16T11:30:26Z)
• Class-Aware Generative Adversarial Transformers for Medical Image Segmentation [39.14169989603906]
  医用画像セグメンテーションのための新規な生成逆変換器CA-GANformerを提案する。 まず、ピラミッド構造を利用してマルチスケール表現を構築し、マルチスケールのバリエーションを扱う。 次に、意味構造を持つオブジェクトの識別領域をよりよく学習するために、新しいクラス対応トランスフォーマーモジュールを設計する。
  論文  参考訳（メタデータ） (2022-01-26T03:50:02Z)
• The Nuts and Bolts of Adopting Transformer in GANs [124.30856952272913]
  高忠実度画像合成のためのGAN(Generative Adversarial Network)フレームワークにおけるTransformerの特性について検討する。 我々の研究は、STrans-Gと呼ばれる畳み込みニューラルネットワーク(CNN)フリージェネレータであるGANにおけるトランスフォーマーの新しい代替設計につながる。
  論文  参考訳（メタデータ） (2021-10-25T17:01:29Z)
• DS-TransUNet:Dual Swin Transformer U-Net for Medical Image Segmentation [18.755217252996754]
  我々はDual Swin Transformer U-Net(DS-TransUNet)と呼ばれる新しいディープ・メディカル・イメージ・セグメンテーション・フレームワークを提案する。 従来のTransformerベースのソリューションとは異なり、提案されたDS-TransUNetは、まずSwin Transformerをベースとしたデュアルスケールエンコーダワークを採用し、異なる意味尺度の粗くきめ細かな特徴表現を抽出する。 DS-TransUNetのコアコンポーネントであるTransformer Interactive Fusion (TIF)モジュールは,自己保持機構を通じて異なるスケールの特徴間のグローバルな依存関係を効果的に確立するために提案されている。
  論文  参考訳（メタデータ） (2021-06-12T08:37:17Z)
• Scalable Transformers for Neural Machine Translation [86.4530299266897]
  トランスフォーマーは、そのキャパシティとシーケンス生成の並列トレーニングのため、ニューラルネットワーク翻訳(NMT)で広く採用されている。 本稿では,異なるスケールのサブトランスフォーマーを自然に含み,パラメータを共有できる,スケーラブルなトランスフォーマーを提案する。 スケーラブルトランスフォーマーのトレーニングの難しさに対処する3段階のトレーニングスキームが提案されている。
  論文  参考訳（メタデータ） (2021-06-04T04:04:10Z)
• Transformer-Based Deep Image Matching for Generalizable Person Re-identification [114.56752624945142]
  画像マッチングと距離学習にトランスフォーマーを適用する可能性について検討する。 視覚変換器 (ViT) とデコーダ付きバニラ変換器 (Vanilla Transformer) はイメージ・ツー・イメージ・アテンションの欠如により画像マッチングに適していないことがわかった。 そこで本研究では,クエリキーの類似性のみを保ちながら,ソフトマックス重み付けによる注意の完全な実装を省略する,単純化されたデコーダを提案する。
  論文  参考訳（メタデータ） (2021-05-30T05:38:33Z)
• Medical Transformer: Gated Axial-Attention for Medical Image Segmentation [73.98974074534497]
  医用画像分割タスクにおけるトランスフォーマティブネットワークアーキテクチャの利用可能性について検討する。 セルフアテンションモジュールに追加の制御機構を導入することで,既存のアーキテクチャを拡張するGated Axial-Attentionモデルを提案する。 医療画像上で効果的にモデルを訓練するために,さらにパフォーマンスを向上させる局所的グローバルトレーニング戦略 (logo) を提案する。
  論文  参考訳（メタデータ） (2021-02-21T18:35:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。