論文の概要: Multi-Granularity Vision Fastformer with Fusion Mechanism for Skin Lesion Segmentation
- arxiv url: http://arxiv.org/abs/2504.03108v1
- Date: Fri, 04 Apr 2025 01:27:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-07 14:49:22.655515
- Title: Multi-Granularity Vision Fastformer with Fusion Mechanism for Skin Lesion Segmentation
- Title(参考訳): 皮膚病変分割のための核融合機構を有する多粒性ビジョンファストフォーマ
- Authors: Xuanyu Liu, Huiyun Yao, Jinggui Gao, Zhongyi Guo, Xue Zhang, Yulin Dong,
- Abstract要約: 本研究の目的は,計算コストと長期依存性モデリングのバランスを最適化することである。
We propose a lightweight U-shape network that using Vision Fastformer with Fusion Mechanism (VFFM-UNet)。
- 参考スコア(独自算出の注目度): 7.944123371140182
- License:
- Abstract: Background:Convolutional Neural Networks(CNN) and Vision Transformers(ViT) are the main techniques used in Medical image segmentation. However, CNN is limited to local contextual information, and ViT's quadratic complexity results in significant computational costs. At the same time, equipping the model to distinguish lesion boundaries with varying degrees of severity is also a challenge encountered in skin lesion segmentation. Purpose:This research aims to optimize the balance between computational costs and long-range dependency modelling and achieve excellent generalization across lesions with different degrees of severity. Methods:we propose a lightweight U-shape network that utilizes Vision Fastformer with Fusion Mechanism (VFFM-UNet). We inherit the advantages of Fastformer's additive attention mechanism, combining element-wise product and matrix product for comprehensive feature extraction and channel reduction to save computational costs. In order to accurately identify the lesion boundaries with varying degrees of severity, we designed Fusion Mechanism including Multi-Granularity Fusion and Channel Fusion, which can process the feature maps in the granularity and channel levels to obtain different contextual information. Results:Comprehensive experiments on the ISIC2017, ISIC2018 and PH2 datasets demonstrate that VFFM-UNet outperforms existing state-of-the-art models regarding parameter numbers, computational complexity and segmentation performance. In short, compared to MISSFormer, our model achieves superior segmentation performance while reducing parameter and computation costs by 101x and 15x, respectively. Conclusions:Both quantitative and qualitative analyses show that VFFM-UNet sets a new benchmark by reaching an ideal balance between parameter numbers, computational complexity, and segmentation performance compared to existing state-of-the-art models.
- Abstract(参考訳): 背景:畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)は、医用画像セグメンテーションで使用される主要な技術である。
しかし、CNNは局所的な文脈情報に限られており、ViTの二次的な複雑さは計算コストを大幅に上回る。
同時に、病変境界を重度で識別するモデルも、皮膚病変のセグメンテーションで発生する課題である。
目的: 本研究の目的は, 計算コストと長期依存性モデリングのバランスを最適化し, 重症度の異なる病変をまたいだ優れた一般化を実現することである。
方法:VFFM-UNetを用いたビジョンファストフォーマを用いた軽量U字型ネットワークを提案する。
我々はFastformerの付加的な注意機構の利点を継承し、要素的製品と行列製品を組み合わせて包括的特徴抽出とチャネル縮小を行い、計算コストを削減した。
重度の異なる病変境界を正確に識別するために,多粒度核融合やチャネル融合を含む融合機構を設計し,粒度とチャネルレベルの特徴マップを処理し,異なる文脈情報を得る。
結果:ISIC2017, ISIC2018, PH2データセットの総合実験により、VFFM-UNetはパラメータ数、計算複雑性、セグメンテーション性能に関する既存の最先端モデルより優れていることが示された。
要するに、MISSFormerと比較して、パラメータと計算コストをそれぞれ101倍、計算コストを15倍に削減しながら、より優れたセグメンテーション性能を実現する。
結論】VFFM-UNetは、パラメータ数、計算複雑性、セグメンテーション性能を既存の最先端モデルと比較して理想的なバランスを保ちながら、新しいベンチマークを設定している。
関連論文リスト
- TAFM-Net: A Novel Approach to Skin Lesion Segmentation Using Transformer Attention and Focal Modulation [0.0]
我々は、自己適応型トランスフォーマーアテンション(TA)と焦点変調(FM)を利用した革新的なモデルであるTAFM-Netを開発する。
提案モデルでは,空間およびチャネル関連サリエンシを高めるためにTAを利用するEfficientNetV2B1エンコーダを,密結合デコーダはスキップ接続内にFMを統合する。
新しい動的損失関数アマルガメート領域と境界情報、効果的なモデルトレーニングの導出
論文 参考訳(メタデータ) (2024-11-26T16:18:48Z) - SurgeryV2: Bridging the Gap Between Model Merging and Multi-Task Learning with Deep Representation Surgery [54.866490321241905]
モデルマージに基づくマルチタスク学習(MTL)は、複数のエキスパートモデルをマージしてMTLを実行するための有望なアプローチを提供する。
本稿では,統合モデルの表現分布について検討し,「表現バイアス」の重要な問題を明らかにする。
このバイアスは、マージされたMTLモデルの表現と専門家モデルの間の大きな分布ギャップから生じ、マージされたMTLモデルの最適下性能に繋がる。
論文 参考訳(メタデータ) (2024-10-18T11:49:40Z) - CSWin-UNet: Transformer UNet with Cross-Shaped Windows for Medical Image Segmentation [22.645013853519]
CSWin-UNetは,CSWinの自己保持機構をUNetに組み込んだ,U字型のセグメンテーション手法である。
シナプス多臓器CT, 心臓MRI, 皮膚病変など多種多様なデータセットに対する経験的評価は, CSWin-UNetは高いセグメンテーション精度を達成しつつ, 低モデルの複雑さを維持していることを示している。
論文 参考訳(メタデータ) (2024-07-25T14:25:17Z) - Neuro-TransUNet: Segmentation of stroke lesion in MRI using transformers [0.6554326244334866]
本研究では,U-Netの空間的特徴抽出をSwinUNETRのグローバルな文脈処理能力と併用するNeuro-TransUNetフレームワークを提案する。
提案したNeuro-TransUNetモデルは、ATLAS v2.0のアントレーニングデータセットでトレーニングされ、既存のディープラーニングアルゴリズムを上回っ、脳卒中病変セグメンテーションの新しいベンチマークを確立する。
論文 参考訳(メタデータ) (2024-06-10T04:36:21Z) - DA-Flow: Dual Attention Normalizing Flow for Skeleton-based Video Anomaly Detection [52.74152717667157]
本稿では,DAM(Dual Attention Module)と呼ばれる軽量モジュールを提案する。
フレームアテンション機構を使用して、最も重要なフレームを識別し、スケルトンアテンション機構を使用して、最小パラメータとフロップで固定されたパーティション間の広範な関係をキャプチャする。
論文 参考訳(メタデータ) (2024-06-05T06:18:03Z) - PMFSNet: Polarized Multi-scale Feature Self-attention Network For
Lightweight Medical Image Segmentation [6.134314911212846]
現在の最先端の医用画像分割法は精度を優先するが、計算要求の増大とより大きなモデルサイズを犠牲にすることも多い。
計算冗長性を避けつつグローバルな局所特徴処理のバランスをとる新しい医用画像分割モデルPMFSNetを提案する。
長期依存関係をキャプチャするために,アテンション機構に基づいたマルチスケール機能拡張モジュールであるPMFSブロックをプラグインとして組み込んでいる。
論文 参考訳(メタデータ) (2024-01-15T10:26:47Z) - ESSAformer: Efficient Transformer for Hyperspectral Image
Super-resolution [76.7408734079706]
単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。
本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
論文 参考訳(メタデータ) (2023-07-26T07:45:14Z) - Reliable Joint Segmentation of Retinal Edema Lesions in OCT Images [55.83984261827332]
本稿では,信頼性の高いマルチスケールウェーブレットエンハンストランスネットワークを提案する。
本研究では,ウェーブレット型特徴抽出器ネットワークとマルチスケール変圧器モジュールを統合したセグメンテーションバックボーンを開発した。
提案手法は,他の最先端セグメンテーション手法と比較して信頼性の高いセグメンテーション精度を実現する。
論文 参考訳(メタデータ) (2022-12-01T07:32:56Z) - Multi-fidelity Hierarchical Neural Processes [79.0284780825048]
多要素代理モデリングは、異なるシミュレーション出力を融合させることで計算コストを削減する。
本稿では,多階層型階層型ニューラルネットワーク(MF-HNP)を提案する。
疫学および気候モデリングタスクにおけるMF-HNPの評価を行い、精度と不確実性評価の観点から競合性能を達成した。
論文 参考訳(メタデータ) (2022-06-10T04:54:13Z) - Factorizer: A Scalable Interpretable Approach to Context Modeling for
Medical Image Segmentation [6.030648996110607]
この研究はFacterizerと呼ばれるモデルのファミリーを導入し、エンド・ツー・エンドのセグメンテーション・モデルを構築するために低ランク行列係数化の力を利用する。
具体的には、U字型アーキテクチャに組み込まれた微分可能な層として非負行列因子化(NMF)を定式化する、コンテキストモデリングに対する線形スケーラブルなアプローチを提案する。
ファクターは精度、スケーラビリティ、解釈可能性の点でCNNやTransformerと良好に競合する。
論文 参考訳(メタデータ) (2022-02-24T18:51:19Z) - Brain Image Synthesis with Unsupervised Multivariate Canonical
CSC$\ell_4$Net [122.8907826672382]
我々は,新しいCSC$ell_4$Netを用いて,イントレとイントラモーダルの両方にまたがる専用特徴を学習することを提案する。
論文 参考訳(メタデータ) (2021-03-22T05:19:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。