論文の概要: Cooperation Learning Enhanced Colonic Polyp Segmentation Based on
Transformer-CNN Fusion
- arxiv url: http://arxiv.org/abs/2301.06892v1
- Date: Tue, 17 Jan 2023 13:58:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-18 14:01:41.549294
- Title: Cooperation Learning Enhanced Colonic Polyp Segmentation Based on
Transformer-CNN Fusion
- Title(参考訳): Transformer-CNN Fusion を用いたコロニーポリプセグメンテーションの協調学習
- Authors: Yuanyuan Wang, Zhaohong Deng, Qiongdan Lou, Shudong Hu, Kup-sze Choi,
Shitong Wang
- Abstract要約: 本研究ではFusion-Transformer-HardNetMSEG(Fu-TransHNet)と呼ばれるハイブリッドネットワークを提案する。
Fu-TransHNetは、異なるメカニズムの深層学習を用いて互いに融合し、多視点協調学習技術で強化されている。
実験の結果,Fu-TransHNetネットワークは5つの広く使用されているベンチマークデータセットの既存の手法よりも優れていることがわかった。
- 参考スコア(独自算出の注目度): 21.6402447417878
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Traditional segmentation methods for colonic polyps are mainly designed based
on low-level features. They could not accurately extract the location of small
colonic polyps. Although the existing deep learning methods can improve the
segmentation accuracy, their effects are still unsatisfied. To meet the above
challenges, we propose a hybrid network called Fusion-Transformer-HardNetMSEG
(i.e., Fu-TransHNet) in this study. Fu-TransHNet uses deep learning of
different mechanisms to fuse each other and is enhanced with multi-view
collaborative learning techniques. Firstly, the Fu-TransHNet utilizes the
Transformer branch and the CNN branch to realize the global feature learning
and local feature learning, respectively. Secondly, a fusion module is designed
to integrate the features from two branches. The fusion module consists of two
parts: 1) the Global-Local Feature Fusion (GLFF) part and 2) the Dense Fusion
of Multi-scale features (DFM) part. The former is built to compensate the
feature information mission from two branches at the same scale; the latter is
constructed to enhance the feature representation. Thirdly, the above two
branches and fusion modules utilize multi-view cooperative learning techniques
to obtain their respective weights that denote their importance and then make a
final decision comprehensively. Experimental results showed that the
Fu-TransHNet network was superior to the existing methods on five widely used
benchmark datasets. In particular, on the ETIS-LaribPolypDB dataset containing
many small-target colonic polyps, the mDice obtained by Fu-TransHNet were 12.4%
and 6.2% higher than the state-of-the-art methods HardNet-MSEG and TransFuse-s,
respectively.
- Abstract(参考訳): 従来の大腸ポリープのセグメンテーション法は主に低レベルの特徴に基づいて設計されている。
彼らは小さな大腸ポリープの位置を正確に抽出できなかった。
既存のディープラーニング手法はセグメンテーション精度を向上させることができるが、その効果はまだ不十分である。
そこで本研究では,Fusion-Transformer-HardNetMSEG(Fu-TransHNet)と呼ばれるハイブリッドネットワークを提案する。
Fu-TransHNetは、異なるメカニズムの深層学習を用いて互いに融合し、多視点協調学習技術で強化されている。
まず、Fu-TransHNetはTransformerブランチとCNNブランチを使用して、グローバルな特徴学習とローカルな特徴学習を実現する。
次に、融合モジュールは2つのブランチの機能を統合するように設計されている。
fusionモジュールは2つの部分からなる。
1)グローバル・ローカル・フィーチャー・フュージョン(GLFF)と
2)Dense Fusion of Multi-scale Feature (DFM) の略。
前者は2つのブランチからの特徴情報ミッションを同じ規模で補償するために構築され、後者は特徴表現を強化するために構築される。
第3に、上記の2つの分枝と融合モジュールは、多視点協調学習技術を用いて、それらの重要性を示す各重みを取得し、総合的に最終決定を行う。
実験の結果,Fu-TransHNetネットワークは5つの広く使用されているベンチマークデータセットの既存の手法よりも優れていることがわかった。
特にetis-larib polypdbデータセットでは,fu-transhnetにより得られたmdiceが,最先端のhardnet-msegおよびtransfuse-sよりもそれぞれ12.4%,6.2%高かった。
関連論文リスト
- Unity is Strength: Unifying Convolutional and Transformeral Features for Better Person Re-Identification [60.9670254833103]
人物再識別(ReID)は、重複しないカメラを通して特定の人物を回収することを目的としている。
画像に基づく人物ReIDのためのCNNとトランスフォーマーの強みを統合するために,FusionReIDと呼ばれる新しい融合フレームワークを提案する。
論文 参考訳(メタデータ) (2024-12-23T03:19:19Z) - CTRL-F: Pairing Convolution with Transformer for Image Classification via Multi-Level Feature Cross-Attention and Representation Learning Fusion [0.0]
コンボリューションとトランスフォーマーを組み合わせた,軽量なハイブリッドネットワークを提案する。
畳み込み経路から取得した局所応答とMFCAモジュールから取得したグローバル応答とを融合する。
実験により、我々の変種は、大規模データや低データレギュレーションでスクラッチからトレーニングしたとしても、最先端のパフォーマンスを達成することが示された。
論文 参考訳(メタデータ) (2024-07-09T08:47:13Z) - Fusion-Mamba for Cross-modality Object Detection [63.56296480951342]
異なるモダリティから情報を融合するクロスモダリティは、オブジェクト検出性能を効果的に向上させる。
We design a Fusion-Mamba block (FMB) to map cross-modal features into a hidden state space for interaction。
提案手法は,m3FD$が5.9%,FLIRデータセットが4.9%,m3FD$が5.9%である。
論文 参考訳(メタデータ) (2024-04-14T05:28:46Z) - Towards Cooperative Federated Learning over Heterogeneous Edge/Fog
Networks [49.19502459827366]
フェデレートラーニング(FL)は、エッジ/フォグネットワーク上で機械学習(ML)モデルをトレーニングするための一般的なテクニックとして推奨されている。
FLの従来の実装は、ネットワーク間協力の可能性を大きく無視してきた。
我々は,デバイス・ツー・デバイス(D2D)とデバイス・ツー・サーバ(D2S)インタラクションに基づいて構築された協調的エッジ/フォグMLパラダイムである協調的連合学習(CFL)を提唱する。
論文 参考訳(メタデータ) (2023-03-15T04:41:36Z) - Transformer-based Network for RGB-D Saliency Detection [82.6665619584628]
RGB-Dサリエンシ検出の鍵は、2つのモードにわたる複数のスケールで情報を完全なマイニングとヒューズすることである。
コンバータは機能融合と機能拡張の両面において高い有効性を示す一様操作であることを示す。
提案するネットワークは,最先端のRGB-D値検出手法に対して良好に動作する。
論文 参考訳(メタデータ) (2021-12-01T15:53:58Z) - LATFormer: Locality-Aware Point-View Fusion Transformer for 3D Shape
Recognition [38.540048855119004]
そこで我々は,3次元形状検索と分類のためのLATFormer(Locality-Aware Point-View Fusion Transformer)を提案する。
LATFormerの中核となるコンポーネントはLocality-Aware Fusion (LAF) という名前のモジュールで、2つのモードにまたがる関連領域の局所的特徴を統合する。
LATFormerでは,LAFモジュールを用いて双方向および階層的に2つのモードのマルチスケール機能を融合し,より情報的な特徴を得る。
論文 参考訳(メタデータ) (2021-09-03T03:23:27Z) - MBDF-Net: Multi-Branch Deep Fusion Network for 3D Object Detection [17.295359521427073]
3次元物体検出のためのMulti-Branch Deep Fusion Network (MBDF-Net)を提案する。
最初の段階では、マルチブランチ機能抽出ネットワークは、Adaptive Attention Fusionモジュールを使用して、単一モーダルなセマンティックな特徴からクロスモーダルな融合機能を生成する。
第2段階では、関心領域(RoI)をプールした核融合モジュールを用いて局所的な特徴を改良する。
論文 参考訳(メタデータ) (2021-08-29T15:40:15Z) - Image Fusion Transformer [75.71025138448287]
画像融合では、異なるセンサから得られた画像を融合して、情報強化された単一の画像を生成する。
近年,画像融合のための有意義な特徴を符号化するために,最先端の手法で畳み込みニューラルネットワーク(CNN)が採用されている。
我々は,画像融合変換器 (IFT) を提案する。
論文 参考訳(メタデータ) (2021-07-19T16:42:49Z) - Efficient Human Pose Estimation by Learning Deeply Aggregated
Representations [67.24496300046255]
深く集約された表現を学習することで、効率的な人間ポーズ推定ネットワーク(DANet)を提案する。
私たちのネットワークは、より小さなモデルの複雑さで、同等またはより良い精度を達成できます。
論文 参考訳(メタデータ) (2020-12-13T10:58:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。