論文の概要: SCTNet: Single-Branch CNN with Transformer Semantic Information for Real-Time Segmentation

• arxiv url: http://arxiv.org/abs/2312.17071v2
• Date: Mon, 15 Jan 2024 16:43:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 00:01:08.110554
• Title: SCTNet: Single-Branch CNN with Transformer Semantic Information for Real-Time Segmentation
• Title（参考訳）: sctnet:リアルタイムセグメンテーションのためのトランスフォーマー意味情報付き単分岐cnn
• Authors: Zhengze Xu, Dongyue Wu, Changqian Yu, Xiangxiang Chu, Nong Sang, Changxin Gao
• Abstract要約: SCTNetは、リアルタイムセグメンテーションのためのトランスフォーマーセマンティック情報を備えた単一ブランチCNNである。 SCTNetは、軽量な単一ブランチCNNの高効率を維持しながら、推論不要なセマンティックブランチのリッチなセマンティック表現を楽しみます。 本研究では,Cityscapes,ADE20K,COCO-Stuff-10Kについて広範な実験を行い,本手法が新しい最先端性能を実現することを示す。
• 参考スコア（独自算出の注目度）: 46.068509764538085
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent real-time semantic segmentation methods usually adopt an additional semantic branch to pursue rich long-range context. However, the additional branch incurs undesirable computational overhead and slows inference speed. To eliminate this dilemma, we propose SCTNet, a single branch CNN with transformer semantic information for real-time segmentation. SCTNet enjoys the rich semantic representations of an inference-free semantic branch while retaining the high efficiency of lightweight single branch CNN. SCTNet utilizes a transformer as the training-only semantic branch considering its superb ability to extract long-range context. With the help of the proposed transformer-like CNN block CFBlock and the semantic information alignment module, SCTNet could capture the rich semantic information from the transformer branch in training. During the inference, only the single branch CNN needs to be deployed. We conduct extensive experiments on Cityscapes, ADE20K, and COCO-Stuff-10K, and the results show that our method achieves the new state-of-the-art performance. The code and model is available at https://github.com/xzz777/SCTNet
• Abstract（参考訳）: 最近のリアルタイム意味セマンティクスセグメンテーション手法は通常、リッチな長距離コンテキストを追求するために追加のセマンティクスブランチを採用する。 しかし、追加のブランチは望ましくない計算オーバーヘッドを発生させ、推論速度を遅くする。 このジレンマをなくすため、リアルタイムセグメンテーションのためのトランスフォーマ意味情報を持つ単一分岐CNNであるSCTNetを提案する。 sctnetは、軽量な単一分岐cnnの効率を保ちながら、推論なし意味分岐の豊かな意味表現を享受している。 SCTNetは、長距離コンテキストを抽出する優れた能力を考慮して、トレーニング専用のセマンティックブランチとしてトランスフォーマーを使用している。 提案されたトランスフォーマーに似たCNNブロックCFBlockとセマンティック情報アライメントモジュールによって、SCTNetはトレーニング中のトランスフォーマーブランチからリッチなセマンティック情報をキャプチャできる。 推論中は、単一のブランチCNNのみをデプロイする必要がある。 本研究では,Cityscapes,ADE20K,COCO-Stuff-10Kについて広範な実験を行い,本手法が新しい最先端性能を実現することを示す。 コードとモデルはhttps://github.com/xzz777/SCTNetで入手できる。

関連論文リスト

• OA-CNNs: Omni-Adaptive Sparse CNNs for 3D Semantic Segmentation [70.17681136234202]
  設計上の違いを再検討し、スパースCNNが達成できることの限界をテストする。 本稿では,このギャップを埋めるために,適応受容場(親和性)と適応関係という2つの重要な要素を提案する。 この調査により、軽量モジュールを統合するネットワークのファミリーであるOmni-Adaptive 3D CNN(OA-CNN)が開発された。
  論文  参考訳（メタデータ） (2024-03-21T14:06:38Z)
• ScribFormer: Transformer Makes CNN Work Better for Scribble-based Medical Image Segmentation [43.24187067938417]
  本稿では,ScribFormerと呼ばれるスクリブル制御型医用画像分割のためのCNN-Transformerハイブリッドソリューションを提案する。 提案したScribFormerモデルはトリプルブランチ構造、すなわちCNNブランチとTransformerブランチのハイブリッド、注意誘導型クラスアクティベーションマップ(ACAM)ブランチを備えている。
  論文  参考訳（メタデータ） (2024-02-03T04:55:22Z)
• Dynamic Semantic Compression for CNN Inference in Multi-access Edge Computing: A Graph Reinforcement Learning-based Autoencoder [82.8833476520429]
  部分オフロードにおける効果的な意味抽出と圧縮のための新しい意味圧縮手法であるオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。 セマンティックエンコーダでは、CNNのチャネルアテンション機構に基づく特徴圧縮モジュールを導入し、最も情報性の高い特徴を選択して中間データを圧縮する。 セマンティックデコーダでは、受信した圧縮データから学習して中間データを再構築し、精度を向上させる軽量デコーダを設計する。
  論文  参考訳（メタデータ） (2024-01-19T15:19:47Z)
• Lightweight Real-time Semantic Segmentation Network with Efficient Transformer and CNN [34.020978009518245]
  LETNetと呼ばれる軽量なリアルタイムセマンティックセグメンテーションネットワークを提案する。 LETNetは、U字型のCNNとTransformerをカプセル埋め込みスタイルで効果的に組み合わせ、それぞれの欠陥を補う。 挑戦的なデータセットで実施された実験は、LETNetが精度と効率のバランスにおいて優れたパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2023-02-21T07:16:53Z)
• RTFormer: Efficient Design for Real-Time Semantic Segmentation with Transformer [63.25665813125223]
  本稿では,リアルタイムセマンティックセグメンテーションのための効率的なデュアルレゾリューション変換器RTFormerを提案する。 CNNベースのモデルよりもパフォーマンスと効率のトレードオフが優れている。 主要なベンチマーク実験では,提案したRTFormerの有効性を示す。
  論文  参考訳（メタデータ） (2022-10-13T16:03:53Z)
• Cross-receptive Focused Inference Network for Lightweight Image Super-Resolution [64.25751738088015]
  トランスフォーマーに基づく手法は、単一画像超解像(SISR)タスクにおいて顕著な性能を示した。 動的に特徴を抽出するために文脈情報を組み込む必要がある変換器は無視される。 我々は,CNNとTransformerを混合したCTブロックのカスケードで構成される,軽量なクロスレセプティブ・フォーカスド・推論・ネットワーク(CFIN)を提案する。
  論文  参考訳（メタデータ） (2022-07-06T16:32:29Z)
• Contextual Attention Network: Transformer Meets U-Net [0.0]
  畳み込みニューラルネットワーク(CNN)はデファクトスタンダードとなり、医療画像セグメンテーションにおいて大きな成功を収めた。 しかし、CNNベースのメソッドは、長距離依存関係とグローバルコンテキスト接続を構築するのに失敗する。 最近の論文では、医療画像分割タスクにTransformerの変種を活用している。
  論文  参考訳（メタデータ） (2022-03-02T21:10:24Z)
• SegTransVAE: Hybrid CNN -- Transformer with Regularization for medical image segmentation [0.0]
  本稿では,SegTransVAEという新しいネットワークを提案する。 SegTransVAEはエンコーダ-デコーダアーキテクチャに基づいて構築されており、ネットワークへの可変オートエンコーダ(VAE)ブランチでトランスフォーマーを利用する。 最近導入されたデータセットの評価によると、SegTransVAEはDice Scoreと95%$-Haudorff Distanceで過去の手法より優れている。
  論文  参考訳（メタデータ） (2022-01-21T08:02:55Z)
• Semi-Supervised Medical Image Segmentation via Cross Teaching between CNN and Transformer [11.381487613753004]
  本稿では,CNN と Transformer の相互教育を導入することで,半教師付き医用画像セグメンテーションの枠組みを提案する。 特に、この研究は、CNNとトランスフォーマーを組み合わせて半教師付き医療画像セグメンテーションを行い、公的なベンチマークで有望な結果を得る最初の試みかもしれない。
  論文  参考訳（メタデータ） (2021-12-09T13:22:38Z)
• Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers [149.78470371525754]
  セマンティックセグメンテーションをシーケンスからシーケンスへの予測タスクとして扱う。 具体的には、イメージをパッチのシーケンスとしてエンコードするために純粋なトランスをデプロイします。 トランスのすべての層でモデル化されたグローバルコンテキストにより、このエンコーダは、SETR(SEgmentation TRansformer)と呼ばれる強力なセグメンテーションモデルを提供するための単純なデコーダと組み合わせることができる。 SETRはADE20K(50.28% mIoU)、Pascal Context(55.83% mIoU)、およびCityscapesの競争力のある結果に関する最新技術を達成している。
  論文  参考訳（メタデータ） (2020-12-31T18:55:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。