論文の概要: Lightweight Real-time Semantic Segmentation Network with Efficient
Transformer and CNN
- arxiv url: http://arxiv.org/abs/2302.10484v1
- Date: Tue, 21 Feb 2023 07:16:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-22 16:07:10.751822
- Title: Lightweight Real-time Semantic Segmentation Network with Efficient
Transformer and CNN
- Title(参考訳): 効率的なトランスフォーマーとcnnを用いた軽量リアルタイム意味セグメンテーションネットワーク
- Authors: Guoan Xu, Juncheng Li, Guangwei Gao, Huimin Lu, Jian Yang, and Dong
Yue
- Abstract要約: LETNetと呼ばれる軽量なリアルタイムセマンティックセグメンテーションネットワークを提案する。
LETNetは、U字型のCNNとTransformerをカプセル埋め込みスタイルで効果的に組み合わせ、それぞれの欠陥を補う。
挑戦的なデータセットで実施された実験は、LETNetが精度と効率のバランスにおいて優れたパフォーマンスを達成することを示した。
- 参考スコア(独自算出の注目度): 34.020978009518245
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the past decade, convolutional neural networks (CNNs) have shown
prominence for semantic segmentation. Although CNN models have very impressive
performance, the ability to capture global representation is still
insufficient, which results in suboptimal results. Recently, Transformer
achieved huge success in NLP tasks, demonstrating its advantages in modeling
long-range dependency. Recently, Transformer has also attracted tremendous
attention from computer vision researchers who reformulate the image processing
tasks as a sequence-to-sequence prediction but resulted in deteriorating local
feature details. In this work, we propose a lightweight real-time semantic
segmentation network called LETNet. LETNet combines a U-shaped CNN with
Transformer effectively in a capsule embedding style to compensate for
respective deficiencies. Meanwhile, the elaborately designed Lightweight
Dilated Bottleneck (LDB) module and Feature Enhancement (FE) module cultivate a
positive impact on training from scratch simultaneously. Extensive experiments
performed on challenging datasets demonstrate that LETNet achieves superior
performances in accuracy and efficiency balance. Specifically, It only contains
0.95M parameters and 13.6G FLOPs but yields 72.8\% mIoU at 120 FPS on the
Cityscapes test set and 70.5\% mIoU at 250 FPS on the CamVid test dataset using
a single RTX 3090 GPU. The source code will be available at
https://github.com/IVIPLab/LETNet.
- Abstract(参考訳): 過去10年間で、畳み込みニューラルネットワーク(CNN)はセマンティックセグメンテーションの優位性を示している。
CNNモデルは非常に優れた性能を持つが、グローバル表現をキャプチャする能力は依然として不十分であり、結果として準最適結果が得られる。
最近、TransformerはNLPタスクで大きな成功をおさめ、長距離依存性のモデリングの利点を示している。
近年、Transformerは画像処理タスクをシーケンス・ツー・シーケンスの予測として再構成するコンピュータビジョン研究者からも大きな注目を集めている。
本稿では,letnet と呼ばれる軽量なリアルタイムセマンティクスセグメンテーションネットワークを提案する。
LETNetは、U字型のCNNとTransformerをカプセル埋め込みスタイルで効果的に組み合わせ、それぞれの欠陥を補う。
一方、精巧に設計された軽量Dilated Bottleneck(LDB)モジュールとFeature Enhancement(FE)モジュールは、同時にスクラッチからトレーニングに肯定的な影響を与える。
挑戦的なデータセットで行った広範囲な実験は、letnetが精度と効率のバランスにおいて優れたパフォーマンスを達成していることを示している。
具体的には、0.95Mパラメータと13.6G FLOPのみを含むが、Cityscapesテストセットで120 FPSで72.8\% mIoU、CamVidテストデータセットで1つのRTX 3090 GPUを使用して250 FPSで70.5\% mIoUが得られる。
ソースコードはhttps://github.com/IVIPLab/LETNetで入手できる。
関連論文リスト
- Efficient Context Integration through Factorized Pyramidal Learning for
Ultra-Lightweight Semantic Segmentation [1.0499611180329804]
本稿では,FPL(Facterized Pyramidal Learning)モジュールを提案する。
空間ピラミッドを2つのステージに分解し,モジュール内での簡易かつ効率的な特徴融合により,悪名高いチェッカーボード効果を解決する。
FPLモジュールとFIRユニットをベースとしたFPLNetと呼ばれる超軽量リアルタイムネットワークを提案する。
論文 参考訳(メタデータ) (2023-02-23T05:34:51Z) - Attention-based Feature Compression for CNN Inference Offloading in Edge
Computing [93.67044879636093]
本稿では,デバイスエッジ共振器におけるCNN推論の計算負荷について検討する。
エンドデバイスにおける効率的な特徴抽出のための新しいオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。
実験の結果、AECNNは中間データを約4%の精度で256倍圧縮できることがわかった。
論文 参考訳(メタデータ) (2022-11-24T18:10:01Z) - InternImage: Exploring Large-Scale Vision Foundation Models with
Deformable Convolutions [95.94629864981091]
この研究は、パラメータの増加やViTsのようなトレーニングデータから得られるインターンイメージと呼ばれる、CNNベースの新しい大規模ファンデーションモデルを提案する。
提案されたInternImageは、従来のCNNの厳格な帰納バイアスを低減し、ViTのような大規模データから、より強く堅牢なパターンを学習できるようにする。
論文 参考訳(メタデータ) (2022-11-10T18:59:04Z) - Efficient Large-scale Audio Tagging via Transformer-to-CNN Knowledge
Distillation [6.617487928813374]
高性能だが複雑な変換器からのオフライン知識蒸留(KD)に基づく効率的なCNNの訓練手順を提案する。
我々は、低複雑さモデルからAudioSetの.483 mAPの新たな最先端パフォーマンスまで、さまざまな複雑さレベルのモデルを提供しています。
論文 参考訳(メタデータ) (2022-11-09T09:58:22Z) - RTFormer: Efficient Design for Real-Time Semantic Segmentation with
Transformer [63.25665813125223]
本稿では,リアルタイムセマンティックセグメンテーションのための効率的なデュアルレゾリューション変換器RTFormerを提案する。
CNNベースのモデルよりもパフォーマンスと効率のトレードオフが優れている。
主要なベンチマーク実験では,提案したRTFormerの有効性を示す。
論文 参考訳(メタデータ) (2022-10-13T16:03:53Z) - Lightweight Vision Transformer with Cross Feature Attention [6.103065659061625]
畳み込みニューラルネットワーク(CNN)は空間的帰納バイアスを利用して視覚表現を学習する。
ViTは自己認識メカニズムを使ってグローバルな表現を学ぶことができるが、通常は重く、モバイルデバイスには適さない。
我々はトランスのコスト削減のためにクロスフィーチャーアテンション(XFA)を提案し、効率的なモバイルCNNを組み合わせて新しい軽量CNN-ViTハイブリッドモデルXFormerを構築した。
論文 参考訳(メタデータ) (2022-07-15T03:27:13Z) - Pixel Difference Networks for Efficient Edge Detection [71.03915957914532]
本稿では,Pixel Difference Network (PiDiNet) という軽量かつ効率的なエッジ検出アーキテクチャを提案する。
BSDS500、NYUD、Multicueのデータセットに関する大規模な実験が、その効果を示すために提供されている。
0.1M未満のパラメータを持つPiDiNetのより高速なバージョンは、200FPSのアーティファクトで同等のパフォーマンスを達成できる。
論文 参考訳(メタデータ) (2021-08-16T10:42:59Z) - VOLO: Vision Outlooker for Visual Recognition [148.12522298731807]
視覚変換器 (ViT) はイメージネット分類において自己注意に基づくモデルの可能性を示している。
我々は、新しい展望の展望を導入し、VoLO(Vision Outlooker)と呼ばれる、シンプルで一般的なアーキテクチャを提示する。
グローバルな依存性モデリングを粗いレベルで重視する自己注意とは異なり、展望はより詳細な機能やコンテキストをトークンに効率的にエンコードする。
実験の結果、私たちのVOLOはImageNet-1K分類で87.1%のトップ1の精度を達成しており、これはこの競合ベンチマークで87%以上の精度で最初のモデルである。
論文 参考訳(メタデータ) (2021-06-24T15:46:54Z) - Container: Context Aggregation Network [83.12004501984043]
最近の発見は、従来の畳み込みやトランスフォーマーコンポーネントを使わずに、シンプルなベースのソリューションが効果的な視覚表現を生成できることを示している。
マルチヘッドコンテキストアグリゲーションのための汎用ビルディングブロックCONText Ion NERtwokを提案する。
より大規模な入力画像解像度に依存する下流タスクにはスケールしないTransformerベースの手法とは対照的に、当社の効率的なネットワークであるModellightは、オブジェクト検出やインスタンスセグメンテーションネットワークに利用することができる。
論文 参考訳(メタデータ) (2021-06-02T18:09:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。