論文の概要: P2AT: Pyramid Pooling Axial Transformer for Real-time Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2310.15025v1
• Date: Mon, 23 Oct 2023 15:23:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 19:19:31.696760
• Title: P2AT: Pyramid Pooling Axial Transformer for Real-time Semantic Segmentation
• Title（参考訳）: p2at:リアルタイム意味セグメンテーションのためのピラミッドプーリング軸トランス
• Authors: Mohammed A. M. Elhassan, Changjun Zhou, Amina Benabid, Abuzar B. M. Adam
• Abstract要約: ピラミッドプーリング軸変換器(P2AT)というリアルタイムセマンティックセマンティックセマンティクスアーキテクチャを提案する。 提案したP2ATは、CNNエンコーダから粗い機能を取り入れ、スケールアウェアなコンテキスト特徴を生成する。 P2ATの変種を3つの難解なシーン理解データセットで評価する。
• 参考スコア（独自算出の注目度）: 1.1470070927586018
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, Transformer-based models have achieved promising results in various vision tasks, due to their ability to model long-range dependencies. However, transformers are computationally expensive, which limits their applications in real-time tasks such as autonomous driving. In addition, an efficient local and global feature selection and fusion are vital for accurate dense prediction, especially driving scene understanding tasks. In this paper, we propose a real-time semantic segmentation architecture named Pyramid Pooling Axial Transformer (P2AT). The proposed P2AT takes a coarse feature from the CNN encoder to produce scale-aware contextual features, which are then combined with the multi-level feature aggregation scheme to produce enhanced contextual features. Specifically, we introduce a pyramid pooling axial transformer to capture intricate spatial and channel dependencies, leading to improved performance on semantic segmentation. Then, we design a Bidirectional Fusion module (BiF) to combine semantic information at different levels. Meanwhile, a Global Context Enhancer is introduced to compensate for the inadequacy of concatenating different semantic levels. Finally, a decoder block is proposed to help maintain a larger receptive field. We evaluate P2AT variants on three challenging scene-understanding datasets. In particular, our P2AT variants achieve state-of-art results on the Camvid dataset 80.5%, 81.0%, 81.1% for P2AT-S, P2ATM, and P2AT-L, respectively. Furthermore, our experiment on Cityscapes and Pascal VOC 2012 have demonstrated the efficiency of the proposed architecture, with results showing that P2AT-M, achieves 78.7% on Cityscapes. The source code will be available at
• Abstract（参考訳）: 近年、Transformerベースのモデルは、長距離依存をモデル化できるため、様々なビジョンタスクにおいて有望な成果を上げている。 しかし、トランスフォーマーは計算コストが高く、自律運転のようなリアルタイムタスクでの応用を制限する。 さらに,効率的な局所的・グローバルな特徴選択と融合は正確な密集予測,特にシーン理解タスクの駆動に不可欠である。 本稿では,ピラミッドプーリング軸変換器(p2at)と呼ばれるリアルタイム意味セグメンテーションアーキテクチャを提案する。 提案するP2ATは,CNNエンコーダの粗い特徴を利用して,拡張されたコンテキスト特徴を生成するマルチレベル特徴集約スキームと組み合わせて,拡張されたコンテキスト特徴を生成する。 具体的には、複雑な空間依存やチャネル依存を捕捉するピラミッドプーリング軸変換器を導入し、セマンティックセグメンテーションの性能を向上させる。 次に,異なるレベルの意味情報を組み合わせたBidirectional Fusion Module (BiF) を設計する。 一方、グローバルコンテキストエンハンサーは、異なるセマンティックレベルの連結の不十分さを補うために導入される。 最後に,デコーダブロックが提案され,より大きな受容場を維持するのに役立つ。 P2ATの変種を3つの難解なシーン理解データセットで評価する。 特に,我々のP2AT変種は,Camvidデータセットの80.5%,81.0%,81.1%,P2AT-S,P2ATM,P2AT-Lに対してそれぞれ最先端の結果が得られる。 さらに、CityscapesとPascal VOC 2012の実験では、提案したアーキテクチャの効率を実証し、P2AT-MがCityscapesで78.7%を達成することを示した。 ソースコードはこちらから入手できる。

関連論文リスト

• HAFormer: Unleashing the Power of Hierarchy-Aware Features for Lightweight Semantic Segmentation [11.334990474402915]
  本稿では,CNNの階層的特徴抽出能力とTransformerのグローバル依存性モデリング機能を組み合わせたモデルであるHAFormerを紹介する。 HAFormerは計算オーバーヘッドを最小限に抑え、コンパクトなモデルサイズで高性能を実現する。
  論文  参考訳（メタデータ） (2024-07-10T07:53:24Z)
• Isomer: Isomerous Transformer for Zero-shot Video Object Segmentation [59.91357714415056]
  コンテクスト共有変換器(CST)とセマンティックガザリング散乱変換器(SGST)の2つの変種を提案する。 CSTは、軽量な計算により、画像フレーム内のグローバル共有コンテキスト情報を学習し、SGSTは、前景と背景のセマンティック相関を別々にモデル化する。 多段核融合にバニラ変換器を使用するベースラインと比較して,我々は13倍の速度向上を実現し,新しい最先端ZVOS性能を実現する。
  論文  参考訳（メタデータ） (2023-08-13T06:12:00Z)
• AMT: All-Pairs Multi-Field Transforms for Efficient Frame Interpolation [80.33846577924363]
  ビデオフレームギスブのための新しいネットワークアーキテクチャであるAMT(All-Pairs Multi-Field Transforms)を提案する。 まず、すべての画素に対して双方向のボリュームを構築し、予測された両側フローを用いて相関関係を検索する。 第2に、入力フレーム上で逆向きのワープを行うために、一対の更新された粗い流れから細粒度の流れ場の複数のグループを導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:18:47Z)
• RTFormer: Efficient Design for Real-Time Semantic Segmentation with Transformer [63.25665813125223]
  本稿では,リアルタイムセマンティックセグメンテーションのための効率的なデュアルレゾリューション変換器RTFormerを提案する。 CNNベースのモデルよりもパフォーマンスと効率のトレードオフが優れている。 主要なベンチマーク実験では,提案したRTFormerの有効性を示す。
  論文  参考訳（メタデータ） (2022-10-13T16:03:53Z)
• S$^2$-FPN: Scale-ware Strip Attention Guided Feature Pyramid Network for Real-time Semantic Segmentation [6.744210626403423]
  本稿では,リアルタイム道路シーンセマンティックセグメンテーションにおける精度/速度のトレードオフを実現するための新しいモデルを提案する。 具体的には、スケール対応ストリップ注意誘導特徴ピラミッドネットワーク(S$2-FPN)という軽量モデルを提案する。 我々のネットワークは,アテンションピラミッドフュージョン(APF)モジュール,スケール対応ストリップアテンションモジュール(SSAM)モジュール,グローバルフィーチャーアップサンプル(GFU)モジュールの3つの主要モジュールで構成されている。
  論文  参考訳（メタデータ） (2022-06-15T05:02:49Z)
• Joint Spatial-Temporal and Appearance Modeling with Transformer for Multiple Object Tracking [59.79252390626194]
  本稿ではTransSTAMという新しい手法を提案する。Transformerを利用して各オブジェクトの外観特徴とオブジェクト間の空間的時間的関係の両方をモデル化する。 提案手法はMOT16, MOT17, MOT20を含む複数の公開ベンチマークで評価され, IDF1とHOTAの両方で明確な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-05-31T01:19:18Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• P2T: Pyramid Pooling Transformer for Scene Understanding [62.41912463252468]
  私たちはP2Tと呼ばれる下流タスク指向のトランスネットワークを構築します。 プールベースのMHSAを組み込んで、P2Tと呼ばれる下流タスク指向のトランスネットワークを構築しました。
  論文  参考訳（メタデータ） (2021-06-22T18:28:52Z)
• TransVOS: Video Object Segmentation with Transformers [13.311777431243296]
  本研究では,時間的・空間的関係をフル活用し,モデル化する視覚変換器を提案する。 人気のある2エンコーダパイプラインをスリム化するために,単一の2パス特徴抽出器を設計する。 実験では、DAVISとYouTube-VOSのデータセットにおける最先端の手法よりもTransVOSの方が優れていることを示した。
  論文  参考訳（メタデータ） (2021-06-01T15:56:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。