論文の概要: ContextFormer: Redefining Efficiency in Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2501.19255v1
• Date: Fri, 31 Jan 2025 16:11:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:01:42.034133
• Title: ContextFormer: Redefining Efficiency in Semantic Segmentation
• Title（参考訳）: ContextFormer: セマンティックセグメンテーションにおける効率性を再定義する
• Authors: Mian Muhammad Naeem Abid, Nancy Mehta, Zongwei Wu, Fayaz Ali Dharejo, Radu Timofte,
• Abstract要約: 畳み込み法は、局所的な依存関係をうまく捉えるが、長距離関係に苦慮する。 ビジョントランスフォーマー(ViT)は、グローバルなコンテキストキャプチャでは優れるが、高い計算要求によって妨げられる。 我々は,リアルタイムセマンティックセグメンテーションの効率,精度,堅牢性のバランスをとるために,CNN と ViT の強みを活用したハイブリッドフレームワーク ContextFormer を提案する。
• 参考スコア（独自算出の注目度）: 46.06496660333768
• License:
• Abstract: Semantic segmentation assigns labels to pixels in images, a critical yet challenging task in computer vision. Convolutional methods, although capturing local dependencies well, struggle with long-range relationships. Vision Transformers (ViTs) excel in global context capture but are hindered by high computational demands, especially for high-resolution inputs. Most research optimizes the encoder architecture, leaving the bottleneck underexplored - a key area for enhancing performance and efficiency. We propose ContextFormer, a hybrid framework leveraging the strengths of CNNs and ViTs in the bottleneck to balance efficiency, accuracy, and robustness for real-time semantic segmentation. The framework's efficiency is driven by three synergistic modules: the Token Pyramid Extraction Module (TPEM) for hierarchical multi-scale representation, the Transformer and Modulating DepthwiseConv (Trans-MDC) block for dynamic scale-aware feature modeling, and the Feature Merging Module (FMM) for robust integration with enhanced spatial and contextual consistency. Extensive experiments on ADE20K, Pascal Context, CityScapes, and COCO-Stuff datasets show ContextFormer significantly outperforms existing models, achieving state-of-the-art mIoU scores, setting a new benchmark for efficiency and performance. The codes will be made publicly available.
• Abstract（参考訳）: セマンティックセグメンテーションは、ラベルを画像中のピクセルに割り当てる。 畳み込み法は、局所的な依存関係をうまく捉えるが、長距離関係に苦慮する。 視覚変換器(ViT)は、グローバルなコンテキストキャプチャでは優れるが、特に高解像度入力では高い計算要求によって妨げられる。 ほとんどの研究はエンコーダアーキテクチャを最適化し、ボトルネックを過小評価している。 我々は,リアルタイムセマンティックセグメンテーションの効率,精度,堅牢性のバランスをとるために,CNN と ViT の強みを活用したハイブリッドフレームワーク ContextFormer を提案する。 フレームワークの効率は、階層的なマルチスケール表現のためのToken Pyramid extract Module(TPEM)、動的スケール認識機能モデリングのためのTransformer and Modulating DepthwiseConv(Trans-MDC)ブロック、拡張空間とコンテキスト整合性を備えた堅牢な統合のためのFeature Merging Module(FMM)の3つの相乗的モジュールによって駆動される。 ADE20K、Pascal Context、CityScapes、COCO-Stuffデータセットに関する大規模な実験は、ContextFormerが既存のモデルを大幅に上回っていることを示している。 コードは公開されます。

関連論文リスト

• EMMA: Efficient Visual Alignment in Multi-Modal LLMs [56.03417732498859]
  EMMAは、視覚的およびテキスト的エンコーディングを効率的に融合するために設計された軽量なクロスプラットフォームモジュールである。 EMMAは複数のタスクのパフォーマンスを最大9.3%向上させ、幻覚に対する堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-02T23:00:31Z)
• CSFNet: A Cosine Similarity Fusion Network for Real-Time RGB-X Semantic Segmentation of Driving Scenes [0.0]
  マルチモーダルなセマンティックセグメンテーション手法は、高い計算複雑性と低い推論速度に悩まされる。 本稿では,リアルタイムRGB-XセマンティックセマンティックセグメンテーションモデルとしてCosine similarity Fusion Network (CSFNet)を提案する。 CSFNetは最先端の手法と競合する精度を持ち、速度に関しては最先端の手法である。
  論文  参考訳（メタデータ） (2024-07-01T14:34:32Z)
• PEM: Prototype-based Efficient MaskFormer for Image Segmentation [10.795762739721294]
  最近のトランスベースのアーキテクチャは、画像セグメンテーションの分野で印象的な成果を上げている。 複数のセグメンテーションタスクで動作可能な効率的なトランスフォーマーベースのアーキテクチャであるPEM(Prototype-based Efficient MaskFormer)を提案する。
  論文  参考訳（メタデータ） (2024-02-29T18:21:54Z)
• Low-Resolution Self-Attention for Semantic Segmentation [93.30597515880079]
  我々は,グローバルコンテキストを計算コストの大幅な削減で捉えるために,低解像度自己認識(LRSA)機構を導入する。 我々のアプローチは、入力画像の解像度に関わらず、固定された低解像度空間における自己注意を計算することである。 本稿では,エンコーダ・デコーダ構造を持つビジョントランスであるLRFormerを構築することで,LRSA手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-10-08T06:10:09Z)
• RTFormer: Efficient Design for Real-Time Semantic Segmentation with Transformer [63.25665813125223]
  本稿では,リアルタイムセマンティックセグメンテーションのための効率的なデュアルレゾリューション変換器RTFormerを提案する。 CNNベースのモデルよりもパフォーマンスと効率のトレードオフが優れている。 主要なベンチマーク実験では,提案したRTFormerの有効性を示す。
  論文  参考訳（メタデータ） (2022-10-13T16:03:53Z)
• ASAP: Accurate semantic segmentation for real time performance [3.5327983932835165]
  異なるノルムを持つ特徴融合法(FFDN)を提案する。 FFDNは、自己注意の前に多層スケールと垂直プールモジュールの豊富なグローバルコンテキストを利用する。 73.1のunion(mIoU)と191のFrame Per Second(FPS)の平均相互作用は、Cityscapesテストデータセットの最先端と同等の結果である。
  論文  参考訳（メタデータ） (2022-10-04T02:35:53Z)
• Transformer-based Context Condensation for Boosting Feature Pyramids in Object Detection [77.50110439560152]
  現在の物体検出器は、通常マルチレベル特徴融合(MFF)のための特徴ピラミッド(FP)モジュールを持つ。 我々は,既存のFPがより優れたMFF結果を提供するのに役立つ,新しい,効率的なコンテキストモデリング機構を提案する。 特に,包括的文脈を2種類の表現に分解・凝縮して高効率化を図っている。
  論文  参考訳（メタデータ） (2022-07-14T01:45:03Z)
• GroupBERT: Enhanced Transformer Architecture with Efficient Grouped Structures [57.46093180685175]
  トランスフォーマー層の構造を改良し,より効率的なアーキテクチャを実現する。 自己認識モジュールを補完する畳み込みモジュールを追加し、局所的およびグローバルな相互作用の学習を分離する。 得られたアーキテクチャを言語表現学習に適用し、異なるスケールのBERTモデルと比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2021-06-10T15:41:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。