論文の概要: Embedding-Free Transformer with Inference Spatial Reduction for Efficient Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2407.17261v1
• Date: Wed, 24 Jul 2024 13:24:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-25 13:44:46.668033
• Title: Embedding-Free Transformer with Inference Spatial Reduction for Efficient Semantic Segmentation
• Title（参考訳）: 効率的なセマンティックセグメンテーションのための推論空間削減型埋め込みフリー変圧器
• Authors: Hyunwoo Yu, Yubin Cho, Beoungwoo Kang, Seunghun Moon, Kyeongbo Kong, Suk-Ju Kang,
• Abstract要約: EFAは、グローバルな非線型性の機能に焦点を当てた、新しいグローバルなコンテキストモデリングメカニズムである。 ISR法では,推論フェーズにおけるキー値の分解能を低減し,計算性能とトレードオフのギャップを軽減できる。 EDAFormerは、既存のトランスフォーマーベースのセマンティックセグメンテーションモデルと比較して、効率的な計算で最先端のパフォーマンスを示す。
• 参考スコア（独自算出の注目度）: 15.377463849213033
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present an Encoder-Decoder Attention Transformer, EDAFormer, which consists of the Embedding-Free Transformer (EFT) encoder and the all-attention decoder leveraging our Embedding-Free Attention (EFA) structure. The proposed EFA is a novel global context modeling mechanism that focuses on functioning the global non-linearity, not the specific roles of the query, key and value. For the decoder, we explore the optimized structure for considering the globality, which can improve the semantic segmentation performance. In addition, we propose a novel Inference Spatial Reduction (ISR) method for the computational efficiency. Different from the previous spatial reduction attention methods, our ISR method further reduces the key-value resolution at the inference phase, which can mitigate the computation-performance trade-off gap for the efficient semantic segmentation. Our EDAFormer shows the state-of-the-art performance with the efficient computation compared to the existing transformer-based semantic segmentation models in three public benchmarks, including ADE20K, Cityscapes and COCO-Stuff. Furthermore, our ISR method reduces the computational cost by up to 61% with minimal mIoU performance degradation on Cityscapes dataset. The code is available at https://github.com/hyunwoo137/EDAFormer.
• Abstract（参考訳）: EDAFormer は Embedding-Free Transformer (EFT) エンコーダと Embedding-Free Attention (EFA) 構造を利用する全アテンションデコーダで構成される。 提案するEFAは,クエリやキー,バリューの特定の役割ではなく,グローバルな非線形性(non-linearity)を機能させる,新たなグローバルなコンテキストモデリング機構である。 このデコーダでは,グローバル性を考慮し,セマンティックセグメンテーション性能を向上させるために最適化された構造について検討する。 さらに,計算効率向上のための新しい推論空間還元法を提案する。 従来の空間縮小アテンション法と異なり,提案手法は推論フェーズにおけるキー値の分解能をさらに低減し,効率的なセマンティックセグメンテーションのための計算性能のトレードオフギャップを緩和する。 EDAFormerは、ADE20K、Cityscapes、COCO-Stuffを含む3つの公開ベンチマークにおいて、既存のトランスフォーマーベースのセマンティックセマンティックセグメンテーションモデルと比較して、効率的な計算による最先端性能を示す。 さらに、ISR法は、Cityscapesデータセット上でのmIoU性能の最小化により、計算コストを最大61%削減する。 コードはhttps://github.com/hyunwoo137/EDAFormerで入手できる。

関連論文リスト

• Any Image Restoration with Efficient Automatic Degradation Adaptation [132.81912195537433]
  本研究は, 各種劣化の相似性を有効かつ包括的修復に活用し, 共同埋設を実現する統一的な方法を提案する。 我々のネットワークは、モデルの複雑さをトレーニング可能なパラメータで約82%、FLOPで約85%削減しつつ、新しいSOTAレコードを設定している。
  論文  参考訳（メタデータ） (2024-07-18T10:26:53Z)
• Hierarchical Features Matter: A Deep Exploration of GAN Priors for Improved Dataset Distillation [51.44054828384487]
  階層的生成潜在蒸留(H-GLaD)と呼ばれる新しいパラメータ化法を提案する。 本手法はGAN内の階層層を系統的に探索する。 さらに,合成データセット評価に伴う計算負担を軽減するために,新しいクラス関連特徴距離尺度を導入する。
  論文  参考訳（メタデータ） (2024-06-09T09:15:54Z)
• SERNet-Former: Semantic Segmentation by Efficient Residual Network with Attention-Boosting Gates and Attention-Fusion Networks [0.0]
  本研究では,一意に効率的な残差ネットワークであるEfficient-ResNetを用いたエンコーダデコーダアーキテクチャを提案する。 アテンションブーティングゲート(AbG)とアテンションブーイングモジュール(AbM)は、グローバルコンテキストの出力の等価サイズで同変および特徴に基づく意味情報を融合することを目的として展開される。 我々のネットワークは、挑戦的なCamVidとCityscapesのデータセットでテストされており、提案手法により、残余ネットワークに対する大幅な改善が示されている。
  論文  参考訳（メタデータ） (2024-01-28T19:58:19Z)
• Transforming Image Super-Resolution: A ConvFormer-based Efficient Approach [63.98380888730723]
  本稿では, Convolutional Transformer Layer (ConvFormer) と ConvFormer-based Super-Resolution Network (CFSR) を紹介する。 CFSRは、計算コストの少ない長距離依存と広範囲の受容場を効率的にモデル化する。 これは、x2 SRタスクのUrban100データセットで0.39dB、パラメータが26%、FLOPが31%減少している。
  論文  参考訳（メタデータ） (2024-01-11T03:08:00Z)
• Graph-Induced Syntactic-Semantic Spaces in Transformer-Based Variational AutoEncoders [5.037881619912574]
  本稿では,トランスフォーマーを用いたVAEにおける構造構文注入のための潜時空間分離法について検討する。 具体的には、グラフベースおよびシーケンシャルモデルの統合により、符号化段階で構文構造をどのように活用するかを検討する。 我々の経験的評価は、自然言語文と数学的表現に基づいて行われ、提案したエンドツーエンドのVAEアーキテクチャにより、潜在空間の全体構造がより良くなることを示している。
  論文  参考訳（メタデータ） (2023-11-14T22:47:23Z)
• Low-Resolution Self-Attention for Semantic Segmentation [96.81482872022237]
  我々は,グローバルコンテキストを計算コストの大幅な削減で捉えるために,低解像度自己認識(LRSA)機構を導入する。 我々のアプローチは、入力画像の解像度に関わらず、固定された低解像度空間における自己注意を計算することである。 本稿では,エンコーダ・デコーダ構造を持つビジョントランスであるLRFormerを構築することで,LRSA手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-10-08T06:10:09Z)
• Transformer-based ASR Incorporating Time-reduction Layer and Fine-tuning with Self-Knowledge Distillation [11.52842516726486]
  本稿では,トランスエンコーダ層に時間削減層を組み込んだTransformer-based ASRモデルを提案する。 また、自己知識蒸留(S-KD)を用いた事前学習型ASRモデルの微調整手法を導入し、ASRモデルの性能をさらに向上させる。 言語モデル(LM)融合により、トランスフォーマーベースのASRモデルのための最新の単語誤り率(WER)結果を達成します。
  論文  参考訳（メタデータ） (2021-03-17T21:02:36Z)
• Efficient Semantic Image Synthesis via Class-Adaptive Normalization [116.63715955932174]
  クラス適応正規化(CLADE)は、セマンティッククラスにのみ適応する軽量かつ等価なバリアントである。 セマンティクスレイアウトから計算したクラス内位置マップエンコーディングを導入し,cladeの正規化パラメータを変調する。 提案されたCLADEは異なるSPADEベースのメソッドに一般化し、SPADEと比較して同等の生成品質を達成できる。
  論文  参考訳（メタデータ） (2020-12-08T18:59:32Z)
• EfficientFCN: Holistically-guided Decoding for Semantic Segmentation [49.27021844132522]
  最先端セマンティックセマンティックセグメンテーションアルゴリズムは主に拡張されたFully Convolutional Networks (DilatedFCN)に基づいている 本稿では,拡張畳み込みのないイメージネット事前学習ネットワークをバックボーンとする,効率的なFCNを提案する。 このようなフレームワークは、計算コストの1/3しか持たない最先端の手法に比べて、同等またはそれ以上の性能を達成する。
  論文  参考訳（メタデータ） (2020-08-24T14:48:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。