論文の概要: StaticSegFormer: An Efficient High-Performance Semantic Segmentation Based on Static Structured Pruning
- arxiv url: http://arxiv.org/abs/2608.04811v1
- Date: Wed, 05 Aug 2026 13:14:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-06 14:48:43.93592
- Title: StaticSegFormer: An Efficient High-Performance Semantic Segmentation Based on Static Structured Pruning
- Title(参考訳): StaticSegFormer:静的構造解析に基づく効率的な高性能セマンティックセマンティックセグメンテーション
- Authors: Timo Bartels, Danish Nazir, Jan Piewek, Thorsten Bagdonat, Tim Fingscheidt,
- Abstract要約: 構造化プルーニングは、推論中にパラメータのグループを削除することにより、ディープニューラルネットワーク(DNN)の効率を高める。
最近の動的構造化プルーニング法は, FLOPを更に低下させながら, 性能低下を低減することを目的としている。
GPUプラットフォームでは、このような動的手法は、単純な静的アプローチよりもはるかに低いフレームレートを示す。
そこで本稿では,SegFormer ネットワークの FLOP と高フレームレート (fps) の両方を,Cityscapes データセットに対して最大で34% 増加させる,注目層に対する静的な構造化プルーニング手法を提案する。
- 参考スコア(独自算出の注目度): 17.894320802733755
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Structured pruning enhances the efficiency of deep neural networks (DNNs) by eliminating groups of parameters during inference. Previous methods mostly reduce computational complexity (FLOPs), while semantic segmentation performance (mIoU) slightly drops. Accordingly, recent dynamic structured pruning methods aim at reducing the performance drop, while lowering the FLOPs even more. However, on the ADE20K and Cityscapes benchmarks, our study reveals that on a GPU platform such dynamic methods exhibit a surprisingly low frame rate far below a simple static approach, while having comparable results in mIoU and FLOPs. To address this issue, we propose a static structured pruning method for attention layers, that achieves both, a lower FLOPs and a high frame rate [fps] of the SegFormer network, the latter increased by up to 34% relative on the Cityscapes dataset, while having no mIoU performance drop at all. Our so-called StaticSegFormer method is strongest for small encoders and large images.
- Abstract(参考訳): 構造化プルーニングは、推論中にパラメータのグループを削除することにより、ディープニューラルネットワーク(DNN)の効率を高める。
従来の手法は主に計算複雑性(FLOP)を減少させるが、セマンティックセグメンテーション性能(mIoU)はわずかに低下する。
したがって、最近の動的構造化プルーニング手法は、FLOPを更に低下させながら、性能低下を減らすことを目的としている。
しかし、ADE20KとCityscapesのベンチマークでは、このような動的手法のGPUプラットフォームでは、単純な静的アプローチよりも驚くほど低いフレームレートを示し、mIoUとFLOPに匹敵する結果が得られた。
この問題に対処するため,SegFormer ネットワークの FLOP と高フレームレート (fps) の両方を実現し,後者は Cityscapes データセットの 34% まで増加し,mIoU 性能は低下しない。
我々のいわゆるStaticSegFormer法は,小型エンコーダや大容量画像に対して最強である。
関連論文リスト
- Beyond FLOPs: Benchmarking Real Inference Acceleration of LLM Pruning under a GEMM-Centric Taxonomy [13.790557800221057]
プルーニングは、大規模言語モデル(LLM)推論を加速するための支配的なパラダイムとして現れている。
我々はGEMM中心の分類法を導入し、一般的な行列乗法における論理的textbfM, textbfN, textbfK次元に従って既存のプルーニング手法を再編成する。
論文 参考訳(メタデータ) (2026-06-08T06:26:18Z) - Striving for Faster and Better: A One-Layer Architecture with Auto Re-parameterization for Low-Light Image Enhancement [50.93686436282772]
我々は、視覚的品質と計算効率の両方から、画像エンハンサーの限界を掘り下げることを目指している。
タスク要求を再考することにより、視覚的品質と計算効率がモデル学習と構造設計に対応する、明示的な接続を構築する。
最終的には、単一の畳み込み層のみを使用して、優れた視覚的品質を維持しながら、効率的な低照度画像強調を実現する。
論文 参考訳(メタデータ) (2025-02-27T08:20:03Z) - Uncertainty-Guided Spatial Pruning Architecture for Efficient Frame
Interpolation [19.077966606237897]
ビデオフレーム(VFI)モデルはすべての場所に畳み込み演算を適用し、簡単に動く領域で冗長な計算を行う。
冗長計算を省略する不確実性誘導型空間プラニングアーキテクチャを開発した。
提案手法は,複数のベンチマーク上でのFLOPの低下による最先端性能を実現する。
論文 参考訳(メタデータ) (2023-07-31T10:33:07Z) - Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。
我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。
SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2022-10-23T18:37:22Z) - Efficient Micro-Structured Weight Unification and Pruning for Neural
Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。
既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。
ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文 参考訳(メタデータ) (2021-06-15T17:22:59Z) - ROME: Robustifying Memory-Efficient NAS via Topology Disentanglement and
Gradient Accumulation [106.04777600352743]
微分可能なアーキテクチャサーチ(DARTS)は、スーパーネット全体がメモリに格納されているため、メモリコストが大幅に低下する。
シングルパスのDARTSが登場し、各ステップでシングルパスのサブモデルのみを選択する。
メモリフレンドリーだが、計算コストも低い。
RObustifying Memory-Efficient NAS (ROME) と呼ばれる新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-11-23T06:34:07Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。