論文の概要: Split to Be Slim: An Overlooked Redundancy in Vanilla Convolution

• arxiv url: http://arxiv.org/abs/2006.12085v1
• Date: Mon, 22 Jun 2020 09:08:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 06:24:27.659545
• Title: Split to Be Slim: An Overlooked Redundancy in Vanilla Convolution
• Title（参考訳）: スリムになるために分割:バニラ畳み込みで見過ごされた冗長性
• Authors: Qiulin Zhang, Zhuqing Jiang, Qishuo Lu, Jia'nan Han, Zhengxin Zeng, Shang-hua Gao, Aidong Men
• Abstract要約: 我々は、類似したパターンを許容するが、少ない計算を必要とする機能を実現するために、textbfsplitベースのtextbfconvolutional Operation(SPConv)を提案する。 我々は,SPConvを装備したネットワークが,GPU上での精度と推論時間の両方において,最先端のベースラインを一貫して上回っていることを示す。
• 参考スコア（独自算出の注目度）: 11.674837640798126
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many effective solutions have been proposed to reduce the redundancy of models for inference acceleration. Nevertheless, common approaches mostly focus on eliminating less important filters or constructing efficient operations, while ignoring the pattern redundancy in feature maps. We reveal that many feature maps within a layer share similar but not identical patterns. However, it is difficult to identify if features with similar patterns are redundant or contain essential details. Therefore, instead of directly removing uncertain redundant features, we propose a \textbf{sp}lit based \textbf{conv}olutional operation, namely SPConv, to tolerate features with similar patterns but require less computation. Specifically, we split input feature maps into the representative part and the uncertain redundant part, where intrinsic information is extracted from the representative part through relatively heavy computation while tiny hidden details in the uncertain redundant part are processed with some light-weight operation. To recalibrate and fuse these two groups of processed features, we propose a parameters-free feature fusion module. Moreover, our SPConv is formulated to replace the vanilla convolution in a plug-and-play way. Without any bells and whistles, experimental results on benchmarks demonstrate SPConv-equipped networks consistently outperform state-of-the-art baselines in both accuracy and inference time on GPU, with FLOPs and parameters dropped sharply.
• Abstract（参考訳）: 推論加速のためのモデルの冗長性を低減するために、多くの効果的な解が提案されている。 それでも一般的なアプローチは、重要でないフィルタの排除や効率的な操作の構築に重点を置いている。 レイヤ内の多くのフィーチャーマップが同じようなパターンを共有しているが、同じパターンではないことが分かる。 しかし、類似したパターンを持つ機能が冗長であるか、あるいは重要な詳細を含んでいるかを特定するのは難しい。 したがって、不確実な冗長な特徴を直接取り除く代わりに、類似したパターンで特徴を許容するが計算を少なくするために、 \textbf{sp}lit ベースの \textbf{conv}olutional 演算、すなわち SPConv を提案する。 具体的には,入力特徴マップを代表部と不確定冗長部に分け,その代表部から固有情報を比較的重い計算により抽出し,不確定冗長部の隠れ詳細を軽量な操作で処理する。 これら2つの処理機能群を再調整し融合するために,パラメータフリー機能融合モジュールを提案する。 さらに,当社のSPConvは,バニラ畳み込みをプラグアンドプレイ方式で置き換えるように構成されている。 ベンチマークの結果は、gpu上での精度と推論時間の両方において、spconv対応のネットワークが最先端のベースラインを一貫して上回っており、フラップとパラメータが大幅に低下していることを示している。

関連論文リスト

• A Refreshed Similarity-based Upsampler for Direct High-Ratio Feature Upsampling [54.05517338122698]
  本稿では,セマンティック・アウェアとディテール・アウェアの両方の観点から,明示的に制御可能なクエリキー機能アライメントを提案する。 また,モーザイクアーティファクトを緩和するのには単純だが有効であるHR特徴量に対して,きめ細かな近傍選択戦略を開発した。 提案するReSFUフレームワークは,異なるセグメンテーションアプリケーション上での良好な性能を一貫して達成する。
  論文  参考訳（メタデータ） (2024-07-02T14:12:21Z)
• Single image super-resolution based on trainable feature matching attention network [0.0]
  畳み込みニューラルネットワーク(CNN)は画像超解法(SR)に広く利用されている トレーニング可能な特徴マッチング(TFM)を導入し、CNNに明示的な特徴学習を導入し、その表現能力を増強する。 また,非局所演算の計算要求を軽減するため,SRNL (Same-size-divided Region-level Non-Local) という変種も提案する。
  論文  参考訳（メタデータ） (2024-05-29T08:31:54Z)
• On Unsupervised Partial Shape Correspondence [9.175560202201819]
  関数写像は部分性を呼び出すと推定された一致に誤差をもたらすと論じる。 部分形状マッチングのための新しい手法を提案する。 提案手法はSHREC'16データセットにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2023-10-23T08:32:50Z)
• PARFormer: Transformer-based Multi-Task Network for Pedestrian Attribute Recognition [23.814762073093153]
  4つのモジュールを含むPARFormerという,純粋なトランスフォーマーベースのマルチタスクPARネットワークを提案する。 特徴抽出モジュールでは,特徴抽出のための強力なベースラインを構築し,複数のPARベンチマークで競合する結果を得る。 視点認識モジュールでは、歩行者属性に対する視点の影響を探索し、マルチビューのコントラスト損失を提案する。 属性認識モジュールでは、負の正の不均衡問題を緩和し、属性予測を生成する。
  論文  参考訳（メタデータ） (2023-04-14T16:27:56Z)
• Local Similarity Pattern and Cost Self-Reassembling for Deep Stereo Matching Networks [3.7384509727711923]
  LSP(Local similarity Pattern)という,深層ステレオマッチングネットワークのためのペア機能を導入する。 隣接する関係を明確に明らかにすることで、LSPはより識別的な特徴記述を支援するために活用できる豊富な構造情報を含んでいる。 第2に,動的自己組み換え改良戦略を設計し,コスト分布と分散マップにそれぞれ適用する。
  論文  参考訳（メタデータ） (2021-12-02T06:52:54Z)
• PnP-DETR: Towards Efficient Visual Analysis with Transformers [146.55679348493587]
  近年、DeTRはトランスフォーマーを用いたソリューションビジョンタスクの先駆者であり、画像特徴マップを直接オブジェクト結果に変換する。 最近の変圧器を用いた画像認識モデルとTTは、一貫した効率向上を示す。
  論文  参考訳（メタデータ） (2021-09-15T01:10:30Z)
• A^2-FPN: Attention Aggregation based Feature Pyramid Network for Instance Segmentation [68.10621089649486]
  アテンションアグリゲーションに基づく機能ピラミッドネットワーク(A2-FPN)を提案し、マルチスケール機能学習を改善します。 A2-FPNは、Cascade Mask R-CNNやHybrid Task Cascadeといった強力なベースラインに統合された場合、2.0%と1.4%のマスクAPを改善する。
  論文  参考訳（メタデータ） (2021-05-07T11:51:08Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• GhostSR: Learning Ghost Features for Efficient Image Super-Resolution [49.393251361038025]
  畳み込みニューラルネットワーク(CNN)に基づく単一の画像スーパーリゾリューション(SISR)システムは、膨大な計算コストを必要としながら派手なパフォーマンスを実現します。 SISRモデルの冗長な特徴(すなわちゴースト特徴)を生成するためにシフト演算を用いることを提案する。 提案モジュールに埋め込まれた非コンパクトかつ軽量なSISRモデルの両方が,ベースラインと同等の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-01-21T10:09:47Z)
• Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation [72.40827239394565]
  スパースサンプリングされた場所のみの機能を計算することを提案する。 次に、効率的な手順で特徴写像を密に再構築する。 提案したネットワークは、様々なコンピュータビジョンタスクの精度を維持しながら、かなりの計算を省くために実験的に示されている。
  論文  参考訳（メタデータ） (2020-03-19T15:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。