論文の概要: When Sparsity Meets Dynamic Convolution

• arxiv url: http://arxiv.org/abs/2204.02227v1
• Date: Tue, 5 Apr 2022 14:03:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-06 17:16:09.643379
• Title: When Sparsity Meets Dynamic Convolution
• Title（参考訳）: Sparsityが動的畳み込みに出会ったとき
• Authors: Shwai He, Yuhang Li, Chenbo Jiang, Shi Gu
• Abstract要約: 動的畳み込みは、畳み込み重みの増大による効率の良いCNNの性能向上を実現する。 マスクベースの非構造プルーニングは、重ネットワークの冗長性を性能低下のリスクで除去し、軽量ネットワークを得る。 本稿では,これら2つの経路を協調的に統合し,相互に補完する新しい枠組みを提案する。
• 参考スコア（独自算出の注目度）: 11.594330029301533
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dynamic convolution achieves a substantial performance boost for efficient CNNs at a cost of increased convolutional weights. Contrastively, mask-based unstructured pruning obtains a lightweight network by removing redundancy in the heavy network at risk of performance drop. In this paper, we propose a new framework to coherently integrate these two paths so that they can complement each other compensate for the disadvantages. We first design a binary mask derived from a learnable threshold to prune static kernels, significantly reducing the parameters and computational cost but achieving higher performance in Imagenet-1K(0.6\% increase in top-1 accuracy with 0.67G fewer FLOPs). Based on this learnable mask, we further propose a novel dynamic sparse network incorporating the dynamic routine mechanism, which exerts much higher accuracy than baselines ($2.63\%$ increase in top-1 accuracy for MobileNetV1 with $90\%$ sparsity). As a result, our method demonstrates a more efficient dynamic convolution with sparsity.
• Abstract（参考訳）: 動的畳み込みは、畳み込み重みの増大による効率の良いCNNの性能向上を実現する。 対照的に、マスクベースの非構造化プルーニングは、性能低下のリスクがある重ネットワークの冗長性を除去して軽量ネットワークを得る。 本稿では,これら2つの経路をコヒーレントに統合し,互いに不利益を補い合うための新しい枠組みを提案する。 まず、学習可能なしきい値から派生したバイナリマスクを設計し、パラメータと計算コストを大幅に削減するが、Imagenet-1K(0.6\%)では0.67GのFLOPでトップ1の精度が向上する。 この学習可能なマスクをベースラインよりもはるかに高い精度(2.63 %$)でMobileNetV1が90 %$間隔でトップ1の精度を向上する動的ルーチン機構を取り入れた新しい動的スパースネットワークを提案する。 その結果,提案手法はより効率のよい動的畳み込み効果を示す。

関連論文リスト

• Convolutional Neural Network Compression via Dynamic Parameter Rank Pruning [4.7027290803102675]
  動的パラメータランクプルーニングによるCNN圧縮の効率的なトレーニング手法を提案する。 提案手法は, 分類性能の維持や向上を図りながら, かなりの蓄えを得られることを示す。
  論文  参考訳（メタデータ） (2024-01-15T23:52:35Z)
• Transforming Image Super-Resolution: A ConvFormer-based Efficient Approach [58.57026686186709]
  本稿では, Convolutional Transformer Layer (ConvFormer) を導入し, ConvFormer-based Super-Resolution Network (CFSR) を提案する。 CFSRは畳み込みベースのアプローチとトランスフォーマーベースのアプローチの両方の利点を継承する。 CFSRは計算コストと性能のバランスが最適であることを示す実験である。
  論文  参考訳（メタデータ） (2024-01-11T03:08:00Z)
• Incorporating Transformer Designs into Convolutions for Lightweight Image Super-Resolution [46.32359056424278]
  大規模な畳み込みカーネルは畳み込みニューラルネットワークの設計に人気がある。 カーネルのサイズが大きくなるとパラメータの数が2倍に増加し、計算量やメモリの要求も大きくなる。 本稿では,自己注意機構を付加した標準畳み込みを改良した近傍注意モジュールを提案する。 NAモジュールをベースとして,TSRと呼ばれる軽量単一画像超解像(SISR)ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-03-25T01:32:18Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• PAD-Net: An Efficient Framework for Dynamic Networks [72.85480289152719]
  動的ネットワークを実装する際の一般的な実践は、与えられた静的レイヤを完全な動的レイヤに変換することである。 我々は、冗長な動的パラメータを静的なパラメータに変換するために、部分的に動的ネットワーク、すなわちPAD-Netを提案する。 提案手法は,2つの典型的な動的アーキテクチャを用いた大規模実験によって包括的に支持されている。
  論文  参考訳（メタデータ） (2022-11-10T12:42:43Z)
• DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
  本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
  論文  参考訳（メタデータ） (2021-09-21T09:57:21Z)
• Content-Aware Convolutional Neural Networks [98.97634685964819]
  畳み込みニューラルネットワーク(CNN)は、畳み込み層の強力な特徴学習能力によって大きな成功を収めている。 本研究では,スムーズなウィンドウを自動的に検出し,元の大規模カーネルを置き換えるために1x1畳み込みカーネルを適用するContent-aware Convolution (CAC)を提案する。
  論文  参考訳（メタデータ） (2021-06-30T03:54:35Z)
• Revisiting Dynamic Convolution via Matrix Decomposition [81.89967403872147]
  チャネル群に対する動的注意を置き換える動的チャネル融合を提案する。 本手法は訓練が容易で,精度を犠牲にすることなくパラメータを著しく削減する。
  論文  参考訳（メタデータ） (2021-03-15T23:03:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。