論文の概要: SD-Conv: Towards the Parameter-Efficiency of Dynamic Convolution

• arxiv url: http://arxiv.org/abs/2204.02227v3
• Date: Fri, 26 May 2023 12:26:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 00:26:33.324882
• Title: SD-Conv: Towards the Parameter-Efficiency of Dynamic Convolution
• Title（参考訳）: SD-Conv:動的畳み込みのパラメータ効率に向けて
• Authors: Shwai He, Chenbo Jiang, Daize Dong, Liang Ding
• Abstract要約: 動的畳み込みは、無視可能なFLOPの増加による効率の良いCNNの性能向上を実現する。 我々はこれら2つのパスを自然に統合する新しいフレームワーク textbfSparse Dynamic Convolution (textscSD-Conv) を提案する。
• 参考スコア（独自算出の注目度）: 16.56592303409295
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dynamic convolution achieves better performance for efficient CNNs at the cost of negligible FLOPs increase. However, the performance increase can not match the significantly expanded number of parameters, which is the main bottleneck in real-world applications. Contrastively, mask-based unstructured pruning obtains a lightweight network by removing redundancy in the heavy network. In this paper, we propose a new framework, \textbf{Sparse Dynamic Convolution} (\textsc{SD-Conv}), to naturally integrate these two paths such that it can inherit the advantage of dynamic mechanism and sparsity. We first design a binary mask derived from a learnable threshold to prune static kernels, significantly reducing the parameters and computational cost but achieving higher performance in Imagenet-1K. We further transfer pretrained models into a variety of downstream tasks, showing consistently better results than baselines. We hope our SD-Conv could be an efficient alternative to conventional dynamic convolutions.
• Abstract（参考訳）: 動的畳み込みは、無視可能なFLOPの増加による効率の良いCNNの性能向上を実現する。 しかし、性能向上は、実際のアプリケーションにおいて主要なボトルネックとなるパラメータの大幅な増加には一致しない。 対照的にマスクベースの非構造プルーニングは重ネットワークの冗長性を除去して軽量ネットワークを得る。 本稿では,この2つの経路を自然に統合し,動的機構と疎結合の利点を継承するために,新しいフレームワークである‘textbf{Sparse Dynamic Convolution}(\textsc{SD-Conv})を提案する。 まず,学習可能なしきい値から派生したバイナリマスクを設計,パラメータと計算コストを大幅に削減したが,imagenet-1kでは高い性能を実現している。 さらに、トレーニング済みのモデルをさまざまなダウンストリームタスクに転送し、ベースラインよりも一貫して優れた結果を示します。 SD-Convが従来の動的畳み込みに代わる効率的な代替になることを期待しています。

関連論文リスト

• Convolutional Neural Network Compression via Dynamic Parameter Rank Pruning [4.7027290803102675]
  動的パラメータランクプルーニングによるCNN圧縮の効率的なトレーニング手法を提案する。 提案手法は, 分類性能の維持や向上を図りながら, かなりの蓄えを得られることを示す。
  論文  参考訳（メタデータ） (2024-01-15T23:52:35Z)
• Transforming Image Super-Resolution: A ConvFormer-based Efficient Approach [58.57026686186709]
  本稿では, Convolutional Transformer Layer (ConvFormer) を導入し, ConvFormer-based Super-Resolution Network (CFSR) を提案する。 CFSRは畳み込みベースのアプローチとトランスフォーマーベースのアプローチの両方の利点を継承する。 CFSRは計算コストと性能のバランスが最適であることを示す実験である。
  論文  参考訳（メタデータ） (2024-01-11T03:08:00Z)
• Incorporating Transformer Designs into Convolutions for Lightweight Image Super-Resolution [46.32359056424278]
  大規模な畳み込みカーネルは畳み込みニューラルネットワークの設計に人気がある。 カーネルのサイズが大きくなるとパラメータの数が2倍に増加し、計算量やメモリの要求も大きくなる。 本稿では,自己注意機構を付加した標準畳み込みを改良した近傍注意モジュールを提案する。 NAモジュールをベースとして,TSRと呼ばれる軽量単一画像超解像(SISR)ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-03-25T01:32:18Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• PAD-Net: An Efficient Framework for Dynamic Networks [72.85480289152719]
  動的ネットワークを実装する際の一般的な実践は、与えられた静的レイヤを完全な動的レイヤに変換することである。 我々は、冗長な動的パラメータを静的なパラメータに変換するために、部分的に動的ネットワーク、すなわちPAD-Netを提案する。 提案手法は,2つの典型的な動的アーキテクチャを用いた大規模実験によって包括的に支持されている。
  論文  参考訳（メタデータ） (2022-11-10T12:42:43Z)
• DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
  本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
  論文  参考訳（メタデータ） (2021-09-21T09:57:21Z)
• Content-Aware Convolutional Neural Networks [98.97634685964819]
  畳み込みニューラルネットワーク(CNN)は、畳み込み層の強力な特徴学習能力によって大きな成功を収めている。 本研究では,スムーズなウィンドウを自動的に検出し,元の大規模カーネルを置き換えるために1x1畳み込みカーネルを適用するContent-aware Convolution (CAC)を提案する。
  論文  参考訳（メタデータ） (2021-06-30T03:54:35Z)
• Revisiting Dynamic Convolution via Matrix Decomposition [81.89967403872147]
  チャネル群に対する動的注意を置き換える動的チャネル融合を提案する。 本手法は訓練が容易で,精度を犠牲にすることなくパラメータを著しく削減する。
  論文  参考訳（メタデータ） (2021-03-15T23:03:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。