論文の概要: DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers

• arxiv url: http://arxiv.org/abs/2109.10060v1
• Date: Tue, 21 Sep 2021 09:57:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-22 14:19:18.457519
• Title: DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers
• Title（参考訳）: ds-net++: cnnとトランスフォーマーの効率的な推論のための動的重みスライシング
• Authors: Changlin Li, Guangrun Wang, Bing Wang, Xiaodan Liang, Zhihui Li and Xiaojun Chang
• Abstract要約: 本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
• 参考スコア（独自算出の注目度）: 105.74546828182834
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Dynamic networks have shown their promising capability in reducing theoretical computation complexity by adapting their architectures to the input during inference. However, their practical runtime usually lags behind the theoretical acceleration due to inefficient sparsity. Here, we explore a hardware-efficient dynamic inference regime, named dynamic weight slicing, which adaptively slice a part of network parameters for inputs with diverse difficulty levels, while keeping parameters stored statically and contiguously in hardware to prevent the extra burden of sparse computation. Based on this scheme, we present dynamic slimmable network (DS-Net) and dynamic slice-able network (DS-Net++) by input-dependently adjusting filter numbers of CNNs and multiple dimensions in both CNNs and transformers, respectively. To ensure sub-network generality and routing fairness, we propose a disentangled two-stage optimization scheme with training techniques such as in-place bootstrapping (IB), multi-view consistency (MvCo) and sandwich gate sparsification (SGS) to train supernet and gate separately. Extensive experiments on 4 datasets and 3 different network architectures demonstrate our method consistently outperforms state-of-the-art static and dynamic model compression methods by a large margin (up to 6.6%). Typically, DS-Net++ achieves 2-4x computation reduction and 1.62x real-world acceleration over MobileNet, ResNet-50 and Vision Transformer, with minimal accuracy drops (0.1-0.3%) on ImageNet. Code release: https://github.com/changlin31/DS-Net
• Abstract（参考訳）: 動的ネットワークは、推論中にアーキテクチャを入力に適応させることで、理論計算の複雑さを低減できる有望な能力を示した。 しかし、実際のランタイムは通常、非効率なスパーシティのため、理論的加速よりも遅れる。 本稿では,ハードウェアに静的かつ連続的に格納されたパラメータをハードウェアに保持し,スパース計算の余分な負担を回避しつつ,入力に対するネットワークパラメータの一部を適応的にスライスする,動的ウェイトスライシングというハードウェア効率のよい動的推論方式を提案する。 このスキームに基づいて,CNNのフィルタ数とCNNと変換器の多重次元をそれぞれ入力依存で調整し,動的スライス可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。 サブネットワークの汎用性とルーティングの公平性を確保するために,インプレースブートストラップ(ib),マルチビュー一貫性(mvco),サンドウィッチゲートスパーシフィケーション(sgs)といったトレーニング技術を用いて,スーパーネットとゲートを分離してトレーニングする2段階最適化方式を提案する。 4つのデータセットと3つの異なるネットワークアーキテクチャに関する広範囲な実験により、この手法は最先端の静的および動的モデル圧縮手法を6.6%も上回っています。 通常、DS-Net++はMobileNet、ResNet-50、Vision Transformer上で2-4倍の計算削減と1.62倍のリアルタイムアクセラレーションを実現し、ImageNet上では最小の精度低下(0.1-0.3%)となる。 コードリリース:https://github.com/changlin31/DS-Net

関連論文リスト

• Latency-aware Unified Dynamic Networks for Efficient Image Recognition [72.8951331472913]
  LAUDNetは動的ネットワークの理論的および実用的な効率ギャップを橋渡しするフレームワークである。 3つの主要な動的パラダイム - 適応型計算、動的層スキップ、動的チャネルスキップ - を統合している。 これにより、V100,3090やTX2 GPUのようなプラットフォーム上で、ResNetのようなモデルの遅延を50%以上削減できる。
  論文  参考訳（メタデータ） (2023-08-30T10:57:41Z)
• Lightweight and Progressively-Scalable Networks for Semantic Segmentation [100.63114424262234]
  マルチスケール学習フレームワークは,セマンティックセグメンテーションを向上する有効なモデルのクラスと見なされてきた。 本稿では,畳み込みブロックの設計と,複数スケールにわたる相互作用の仕方について,徹底的に解析する。 我々は,軽量で拡張性の高いネットワーク(LPS-Net)を考案した。
  論文  参考訳（メタデータ） (2022-07-27T16:00:28Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Compact Multi-level Sparse Neural Networks with Input Independent Dynamic Rerouting [33.35713740886292]
  疎いディープニューラルネットワークは、モデルの複雑さとメモリ消費を大幅に減らすことができる。 現実の課題に直面する中で,複数のスパースレベルをサポートするスパースモデルをトレーニングすることを提案する。 このようにして、推論中に適切なスパーシティレベルを動的に選択でき、ストレージコストを最小のスパースサブモデルで抑えることができる。
  論文  参考訳（メタデータ） (2021-12-21T01:35:51Z)
• Dynamic Convolution for 3D Point Cloud Instance Segmentation [146.7971476424351]
  動的畳み込みに基づく3次元点雲からのインスタンスセグメンテーション手法を提案する。 我々は、同じ意味圏と閉投票を持つ等質点を幾何学的遠近点に対して収集する。 提案手法は提案不要であり、代わりに各インスタンスの空間的および意味的特性に適応する畳み込みプロセスを利用する。
  論文  参考訳（メタデータ） (2021-07-18T09:05:16Z)
• Dynamic Slimmable Network [105.74546828182834]
  ダイナミックスリム化システム「ダイナミックスリム化ネットワーク(DS-Net)」を開発。 ds-netは,提案するダブルヘッド動的ゲートによる動的推論機能を備えている。 静的圧縮法と最先端の静的および動的モデル圧縮法を一貫して上回っている。
  論文  参考訳（メタデータ） (2021-03-24T15:25:20Z)
• Towards Lossless Binary Convolutional Neural Networks Using Piecewise Approximation [4.023728681102073]
  CNNは算術演算の数とメモリストレージのサイズを大幅に減らすことができる。 しかし、単一のバイナリCNNと複数のバイナリCNNの精度劣化は、現代のアーキテクチャでは受け入れられない。 完全精度の重みとアクティベーションを近似することにより、精度の低下を低減できる複数のバイナリCNNに対するPiecewise Approximationスキームを提案する。
  論文  参考訳（メタデータ） (2020-08-08T13:32:33Z)
• Fully Dynamic Inference with Deep Neural Networks [19.833242253397206]
  Layer-Net(L-Net)とChannel-Net(C-Net)と呼ばれる2つのコンパクトネットワークは、どのレイヤやフィルタ/チャネルが冗長であるかをインスタンス毎に予測する。 CIFAR-10データセットでは、LC-Netは11.9$times$ less floating-point Operations (FLOPs) となり、他の動的推論手法と比較して最大3.3%精度が向上する。 ImageNetデータセットでは、LC-Netは最大1.4$times$ FLOPsを減らし、Top-1の精度は他の方法よりも4.6%高い。
  論文  参考訳（メタデータ） (2020-07-29T23:17:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。