論文の概要: Dynamic Slimmable Network

• arxiv url: http://arxiv.org/abs/2103.13258v1
• Date: Wed, 24 Mar 2021 15:25:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-25 13:55:18.388874
• Title: Dynamic Slimmable Network
• Title（参考訳）: 動的スリム化ネットワーク
• Authors: Changlin Li, Guangrun Wang, Bing Wang, Xiaodan Liang, Zhihui Li and Xiaojun Chang
• Abstract要約: ダイナミックスリム化システム「ダイナミックスリム化ネットワーク(DS-Net)」を開発。 ds-netは,提案するダブルヘッド動的ゲートによる動的推論機能を備えている。 静的圧縮法と最先端の静的および動的モデル圧縮法を一貫して上回っている。
• 参考スコア（独自算出の注目度）: 105.74546828182834
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Current dynamic networks and dynamic pruning methods have shown their promising capability in reducing theoretical computation complexity. However, dynamic sparse patterns on convolutional filters fail to achieve actual acceleration in real-world implementation, due to the extra burden of indexing, weight-copying, or zero-masking. Here, we explore a dynamic network slimming regime, named Dynamic Slimmable Network (DS-Net), which aims to achieve good hardware-efficiency via dynamically adjusting filter numbers of networks at test time with respect to different inputs, while keeping filters stored statically and contiguously in hardware to prevent the extra burden. Our DS-Net is empowered with the ability of dynamic inference by the proposed double-headed dynamic gate that comprises an attention head and a slimming head to predictively adjust network width with negligible extra computation cost. To ensure generality of each candidate architecture and the fairness of gate, we propose a disentangled two-stage training scheme inspired by one-shot NAS. In the first stage, a novel training technique for weight-sharing networks named In-place Ensemble Bootstrapping is proposed to improve the supernet training efficacy. In the second stage, Sandwich Gate Sparsification is proposed to assist the gate training by identifying easy and hard samples in an online way. Extensive experiments demonstrate our DS-Net consistently outperforms its static counterparts as well as state-of-the-art static and dynamic model compression methods by a large margin (up to 5.9%). Typically, DS-Net achieves 2-4x computation reduction and 1.62x real-world acceleration over ResNet-50 and MobileNet with minimal accuracy drops on ImageNet. Code release: https://github.com/changlin31/DS-Net .
• Abstract（参考訳）: 現在の動的ネットワークと動的プルーニング手法は、理論計算の複雑さを減らす上で有望な能力を示している。 しかし、畳み込みフィルタの動的スパースパターンは、インデックス付け、重み付け、ゼロマスクの余計な負担のため、実世界の実装で実際の加速を達成することができない。 そこで我々は,動的スリム化システムであるDynamic Slimmable Network (DS-Net)について検討する。これは,異なる入力に対して,テスト時のネットワークのフィルタ数を動的に調整し,ハードウェアに静的かつ連続的に保存し,余分な負担を回避することにより,優れたハードウェア効率を実現することを目的としている。 ds-netは,注意ヘッドとスリム化ヘッドからなる,提案するダブルヘッド動的ゲートによる動的推論能力により,ネットワーク幅を予測的に調整し,余分な計算コストを無視できる。 各候補アーキテクチャの汎用性とゲートの公平性を確保するため,単発nasに触発された2段階のトレーニング方式を提案する。 第1段階では、スーパーネットトレーニングの有効性を改善するために、In-place Ensemble Bootstrappingと呼ばれる新しいウェイトシェアリングネットワークのトレーニング手法を提案する。 第2段階では、簡単でハードなサンプルをオンラインで識別することでゲートトレーニングを支援するため、サンドイッチゲートスパーシフィケーションが提案されている。 大規模な実験では、DS-Netは静的圧縮法と最先端の静的および動的モデル圧縮法を、大きなマージン(最大5.9%)で一貫して上回っている。 通常、DS-NetはResNet-50とMobileNetで2-4倍の計算削減と1.62倍のリアルタイム加速を実現している。 コードリリース: https://github.com/changlin31/DS-Net

関連論文リスト

• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• Dynamic DNNs and Runtime Management for Efficient Inference on Mobile/Embedded Devices [2.8851756275902476]
  ディープニューラルネットワーク(DNN)推論は、モバイルおよび組み込みプラットフォームでますます実行されています。 システムレベルの性能とエネルギー効率を最大化する新しいDynamic Super-Networksを共同で設計した。 SOTAと比較すると、Jetson Xavier NXのGPU上でのImageNetを用いた実験結果は、類似のImageNet Top-1精度で2.4倍、類似のレイテンシで5.1%高速であることを示している。
  論文  参考訳（メタデータ） (2024-01-17T04:40:30Z)
• Latency-aware Unified Dynamic Networks for Efficient Image Recognition [72.8951331472913]
  LAUDNetは動的ネットワークの理論的および実用的な効率ギャップを橋渡しするフレームワークである。 3つの主要な動的パラダイム - 適応型計算、動的層スキップ、動的チャネルスキップ - を統合している。 これにより、V100,3090やTX2 GPUのようなプラットフォーム上で、ResNetのようなモデルの遅延を50%以上削減できる。
  論文  参考訳（メタデータ） (2023-08-30T10:57:41Z)
• PAD-Net: An Efficient Framework for Dynamic Networks [72.85480289152719]
  動的ネットワークを実装する際の一般的な実践は、与えられた静的レイヤを完全な動的レイヤに変換することである。 我々は、冗長な動的パラメータを静的なパラメータに変換するために、部分的に動的ネットワーク、すなわちPAD-Netを提案する。 提案手法は,2つの典型的な動的アーキテクチャを用いた大規模実験によって包括的に支持されている。
  論文  参考訳（メタデータ） (2022-11-10T12:42:43Z)
• Efficient Sparsely Activated Transformers [0.34410212782758054]
  トランスフォーマーベースのニューラルネットワークは、多くの機械学習ドメインで最先端のタスクパフォーマンスを実現している。 最近の研究は、これらのネットワークへの動的挙動の混合層(mixed-of-expert layer)の形での統合について検討している。 我々は,既存のTransformerベースのネットワークとユーザ定義のレイテンシターゲットを取り入れたPLANERという新しいシステムを導入する。
  論文  参考訳（メタデータ） (2022-08-31T00:44:27Z)
• Dynamic Slimmable Denoising Network [64.77565006158895]
  DDSNet(Dynamic Slimmable Denoising Network)は、計算量が少なくて優れたDenoising品質を実現するための一般的な手法である。 OurNetには動的ゲートによる動的推論の能力が備わっている。 我々の実験は、最先端の個別に訓練された静的 denoising ネットワークよりも一貫して優れています。
  論文  参考訳（メタデータ） (2021-10-17T22:45:33Z)
• DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
  本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
  論文  参考訳（メタデータ） (2021-09-21T09:57:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。