論文の概要: DASS: Differentiable Architecture Search for Sparse neural networks
- arxiv url: http://arxiv.org/abs/2207.06968v4
- Date: Thu, 6 Apr 2023 08:36:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-07 18:12:38.886636
- Title: DASS: Differentiable Architecture Search for Sparse neural networks
- Title（参考訳）: DASS:スパースニューラルネットワークのための微分可能なアーキテクチャ探索
- Authors: Hamid Mousavi, Mohammad Loni, Mina Alibeigi, Masoud Daneshtalab
- Abstract要約: 識別可能なアーキテクチャ探索手法により高密度ネットワーク用に設計されたアーキテクチャは,プルーニング機構を適用した場合,有効ではないことがわかった。
本稿では,スパシティフレンドリなニューラルアーキテクチャを探索する新しい手法を提案する。
検索空間に2つの新しいスパース操作を追加し、探索目的を変更することでこれを行う。
- 参考スコア（独自算出の注目度）: 0.5352699766206807
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The deployment of Deep Neural Networks (DNNs) on edge devices is hindered by
the substantial gap between performance requirements and available processing
power. While recent research has made significant strides in developing pruning
methods to build a sparse network for reducing the computing overhead of DNNs,
there remains considerable accuracy loss, especially at high pruning ratios. We
find that the architectures designed for dense networks by differentiable
architecture search methods are ineffective when pruning mechanisms are applied
to them. The main reason is that the current method does not support sparse
architectures in their search space and uses a search objective that is made
for dense networks and does not pay any attention to sparsity. In this paper,
we propose a new method to search for sparsity-friendly neural architectures.
We do this by adding two new sparse operations to the search space and
modifying the search objective. We propose two novel parametric SparseConv and
SparseLinear operations in order to expand the search space to include sparse
operations. In particular, these operations make a flexible search space due to
using sparse parametric versions of linear and convolution operations. The
proposed search objective lets us train the architecture based on the sparsity
of the search space operations. Quantitative analyses demonstrate that our
search architectures outperform those used in the stateof-the-art sparse
networks on the CIFAR-10 and ImageNet datasets. In terms of performance and
hardware effectiveness, DASS increases the accuracy of the sparse version of
MobileNet-v2 from 73.44% to 81.35% (+7.91% improvement) with 3.87x faster
inference time.
- Abstract（参考訳）: エッジデバイスへのディープニューラルネットワーク(DNN)のデプロイは、パフォーマンス要件と利用可能な処理パワーの間に大きなギャップがあるために妨げられている。
最近の研究は、DNNの計算オーバーヘッドを低減するためのスパースネットワークを構築するためのプルーニング手法の開発に大きく貢献しているが、特に高いプルーニング比において、かなりの精度の損失がある。
構造探索手法は, プランニング機構を適用した場合, 密集したネットワーク向けに設計したアーキテクチャは有効ではないことが判明した。
主な理由は,本手法が検索空間におけるスパースアーキテクチャをサポートせず,高密度ネットワークを対象とし,疎度に注意を払わない探索目的を用いているためである。
本稿では,スパーシティフレンドリなニューラルアーキテクチャを探索する新しい手法を提案する。
検索空間に2つの新しいスパース操作を追加し、検索目的を変更してこれを行う。
本稿では,スパース操作を含む検索空間を拡張するために,2つの新しいパラメトリックSparseConvとSparseLinear演算を提案する。
特に、これらの操作は線形および畳み込み操作のスパースパラメトリックバージョンを使用するため、柔軟な探索空間を作る。
提案する検索目的は,検索空間操作のスパース性に基づいて,アーキテクチャを訓練することである。
CIFAR-10 と ImageNet データセットの検索構造は,最先端のスパースネットワークで使用されているものよりも優れていることを示す。
性能とハードウェア効率の面では、DASSはMobileNet-v2のスパースバージョンの精度を73.44%から81.35%(+7.91%改善)に改善し、推論時間は3.87倍に向上した。
関連論文リスト
- Flexible Channel Dimensions for Differentiable Architecture Search [50.33956216274694]
本稿では,効率的な動的チャネル割当アルゴリズムを用いた新しい微分可能なニューラルアーキテクチャ探索法を提案する。
提案するフレームワークは,タスク精度と推論遅延において,従来の手法と等価なDNNアーキテクチャを見つけることができることを示す。
論文 参考訳（メタデータ） (2023-06-13T15:21:38Z) - Pruning-as-Search: Efficient Neural Architecture Search via Channel
Pruning and Structural Reparameterization [50.50023451369742]
プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。
提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
論文 参考訳（メタデータ） (2022-06-02T17:58:54Z) - D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。
セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
論文 参考訳（メタデータ） (2021-08-20T09:07:01Z) - Combined Depth Space based Architecture Search For Person
Re-identification [70.86236888223569]
個人再識別(ReID)のための軽量で適切なネットワークの設計を目指しています。
本研究では,CDNetと呼ばれる効率的なネットワークアーキテクチャの探索に基づく,複合深さ空間(Componed Depth Space, CDS)と呼ばれる新しい検索空間を提案する。
そこで我々はTop-k Sample Search戦略という低コストの検索戦略を提案し、検索空間をフル活用し、局所的な最適結果のトラップを避ける。
論文 参考訳（メタデータ） (2021-04-09T02:40:01Z) - Partially-Connected Differentiable Architecture Search for Deepfake and
Spoofing Detection [14.792884010821762]
本稿では,darts( differentiable architecture search)アプローチをdeepfakeおよびspoofing検出問題に適用した最初の事例について報告する。
DARTSは連続的かつ微分可能な検索空間で動作し、アーキテクチャとパラメータの両方を勾配降下により最適化することができる。
論文 参考訳（メタデータ） (2021-04-07T13:53:20Z) - Towards Improving the Consistency, Efficiency, and Flexibility of
Differentiable Neural Architecture Search [84.4140192638394]
最も微分可能なニューラルアーキテクチャ探索法は、探索用のスーパーネットを構築し、そのサブグラフとしてターゲットネットを導出する。
本稿では,エンジンセルとトランジットセルからなるEnTranNASを紹介する。
また,検索処理の高速化を図るため,メモリや計算コストの削減も図っている。
論文 参考訳（メタデータ） (2021-01-27T12:16:47Z) - ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse
Coding [86.40042104698792]
スパース符号問題としてニューラルアーキテクチャ探索を定式化する。
実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。
本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2020-10-13T04:34:24Z) - Multi-Objective Neural Architecture Search Based on Diverse Structures
and Adaptive Recommendation [4.595675084986132]
畳み込みニューラルネットワーク(CNN)のためのニューラルネットワーク探索(NAS)の検索空間は巨大である。
本稿では,既存の研究結果と過去の情報を利用して,軽量かつ高精度なアーキテクチャを迅速に発見するMoARRアルゴリズムを提案する。
実験結果から,CIFAR-10上でのMoARRは6GPU時間で1.9%の誤差率と2.3Mパラメータを持つ,強力で軽量なモデルを実現することができた。
論文 参考訳（メタデータ） (2020-07-06T13:42:33Z) - Fine-Grained Stochastic Architecture Search [6.277767522867666]
Fine-Grained Architecture Search (FiGS) は、より大きな候補アーキテクチャの集合を探索する微分可能な検索手法である。
FiGSは、構造化スパース正規化ペナルティを適用して、検索空間内の演算子を同時に選択・変更する。
既存の3つの検索空間にまたがって結果を示し、元の検索アルゴリズムのマッチングや性能を向上する。
論文 参考訳（メタデータ） (2020-06-17T01:04:14Z) - AlphaGAN: Fully Differentiable Architecture Search for Generative
Adversarial Networks [15.740179244963116]
GAN (Generative Adversarial Networks) はミニマックスゲーム問題として定式化され、ジェネレータは差別者に対する対戦学習によって実際のデータ分布にアプローチしようとする。
本研究は,ネットワークアーキテクチャの観点からのモデル学習を促進することを目的として,GANに自動アーキテクチャ探索の最近の進歩を取り入れた。
我々は,αGANと呼ばれる,生成的敵ネットワークのための,完全に差別化可能な検索フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-16T13:27:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。