論文の概要: Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization

• arxiv url: http://arxiv.org/abs/2206.01198v1
• Date: Thu, 2 Jun 2022 17:58:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-03 14:51:23.092223
• Title: Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization
• Title（参考訳）: プルーニング・アズ・サーチ:チャネルプルーニングと構造パラメータ化による効率的なニューラルネットワーク探索
• Authors: Yanyu Li, Pu Zhao, Geng Yuan, Xue Lin, Yanzhi Wang, Xin Chen
• Abstract要約: プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。 提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
• 参考スコア（独自算出の注目度）: 50.50023451369742
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural architecture search (NAS) and network pruning are widely studied efficient AI techniques, but not yet perfect. NAS performs exhaustive candidate architecture search, incurring tremendous search cost. Though (structured) pruning can simply shrink model dimension, it remains unclear how to decide the per-layer sparsity automatically and optimally. In this work, we revisit the problem of layer-width optimization and propose Pruning-as-Search (PaS), an end-to-end channel pruning method to search out desired sub-network automatically and efficiently. Specifically, we add a depth-wise binary convolution to learn pruning policies directly through gradient descent. By combining the structural reparameterization and PaS, we successfully searched out a new family of VGG-like and lightweight networks, which enable the flexibility of arbitrary width with respect to each layer instead of each stage. Experimental results show that our proposed architecture outperforms prior arts by around $1.0\%$ top-1 accuracy under similar inference speed on ImageNet-1000 classification task. Furthermore, we demonstrate the effectiveness of our width search on complex tasks including instance segmentation and image translation. Code and models are released.
• Abstract（参考訳）: ニューラルネットワークサーチ(NAS)とネットワークプルーニングは、効率的なAI技術として広く研究されているが、まだ完璧ではない。 NASは網羅的なアーキテクチャ探索を行い、膨大な検索コストを発生させる。 (構造化) プルーニングは単にモデル次元を縮小することができるが、層ごとの間隔を自動的に最適に決定する方法は不明である。 本研究では,レイヤ幅最適化の問題を再考し,所望のサブネットワークを自動かつ効率的に検索するPruning-as-Search (PaS)を提案する。 具体的には、勾配勾配からプルーニングポリシーを直接学習するために、深さワイドなバイナリ畳み込みを追加する。 構造的パラメータ化とPaSを組み合わせることで,各ステージではなく各レイヤに対して任意の幅の柔軟性を実現する,VGGライクで軽量なネットワークの新たなファミリーを探索することができた。 実験結果から,imagenet-1000 分類タスクの予測速度が約$1.0\%$ top-1 の精度で先行技術を上回ることがわかった。 さらに,インスタンス分割や画像翻訳などの複雑なタスクにおける幅探索の有効性を示す。 コードとモデルはリリースされている。

関連論文リスト

• Tiered Pruning for Efficient Differentialble Inference-Aware Neural Architecture Search [0.0]
  我々は、メモリと計算の複雑さで内部の隠された次元を探索できるDNASのための双方向構築ブロックを紹介した。 第2に,探索中にスーパーネットの層内でブロックを刈り取るアルゴリズムを提案する。 第3に,探索中に不要な層を刈り取る新しい手法について述べる。
  論文  参考訳（メタデータ） (2022-09-23T18:03:54Z)
• DAAS: Differentiable Architecture and Augmentation Policy Search [107.53318939844422]
  この研究は、ニューラルネットワークとデータ拡張のカップリングの可能性を検討し、それらを共同で検索する効果的なアルゴリズムを提案する。 CIFAR-10では97.91%、ImageNetデータセットでは76.6%の精度で97.91%の精度を達成し、検索アルゴリズムの優れた性能を示している。
  論文  参考訳（メタデータ） (2021-09-30T17:15:17Z)
• Enhanced Gradient for Differentiable Architecture Search [17.431144144044968]
  ネットワーク性能の同時改善とネットワークの複雑性低減を目的としたニューラルネットワークアーキテクチャ探索アルゴリズムを提案する。 提案するフレームワークは,ブロックレベルの検索とネットワークレベルの検索という2段階のネットワークアーキテクチャを自動構築する。 実験の結果,本手法は画像分類において,すべての手作りネットワークよりも優れていた。
  論文  参考訳（メタデータ） (2021-03-23T13:27:24Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。