論文の概要: Growing Efficient Deep Networks by Structured Continuous Sparsification

• arxiv url: http://arxiv.org/abs/2007.15353v2
• Date: Tue, 6 Jun 2023 03:20:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-08 00:20:38.549561
• Title: Growing Efficient Deep Networks by Structured Continuous Sparsification
• Title（参考訳）: 構造化連続スパルシフィケーションによる高効率深層ネットワークの構築
• Authors: Xin Yuan, Pedro Savarese, Michael Maire
• Abstract要約: 私たちは、トレーニングの過程でディープネットワークアーキテクチャを成長させるアプローチを開発します。 我々の手法は、小さくてシンプルなシードアーキテクチャから始まり、動的に成長し、層とフィルタの両方を熟成することができる。 ImageNetのベースラインであるResNet-50と比較すると、推論FLOPは49.7%、トレーニングFLOPは47.4%である。
• 参考スコア（独自算出の注目度）: 34.7523496790944
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop an approach to growing deep network architectures over the course of training, driven by a principled combination of accuracy and sparsity objectives. Unlike existing pruning or architecture search techniques that operate on full-sized models or supernet architectures, our method can start from a small, simple seed architecture and dynamically grow and prune both layers and filters. By combining a continuous relaxation of discrete network structure optimization with a scheme for sampling sparse subnetworks, we produce compact, pruned networks, while also drastically reducing the computational expense of training. For example, we achieve $49.7\%$ inference FLOPs and $47.4\%$ training FLOPs savings compared to a baseline ResNet-50 on ImageNet, while maintaining $75.2\%$ top-1 accuracy -- all without any dedicated fine-tuning stage. Experiments across CIFAR, ImageNet, PASCAL VOC, and Penn Treebank, with convolutional networks for image classification and semantic segmentation, and recurrent networks for language modeling, demonstrate that we both train faster and produce more efficient networks than competing architecture pruning or search methods.
• Abstract（参考訳）: 我々は、トレーニングの過程で深層ネットワークアーキテクチャを成長させるアプローチを開発し、精度と疎性目的の原則的な組み合わせによって駆動する。 フルサイズのモデルやスーパーネットアーキテクチャで動作する既存のプルーニングやアーキテクチャ検索技術とは異なり、我々の手法は小さくシンプルなシードアーキテクチャから始まり、動的に成長し、層とフィルタの両方を熟成することができる。 離散的ネットワーク構造最適化の連続緩和とスパースサブネットワークサンプリングのスキームを組み合わせることで、コンパクトな刈り込みネットワークを構築し、同時に、トレーニングの計算コストを大幅に削減する。 例えば、イメージネットのベースラインであるresnet-50と比較して、49.7\%$の推論フロップと47.4\%のトレーニングフラップの節約を達成し、75.2\%$ top-1の精度を維持しています。 CIFAR, ImageNet, PASCAL VOC, Penn Treebank, 画像分類とセマンティックセグメンテーションのための畳み込みネットワーク, および言語モデリングのための繰り返しネットワークを用いた実験により, 競合するアーキテクチャ・プルーニングや検索手法よりも高速かつ効率的なネットワークを創出できることが実証された。

関連論文リスト

• Network Pruning Spaces [12.692532576302426]
  ウェイトプルーニングやフィルタプルーニングなどのネットワークプルーニング技術により、ほとんどの最先端のニューラルネットワークは、大幅な性能低下なしに加速できることが明らかになった。 この研究は、市販のディープラーニングライブラリやハードウェアで推論を高速化するフィルタプルーニングに焦点を当てている。
  論文  参考訳（メタデータ） (2023-04-19T06:52:05Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• FlowNAS: Neural Architecture Search for Optical Flow Estimation [65.44079917247369]
  本研究では,フロー推定タスクにおいて,より優れたエンコーダアーキテクチャを自動で見つけるために,FlowNASというニューラルアーキテクチャ探索手法を提案する。 実験の結果、スーパーネットワークから受け継いだ重み付きアーキテクチャは、KITTI上で4.67%のF1-allエラーを達成していることがわかった。
  論文  参考訳（メタデータ） (2022-07-04T09:05:25Z)
• Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization [50.50023451369742]
  プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。 提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
  論文  参考訳（メタデータ） (2022-06-02T17:58:54Z)
• Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks [50.684661759340145]
  firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。 ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。 特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
  論文  参考訳（メタデータ） (2021-02-17T04:47:18Z)
• Structured Convolutions for Efficient Neural Network Design [65.36569572213027]
  畳み込みニューラルネットワーク構築ブロックのテクスト単純構造における冗長性を利用してモデル効率に取り組む。 この分解が2Dカーネルや3Dカーネルだけでなく、完全に接続されたレイヤにも適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-08-06T04:38:38Z)
• Paying more attention to snapshots of Iterative Pruning: Improving Model Compression via Ensemble Distillation [4.254099382808598]
  既存の手法はしばしば、性能に大きな損失を与えることなく、高い圧縮率を達成するために反復的にプルーンネットワークを使用する。 本研究は,ネットワーク構造に異なる競合性能を実現するため,反復的プルーニングのスナップショットから強力なアンサンブルを構築することができることを示す。 CIFARやTiny-Imagenetなどの標準画像分類ベンチマークでは、簡単なl1-normフィルタをパイプラインに組み込むことで、構造化プルーニングの最先端プルーニング比を推し進める。
  論文  参考訳（メタデータ） (2020-06-20T03:59:46Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• Knapsack Pruning with Inner Distillation [11.04321604965426]
  そこで本研究では,プルーンドネットワークの最終精度を最適化する新しいプルーニング手法を提案する。 ネットワークの高レベル構造を維持しながら、ネットワークチャネルを熟考する。 提案手法は,ResNetバックボーンを用いたImageNet,CIFAR-10,CIFAR-100における最先端のプルーニング結果をもたらす。
  論文  参考訳（メタデータ） (2020-02-19T16:04:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。