論文の概要: Weight Reparametrization for Budget-Aware Network Pruning

• arxiv url: http://arxiv.org/abs/2107.03909v1
• Date: Thu, 8 Jul 2021 15:40:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-09 13:33:17.056126
• Title: Weight Reparametrization for Budget-Aware Network Pruning
• Title（参考訳）: 予算対応型ネットワークの軽量再パラメータ化
• Authors: Robin Dupont, Hichem Sahbi, Guillaume Michel
• Abstract要約: 我々は、微調整なしでトレーニングとプルーニングを同時に行う「エンドツーエンド」軽量ネットワーク設計を導入する。 本手法は,重みだけでなく,軽量サブネットワークのトポロジ的構造も学習する再パラメータ化に依存する。 CIFAR10とTinyImageNetデータセットで実施された実験は、標準アーキテクチャを使用して、微調整なしで魅力的な結果を示している。
• 参考スコア（独自算出の注目度）: 12.633386045916444
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pruning seeks to design lightweight architectures by removing redundant weights in overparameterized networks. Most of the existing techniques first remove structured sub-networks (filters, channels,...) and then fine-tune the resulting networks to maintain a high accuracy. However, removing a whole structure is a strong topological prior and recovering the accuracy, with fine-tuning, is highly cumbersome. In this paper, we introduce an "end-to-end" lightweight network design that achieves training and pruning simultaneously without fine-tuning. The design principle of our method relies on reparametrization that learns not only the weights but also the topological structure of the lightweight sub-network. This reparametrization acts as a prior (or regularizer) that defines pruning masks implicitly from the weights of the underlying network, without increasing the number of training parameters. Sparsity is induced with a budget loss that provides an accurate pruning. Extensive experiments conducted on the CIFAR10 and the TinyImageNet datasets, using standard architectures (namely Conv4, VGG19 and ResNet18), show compelling results without fine-tuning.
• Abstract（参考訳）: Pruningは、過パラメータネットワークの冗長な重みを取り除くことで軽量アーキテクチャを設計しようとしている。 既存の技術のほとんどは、まず構造化サブネットワーク(フィルタ、チャネル、...)を除去し、その結果のネットワークを微調整して高い精度を維持する。 しかし, 構造全体の除去は強靭なトポロジカルな前兆であり, 微調整による精度の回復は非常に困難である。 本稿では、微調整をせずにトレーニングと刈り取りを同時に行う「エンドツーエンド」軽量ネットワーク設計を提案する。 本手法の設計原理は,重みだけでなく,軽量サブネットワークのトポロジ的構造も学習する再パラメータ化に依存する。 この再パラメータ化は、トレーニングパラメータの数を増やすことなく、ネットワークの重みから暗黙的にプルーニングマスクを定義する事前(または正規化器)として機能する。 スパーシティは正確な刈り取りを提供する予算損失によって引き起こされる。 標準アーキテクチャ(conv4、vgg19、resnet18)を使用したcifar10とtinyimagenetデータセットに関する広範な実験は、微調整なしで魅力的な結果を示している。

関連論文リスト

• Network Pruning Spaces [12.692532576302426]
  ウェイトプルーニングやフィルタプルーニングなどのネットワークプルーニング技術により、ほとんどの最先端のニューラルネットワークは、大幅な性能低下なしに加速できることが明らかになった。 この研究は、市販のディープラーニングライブラリやハードウェアで推論を高速化するフィルタプルーニングに焦点を当てている。
  論文  参考訳（メタデータ） (2023-04-19T06:52:05Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Learning Pruned Structure and Weights Simultaneously from Scratch: an Attention based Approach [4.284071491453377]
  我々は、新しい非構造化プルーニングパイプライン、注意に基づく同時スパース構造と重み学習(ASWL)を提案する。 ASWLは, 各層毎の層単位でのプルーニング比を計算する効率的なアルゴリズムを提案し, 密集ネットワークとスパースネットワークの重みをランダムな重みから同時に学習するように追従する。 MNIST, Cifar10, ImageNet を用いた実験により, ASWL は精度, プルーニング率, 運転効率の点で, 優れたプルーニング結果が得られることが示された。
  論文  参考訳（メタデータ） (2021-11-01T02:27:44Z)
• Convolutional Neural Network Pruning with Structural Redundancy Reduction [11.381864384054824]
  構造的冗長性は重要でないフィルタを見つけるよりも重要な役割を担っていると我々は主張する。 本研究では,CNNの構造冗長性を同定し,選択層内のプルーンフィルタを最も冗長性の高いネットワークプルーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-04-08T00:16:24Z)
• Generic Perceptual Loss for Modeling Structured Output Dependencies [78.59700528239141]
  トレーニングされた重みではなく、ネットワーク構造が重要であることを示す。 我々は、出力の構造化依存関係をモデル化するためにランダムに重み付けされたディープcnnが使用できることを実証する。
  論文  参考訳（メタデータ） (2021-03-18T23:56:07Z)
• Structured Convolutions for Efficient Neural Network Design [65.36569572213027]
  畳み込みニューラルネットワーク構築ブロックのテクスト単純構造における冗長性を利用してモデル効率に取り組む。 この分解が2Dカーネルや3Dカーネルだけでなく、完全に接続されたレイヤにも適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-08-06T04:38:38Z)
• Discretization-Aware Architecture Search [81.35557425784026]
  本稿では,離散化対応アーキテクチャサーチ(DAtextsuperscript2S)を提案する。 中心となる考え方は、超ネットワークを所望のトポロジの構成に向けることであり、離散化による精度損失がほとんど軽減される。 標準画像分類ベンチマークの実験は、我々のアプローチの優位性を実証している。
  論文  参考訳（メタデータ） (2020-07-07T01:18:58Z)
• Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning [83.59005356327103]
  既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。 本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。 ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-22T10:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。