論文の概要: Compact Neural Networks via Stacking Designed Basic Units

• arxiv url: http://arxiv.org/abs/2205.01508v1
• Date: Tue, 3 May 2022 14:04:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-04 13:04:08.148073
• Title: Compact Neural Networks via Stacking Designed Basic Units
• Title（参考訳）: 設計基本単位の積み重ねによるコンパクトニューラルネットワーク
• Authors: Weichao Lan, Yiu-ming Cheung, Juyong Jiang
• Abstract要約: 本稿では、より少ない重みパラメータを持つコンパクトニューラルネットワークを直接構築する、TythNetと呼ばれる新しい手法を提案する。 我々は、さまざまなベンチマークデータセットの最先端プルーニング手法と比較するために、さまざまな人気バックボーンでTOTYNetを定式化する。 実験の結果、TeachNetは最大80%のFLOPと89.7%のパラメータを節約しながら、同等の分類精度を達成できることがわかった。
• 参考スコア（独自算出の注目度）: 38.10212043168065
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unstructured pruning has the limitation of dealing with the sparse and irregular weights. By contrast, structured pruning can help eliminate this drawback but it requires complex criterion to determine which components to be pruned. To this end, this paper presents a new method termed TissueNet, which directly constructs compact neural networks with fewer weight parameters by independently stacking designed basic units, without requiring additional judgement criteria anymore. Given the basic units of various architectures, they are combined and stacked in a certain form to build up compact neural networks. We formulate TissueNet in diverse popular backbones for comparison with the state-of-the-art pruning methods on different benchmark datasets. Moreover, two new metrics are proposed to evaluate compression performance. Experiment results show that TissueNet can achieve comparable classification accuracy while saving up to around 80% FLOPs and 89.7% parameters. That is, stacking basic units provides a new promising way for network compression.
• Abstract（参考訳）: 非構造化プルーニングはスパースウェイトと不規則ウェイトを扱う限界がある。 対照的に、構造化プルーニングは、この欠点を取り除くのに役立つが、どのコンポーネントをプルーニングするかを決定する複雑な基準を必要とする。 そこで本研究では,設計の基本単位を独立に積み重ねることで,重みパラメータの少ないコンパクトニューラルネットワークを直接構築する新しい手法である tissuenet を提案する。 様々なアーキテクチャの基本単位を考えると、それらは結合され、ある種の形で積み上げられ、コンパクトなニューラルネットワークを構築する。 我々は、さまざまなベンチマークデータセットの最先端プルーニング手法と比較するために、さまざまな人気バックボーンでTOTYNetを定式化する。 さらに,圧縮性能を評価するために2つの新しい指標を提案する。 実験の結果、t tissuenetは80%のフロップと89.7%のパラメータを節約しながら、同等の分類精度を達成できることがわかった。 つまり、基本ユニットの積み重ねは、ネットワーク圧縮に新しい有望な方法を提供する。

関連論文リスト

• Isomorphic Pruning for Vision Models [56.286064975443026]
  構造化プルーニングは、冗長なサブ構造を取り除くことによって、ディープニューラルネットワークの計算オーバーヘッドを低減する。 Isomorphic Pruningは、ネットワークアーキテクチャの範囲で有効性を示すシンプルなアプローチである。
  論文  参考訳（メタデータ） (2024-07-05T16:14:53Z)
• ThinResNet: A New Baseline for Structured Convolutional Networks Pruning [1.90298817989995]
  プルーニング(Pruning)は、ニューラルネットワークのパラメータ数を減らして効率を向上させる圧縮手法である。 本研究では,最先端のトレーニング手法と自明なモデルスケーリングを併用したネットワークに対して,最近のプルーニングの成果が如何に保たれているかを検証する。
  論文  参考訳（メタデータ） (2023-09-22T13:28:18Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Neural Network Compression by Joint Sparsity Promotion and Redundancy Reduction [4.9613162734482215]
  本稿では,冗長なフィルタを創出し,空間性向上によるネットワーク学習に対する効果を最小化する,複合制約に基づく新しい学習手法を提案する。 いくつかのピクセルワイドセグメンテーションベンチマークによるテストでは、テストフェーズにおけるネットワークのニューロン数とメモリフットプリントが、性能に影響を与えずに大幅に減少することが示された。
  論文  参考訳（メタデータ） (2022-10-14T01:34:49Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Paying more attention to snapshots of Iterative Pruning: Improving Model Compression via Ensemble Distillation [4.254099382808598]
  既存の手法はしばしば、性能に大きな損失を与えることなく、高い圧縮率を達成するために反復的にプルーンネットワークを使用する。 本研究は,ネットワーク構造に異なる競合性能を実現するため,反復的プルーニングのスナップショットから強力なアンサンブルを構築することができることを示す。 CIFARやTiny-Imagenetなどの標準画像分類ベンチマークでは、簡単なl1-normフィルタをパイプラインに組み込むことで、構造化プルーニングの最先端プルーニング比を推し進める。
  論文  参考訳（メタデータ） (2020-06-20T03:59:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。