論文の概要: ThinResNet: A New Baseline for Structured Convolutional Networks Pruning
- arxiv url: http://arxiv.org/abs/2309.12854v1
- Date: Fri, 22 Sep 2023 13:28:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-25 14:30:14.049133
- Title: ThinResNet: A New Baseline for Structured Convolutional Networks Pruning
- Title（参考訳）: thinresnet:構造化畳み込みネットワークのプルーニングのための新しいベースライン
- Authors: Hugo Tessier, Ghouti Boukli Hacene, Vincent Gripon
- Abstract要約: プルーニング(Pruning)は、ニューラルネットワークのパラメータ数を減らして効率を向上させる圧縮手法である。
本研究では,最先端のトレーニング手法と自明なモデルスケーリングを併用したネットワークに対して,最近のプルーニングの成果が如何に保たれているかを検証する。
- 参考スコア（独自算出の注目度）: 1.90298817989995
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pruning is a compression method which aims to improve the efficiency of
neural networks by reducing their number of parameters while maintaining a good
performance, thus enhancing the performance-to-cost ratio in nontrivial ways.
Of particular interest are structured pruning techniques, in which whole
portions of parameters are removed altogether, resulting in easier to leverage
shrunk architectures. Since its growth in popularity in the recent years,
pruning gave birth to countless papers and contributions, resulting first in
critical inconsistencies in the way results are compared, and then to a
collective effort to establish standardized benchmarks. However, said
benchmarks are based on training practices that date from several years ago and
do not align with current practices. In this work, we verify how results in the
recent literature of pruning hold up against networks that underwent both
state-of-the-art training methods and trivial model scaling. We find that the
latter clearly and utterly outperform all the literature we compared to,
proving that updating standard pruning benchmarks and re-evaluating classical
methods in their light is an absolute necessity. We thus introduce a new
challenging baseline to compare structured pruning to: ThinResNet.
- Abstract（参考訳）: プルーニング(pruning)は、高い性能を維持しつつパラメータの数を減らすことで、ニューラルネットワークの効率を向上させることを目的とした圧縮手法である。
特に興味深いのは構造的な刈り取り技術であり、パラメータの全体を削除することで、シュリンクアーキテクチャの活用が容易になる。
近年の人気が高まって以来、プルーニングは数え切れないほどの論文やコントリビューションを生み出し、結果の比較方法においてまず重要な矛盾を生じさせ、続いて標準化されたベンチマークを確立するための集団的な努力に繋がった。
しかし、これらのベンチマークは数年前からのトレーニングプラクティスに基づいており、現在のプラクティスと一致していない。
本研究は,最先端のトレーニング手法と自明なモデルスケーリングを併用したネットワークに対して,最近のプルーニングの成果を実証するものである。
後者は、標準的なプルーニングベンチマークを更新し、古典的なメソッドを光で再評価することが絶対的に必要であることを示す。
そこで我々は,構造化プルーニングをthinresnetと比較する新しい課題ベースラインを提案する。
関連論文リスト
- How to Prune Your Language Model: Recovering Accuracy on the "Sparsity
May Cry'' Benchmark [60.72725673114168]
下流データセットの微調整中における正確なBERTプルーニングの問題を再考する。
そこで我々は,SMCベンチマークの挑戦においても,プルーニングを成功させるための一般的なガイドラインを提案する。
論文 参考訳（メタデータ） (2023-12-21T03:11:30Z) - Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。
本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
論文 参考訳（メタデータ） (2023-08-03T21:49:14Z) - Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。
我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。
SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2022-10-23T18:37:22Z) - Compact Neural Networks via Stacking Designed Basic Units [38.10212043168065]
本稿では、より少ない重みパラメータを持つコンパクトニューラルネットワークを直接構築する、TythNetと呼ばれる新しい手法を提案する。
我々は、さまざまなベンチマークデータセットの最先端プルーニング手法と比較するために、さまざまな人気バックボーンでTOTYNetを定式化する。
実験の結果、TeachNetは最大80%のFLOPと89.7%のパラメータを節約しながら、同等の分類精度を達成できることがわかった。
論文 参考訳（メタデータ） (2022-05-03T14:04:49Z) - Back to Basics: Efficient Network Compression via IMP [22.586474627159287]
イテレーティブ・マグニチュード・プルーニング(IMP)は、ネットワーク・プルーニングにおける最も確立されたアプローチの1つである。
IMPは、トレーニングフェーズにスパーシフィケーションを組み込まないことで、最適以下の状態に達するとしばしば主張される。
再学習のためのSLRを用いたIMPは、最先端のプルーニング訓練手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2021-11-01T11:23:44Z) - Rethinking Network Pruning -- under the Pre-train and Fine-tune Paradigm [5.621336109915588]
スパースプルーニングがBERTモデルを大幅に圧縮することを示すのは,チャネル数や層数を減らすことよりも初めてである。
提案手法は,20倍の重み/FLOPを圧縮し,予測精度を損なうことなく,上位の競合よりも優れる。
論文 参考訳（メタデータ） (2021-04-18T02:20:37Z) - Emerging Paradigms of Neural Network Pruning [82.9322109208353]
この問題に対する後処理ソリューションとしてPruningが採用され、パフォーマンスを損なわないニューラルネットワークの不要なパラメータの除去を目指している。
最近の研究では、パフォーマンスと密接なそれとを一致させるように訓練できるランダムなスパースネットワークを発見することによって、この信念に挑戦している。
この調査は、従来のアルゴリズムとうまく適合できるように、一般的な刈り取りフレームワークを提案し、ギャップを埋めることを目指しています。
論文 参考訳（メタデータ） (2021-03-11T05:01:52Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z) - Lost in Pruning: The Effects of Pruning Neural Networks beyond Test
Accuracy [42.15969584135412]
ニューラルネットワークプルーニングは、現代のネットワークの推論コストを削減するために使用される一般的な技術です。
試験精度のみを終了条件で使用するだけで、結果のモデルが正常に機能するかどうかを評価します。
刈り取られたネットワークは、効果的に未刈り込みモデルに近似するが、刈り取られたネットワークがコンメンシュレートのパフォーマンスを達成できるプルー比はタスクによって大きく異なる。
論文 参考訳（メタデータ） (2021-03-04T13:22:16Z) - Neural Pruning via Growing Regularization [82.9322109208353]
プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。
具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。
提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
論文 参考訳（メタデータ） (2020-12-16T20:16:28Z) - Paying more attention to snapshots of Iterative Pruning: Improving Model
Compression via Ensemble Distillation [4.254099382808598]
既存の手法はしばしば、性能に大きな損失を与えることなく、高い圧縮率を達成するために反復的にプルーンネットワークを使用する。
本研究は,ネットワーク構造に異なる競合性能を実現するため,反復的プルーニングのスナップショットから強力なアンサンブルを構築することができることを示す。
CIFARやTiny-Imagenetなどの標準画像分類ベンチマークでは、簡単なl1-normフィルタをパイプラインに組み込むことで、構造化プルーニングの最先端プルーニング比を推し進める。
論文 参考訳（メタデータ） (2020-06-20T03:59:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。