論文の概要: Feather: An Elegant Solution to Effective DNN Sparsification
- arxiv url: http://arxiv.org/abs/2310.02448v1
- Date: Tue, 3 Oct 2023 21:37:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 17:21:09.438263
- Title: Feather: An Elegant Solution to Effective DNN Sparsification
- Title（参考訳）: Feather: 効果的なDNNスカラー化のためのエレガントなソリューション
- Authors: Athanasios Glentis Georgoulakis, George Retsinas, Petros Maragos
- Abstract要約: Featherは強力なStraight-Through Estimatorをコアとして活用した効率的なスパーストレーニングモジュールである。
ResNet-50アーキテクチャを使って最先端のTop-1検証精度を実現する。
- 参考スコア（独自算出の注目度）: 26.621226121259372
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Network pruning is an increasingly popular way for producing compact
and efficient models, suitable for resource-limited environments, while
preserving high performance. While the pruning can be performed using a
multi-cycle training and fine-tuning process, the recent trend is to encompass
the sparsification process during the standard course of training. To this end,
we introduce Feather, an efficient sparse training module utilizing the
powerful Straight-Through Estimator as its core, coupled with a new
thresholding operator and a gradient scaling technique, enabling robust,
out-of-the-box sparsification performance. Feather's effectiveness and
adaptability is demonstrated using various architectures on the CIFAR dataset,
while on ImageNet it achieves state-of-the-art Top-1 validation accuracy using
the ResNet-50 architecture, surpassing existing methods, including more complex
and computationally heavy ones, by a considerable margin. Code is publicly
available at https://github.com/athglentis/feather .
- Abstract（参考訳）: ニューラルネットワークのプルーニングは、リソース制限環境に適したコンパクトで効率的なモデルを生成する上で、ハイパフォーマンスを保ちながら、ますます普及している方法である。
マルチサイクルトレーニングと微調整のプロセスを用いて刈り取りを行うことができるが、最近の傾向はトレーニングの標準過程におけるスパーシフィケーションプロセスを含んでいる。
そこで本研究では,強力なストレートスルー推定器をコアとする効率的なスパーストレーニングモジュールであるfeatherと,新たなしきい値演算子と勾配スケーリング手法を組み合わせることで,堅牢でアウト・オブ・ボックスのスパース化性能を実現する。
フェザーの有効性と適応性は、CIFARデータセット上の様々なアーキテクチャを用いて実証され、ImageNetでは、ResNet-50アーキテクチャを使って最先端のTop-1検証の精度を達成し、より複雑で計算的に重いものを含む既存の手法をかなり上回っている。
コードはhttps://github.com/athglentis/featherで公開されている。
関連論文リスト
- Efficient Ternary Weight Embedding Model: Bridging Scalability and Performance [15.877771709013743]
本研究では,3次重み付き埋め込みモデルのためのファインタニングフレームワークを提案する。
プレトレーニング埋込みモデルに三元化を適用するため, 線形層の三元重みを確定するために, 自己学習型知識蒸留を導入する。
パブリックテキストとビジョンデータセットに関する広範な実験により、テナライズされたモデルは、有効性を犠牲にすることなく、低メモリ使用量を消費することを示した。
論文 参考訳（メタデータ） (2024-11-23T03:44:56Z) - Block Pruning for Enhanced Efficiency in Convolutional Neural Networks [7.110116320545541]
本稿では,エッジコンピューティング環境におけるディープニューラルネットワークにおけるブロックプルーニングを対象とする,ネットワークプルーニングに対する新しいアプローチを提案する。
提案手法は,プロキシメトリクスを利用する従来の手法とは異なっており,直接ブロック除去手法を用いて分類精度への影響を評価する。
論文 参考訳（メタデータ） (2023-12-28T08:54:48Z) - Not All Data Matters: An End-to-End Adaptive Dataset Pruning Framework
for Enhancing Model Performance and Efficiency [9.460023981858319]
本稿では,AdaPruner と呼ばれる適応型 DAtaset PRUNing フレームワークを提案する。
AdaPrunerは、冗長なサンプルを期待プルーニング比率に反復的にプルークする。
トレーニングデータの最大10～30%をプルーニングしても、モデルパフォーマンスを著しく向上させることができる。
論文 参考訳（メタデータ） (2023-12-09T16:01:21Z) - Fast as CHITA: Neural Network Pruning with Combinatorial Optimization [9.440450886684603]
本稿では,複数重みの重み付けと重み付けの併用効果を両立する最適化型プルーニングフレームワークを提案する。
我々のアプローチであるCHITAは、古典的なBrain Surgeonフレームワークを拡張し、スピード、メモリ、パフォーマンスを大幅に改善する。
論文 参考訳（メタデータ） (2023-02-28T15:03:18Z) - Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。
我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。
SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2022-10-23T18:37:22Z) - Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。
計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。
また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
論文 参考訳（メタデータ） (2022-03-23T06:24:31Z) - Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。
この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。
ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
論文 参考訳（メタデータ） (2021-10-01T10:03:57Z) - Top-KAST: Top-K Always Sparse Training [50.05611544535801]
トレーニングを通して一定間隔を保存するTop-KASTを提案する。
確立したImageNetベンチマークのトレーニングモデルでは,従来の作業と同等かそれ以上に動作可能であることを示す。
ImageNetの結果に加えて、言語モデリングの分野においても、我々のアプローチを実証しています。
論文 参考訳（メタデータ） (2021-06-07T11:13:05Z) - Network Pruning via Resource Reallocation [75.85066435085595]
rEsource rEalLocation (PEEL) を経由したネットワーク・プルーニングという,シンプルで効果的なチャネル・プルーニング手法を提案する。
PEELは、最初に事前に定義されたバックボーンを構築し、その上でリソースの移動を行い、少ない情報層からより重要な層へ1ラウンドでパラメータをシフトする。
実験結果から,PEELによって発見された構造は,各種プルーニング条件下での最先端のプルーニングアルゴリズムと競合する性能を示した。
論文 参考訳（メタデータ） (2021-03-02T16:28:10Z) - An Image Enhancing Pattern-based Sparsity for Real-time Inference on
Mobile Devices [58.62801151916888]
パターンと接続性を組み合わせた新しい空間空間,すなわちパターンベースの空間空間を導入し,高度に正確かつハードウェアに親しみやすいものにした。
新たなパターンベースの空間性に対する我々のアプローチは,モバイルプラットフォーム上での高効率DNN実行のためのコンパイラ最適化に自然に適合する。
論文 参考訳（メタデータ） (2020-01-20T16:17:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。