論文の概要: Effective Model Sparsification by Scheduled Grow-and-Prune Methods

• arxiv url: http://arxiv.org/abs/2106.09857v1
• Date: Fri, 18 Jun 2021 01:03:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-22 01:52:05.019711
• Title: Effective Model Sparsification by Scheduled Grow-and-Prune Methods
• Title（参考訳）: 計画的成長・生存法による有効モデルスパーシフィケーション
• Authors: Xiaolong Ma, Minghai Qin, Fei Sun, Zejiang Hou, Kun Yuan, Yi Xu, Yanzhi Wang, Yen-Kuang Chen, Rong Jin, Yuan Xie
• Abstract要約: 本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
• 参考スコア（独自算出の注目度）: 73.03533268740605
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks (DNNs) are effective in solving many real-world problems. Larger DNN models usually exhibit better quality (e.g., accuracy) but their excessive computation results in long training and inference time. Model sparsification can reduce the computation and memory cost while maintaining model quality. Most existing sparsification algorithms unidirectionally remove weights, while others randomly or greedily explore a small subset of weights in each layer. The inefficiency of the algorithms reduces the achievable sparsity level. In addition, many algorithms still require pre-trained dense models and thus suffer from large memory footprint and long training time. In this paper, we propose a novel scheduled grow-and-prune (GaP) methodology without pre-training the dense models. It addresses the shortcomings of the previous works by repeatedly growing a subset of layers to dense and then pruning back to sparse after some training. Experiments have shown that such models can match or beat the quality of highly optimized dense models at 80% sparsity on a variety of tasks, such as image classification, objective detection, 3D object part segmentation, and translation. They also outperform other state-of-the-art (SOTA) pruning methods, including pruning from pre-trained dense models. As an example, a 90% sparse ResNet-50 obtained via GaP achieves 77.9% top-1 accuracy on ImageNet, improving the SOTA results by 1.5%.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は多くの現実世界の問題を解決するのに効果的である。 より大きなDNNモデルは通常、より良い品質(例えば精度)を示すが、その過剰な計算は長いトレーニングと推論時間をもたらす。 モデルスペーシフィケーションは、モデル品質を維持しながら計算とメモリコストを削減できる。 既存のスパシフィケーションアルゴリズムのほとんどは一方向から重みを除去するが、他のアルゴリズムは各層の小さな重みのサブセットをランダムにまたは欲求的に探索する。 アルゴリズムの非効率さは、達成可能なスパーシリティレベルを低下させる。 加えて、多くのアルゴリズムは未学習の高密度モデルを必要とするため、大きなメモリフットプリントと長いトレーニング時間に悩まされる。 本稿では,高密度モデルの事前学習を行なわずに,新たなGrow-and-prune(GaP)手法を提案する。 前の作業の欠点に対処するため、レイヤのサブセットを高密度に繰り返し拡大し、トレーニングの後にスパースに戻る。 実験により、画像分類、客観的検出、3Dオブジェクト部分分割、翻訳など、様々なタスクにおいて、高度に最適化された高密度モデルの品質と80%の間隔で一致または打ち勝つことができることが示された。 彼らはまた、事前訓練された高密度モデルからのプルーニングなど、他の最先端(SOTA)プルーニング手法よりも優れている。 例えば、GaP経由で取得した90%のスパースResNet-50はImageNet上で77.9%の精度を実現し、SOTAの結果を1.5%改善した。

関連論文リスト

• MARS: Unleashing the Power of Variance Reduction for Training Large Models [56.47014540413659]
  Adam、Adam、およびそれらの変種のような大規模な勾配アルゴリズムは、この種のトレーニングの開発の中心となっている。 本稿では,事前条件付き勾配最適化手法と,スケールドモーメント手法による分散低減を両立させる枠組みを提案する。
  論文  参考訳（メタデータ） (2024-11-15T18:57:39Z)
• Calibrating the Rigged Lottery: Making All Tickets Reliable [14.353428281239665]
  信頼性校正を改善したスパースモデルを生成するための新しいスパーストレーニング手法を提案する。 本手法は,計算量や記憶負荷をわずかに増加させるだけで,同時に精度を向上する。
  論文  参考訳（メタデータ） (2023-02-18T15:53:55Z)
• Dynamic Sparse Training via Balancing the Exploration-Exploitation Trade-off [19.230329532065635]
  スパーストレーニングは、モデルサイズを減らすことで、トレーニングコストを大幅に削減する可能性がある。 既存のスパーストレーニング方法は、主にランダムベースまたはグリーディベースのドロップ・アンド・グロー戦略を使用する。 本研究では,動的スパース学習をスパース接続探索問題として考察する。 実験の結果,提案手法により得られたスパースモデル(最大98%のスパース)は,SOTAスパース訓練法より優れていた。
  論文  参考訳（メタデータ） (2022-11-30T01:22:25Z)
• Towards Sparsification of Graph Neural Networks [9.568566305616656]
  我々は2つの最先端モデル圧縮手法を用いて、GNNにおける重み付け層の分散化を訓練・訓練し、スパーストレーニングを行う。 実世界のグラフ上で,両手法の精度,訓練空間性,および FLOP の学習効率を評価し,比較する。
  論文  参考訳（メタデータ） (2022-09-11T01:39:29Z)
• Two Heads are Better than One: Robust Learning Meets Multi-branch Models [14.72099568017039]
  本稿では,従来の対人訓練用データセットのみを用いて,最先端のパフォーマンスを得るために,分岐直交補助訓練(BORT)を提案する。 我々は, CIFAR-10, CIFAR-100, SVHN に対する Epsilon = 8/255 の ell_infty ノルム束縛摂動に対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-08-17T05:42:59Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• AC/DC: Alternating Compressed/DeCompressed Training of Deep Neural Networks [78.62086125399831]
  本稿では、ディープニューラルネットワーク(DNN)のAC/DCトレーニング(Alternating Compressed/DeCompressed)と呼ばれる一般的なアプローチを提案する。 AC/DCは、類似の計算予算で既存のスパーストレーニング方法よりも精度が高い。 AC/DCの重要な特性は、密度とスパースモデルのコトレーニングが可能であり、トレーニングプロセスの終了時に正確なスパース・ダンスモデルペアが得られることである。
  論文  参考訳（メタデータ） (2021-06-23T13:23:00Z)
• Dynamic Model Pruning with Feedback [64.019079257231]
  余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。 CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-12T15:07:08Z)
• Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification [53.50708351813565]
  各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。 SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
  論文  参考訳（メタデータ） (2020-04-20T02:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。