Fugu-MT 論文翻訳(概要): UniPTS: A Unified Framework for Proficient Post-Training Sparsity

論文の概要: UniPTS: A Unified Framework for Proficient Post-Training Sparsity

arxiv url: http://arxiv.org/abs/2405.18810v1
Date: Wed, 29 May 2024 06:53:18 GMT
ステータス: 処理完了
システム内更新日: 2024-05-30 18:28:55.412153
Title: UniPTS: A Unified Framework for Proficient Post-Training Sparsity
Title（参考訳）: UniPTS: 熟練したポストトレーニングスパシティのための統一フレームワーク
Authors: Jingjing Xie, Yuxin Zhang, Mingbao Lin, Zhihang Lin, Liujuan Cao, Rongrong Ji,
Abstract要約: Post-Traiing Sparsity (PTS)は、必要な限られたデータで効率的なネットワークスパシティを追求する、新たに登場した道である。本稿では,従来のスパシティの性能をPSSの文脈に大きく変化させる3つの基本因子を変換することで,この相違を解消しようとする。我々のフレームワークはUniPTSと呼ばれ、広範囲のベンチマークで既存のPTSメソッドよりも優れていることが検証されている。
参考スコア（独自算出の注目度）: 67.16547529992928
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: Post-training Sparsity (PTS) is a recently emerged avenue that chases efficient network sparsity with limited data in need. Existing PTS methods, however, undergo significant performance degradation compared with traditional methods that retrain the sparse networks via the whole dataset, especially at high sparsity ratios. In this paper, we attempt to reconcile this disparity by transposing three cardinal factors that profoundly alter the performance of conventional sparsity into the context of PTS. Our endeavors particularly comprise (1) A base-decayed sparsity objective that promotes efficient knowledge transferring from dense network to the sparse counterpart. (2) A reducing-regrowing search algorithm designed to ascertain the optimal sparsity distribution while circumventing overfitting to the small calibration set in PTS. (3) The employment of dynamic sparse training predicated on the preceding aspects, aimed at comprehensively optimizing the sparsity structure while ensuring training stability. Our proposed framework, termed UniPTS, is validated to be much superior to existing PTS methods across extensive benchmarks. As an illustration, it amplifies the performance of POT, a recently proposed recipe, from 3.9% to 68.6% when pruning ResNet-50 at 90% sparsity ratio on ImageNet. We release the code of our paper at https://github.com/xjjxmu/UniPTS.
Abstract（参考訳）: Post-training Sparsity (PTS)は、必要な限られたデータで効率的なネットワークスパシティを追求する、最近登場した道である。しかし、既存のPSS手法は、データセット全体を通してスパースネットワークをリトレーニングする従来の手法と比較して、特に高空間比で性能が著しく低下している。本稿では,従来のスパシティの性能をPSSの文脈に大きく変化させる3つの基本因子を変換することで,この相違を解消しようとする。特に本研究は,(1)高密度ネットワークからスパースネットワークへの効率的な知識伝達を促進するベースデケイド・スパシティーの目的から成っている。 2) PTS の小型キャリブレーションに過度な適合を回避しつつ,最適空間分布を推定する探索アルゴリズムについて検討した。 (3) トレーニング安定性を確保しつつ, 空間構造を包括的に最適化することを目的とした, 事前の側面を前提としたダイナミックスパーストレーニングの実施。提案するフレームワークはUniPTSと呼ばれ,既存のPTS手法よりも広範なベンチマークで優れていることが検証されている。図示として、最近提案されたレシピであるPOTのパフォーマンスを3.9%から68.6%に向上させ、ImageNet上でResNet-50を90%の間隔でプルーニングする。論文のコードはhttps://github.com/xjjxmu/UniPTS.comで公開しています。

関連論文リスト

Pushing the Limits of Sparsity: A Bag of Tricks for Extreme Pruning [4.421875265386832]
ディープニューラルネットワークのプルーニングは、高密度ネットワークの性能の大部分を保ちながら、モデルサイズの削減に有効な手法である。最近のスパース学習法では、95%や98%といった中等度の疎度レベルまで有望な性能を示している。極端に間隔があっても精度が崩れることなくネットワークの連続的な学習を可能にする手法の集合を提案する。
論文参考訳（メタデータ） (2024-11-20T18:54:53Z)
Fast and Controllable Post-training Sparsity: Learning Optimal Sparsity Allocation with Global Constraint in Minutes [33.68058313321142]
本稿では,ニューラルネットワークの疎度を制御可能な後訓練時疎度(FCPTS)フレームワークを提案する。提案手法は,グローバルなスパシティ率への収束の保証を付加して,短時間で迅速かつ正確なスパシティ割当学習を可能にする。
論文参考訳（メタデータ） (2024-05-09T14:47:15Z)
Enhanced Sparsification via Stimulative Training [36.0559905521154]
既存の方法では、減量重みの重要性を抑制するために、時差による罰則を設定するのが一般的である。本稿では,拡張スパシフィケーションパラダイムに基づく,表現性という構造的プルーニングフレームワークを提案する。蒸留の容量ギャップを小さくするため, 変異膨張法を提案する。
論文参考訳（メタデータ） (2024-03-11T04:05:17Z)
EcoTTA: Memory-Efficient Continual Test-time Adaptation via Self-distilled Regularization [71.70414291057332]
TTAは主にメモリ制限のあるエッジデバイス上で実行される。長期的な適応は、しばしば破滅的な忘れとエラーの蓄積につながる。本稿では,凍結したオリジナルネットワークを対象ドメインに適応させる軽量なメタネットワークを提案する。
論文参考訳（メタデータ） (2023-03-03T13:05:30Z)
Trainability Preserving Neural Structured Pruning [64.65659982877891]
本稿では,正規化型構造化プルーニング法であるTPP(Traiability Preserving pruning)を提案する。 TPPは線形ネットワーク上での地中動力学的等尺性回復法と競合する。多くのトップパフォーマンスのフィルタプルーニング手法と比較して、優れたパフォーマンスを提供する。
論文参考訳（メタデータ） (2022-07-25T21:15:47Z)
Federated Progressive Sparsification (Purge, Merge, Tune)+ [15.08232397899507]
FedSparsifyは、プログレッシブ・ウェイト・マグニチュード・プルーニングに基づくスパーシフィケーション戦略である。我々は,FedSparsifyが高空間性と学習性能の両方のサブネットワークを学習できることを実験的に示す。
論文参考訳（メタデータ） (2022-04-26T16:45:53Z)
Sparsity Winning Twice: Better Robust Generalization from More Efficient Training [94.92954973680914]
スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
論文参考訳（メタデータ） (2022-02-20T15:52:08Z)
The Unreasonable Effectiveness of Random Pruning: Return of the Most Naive Baseline for Sparse Training [111.15069968583042]
ランダムプルーニングは、ニューラルネットワークのスパーシティを実現する最も単純な方法であることは間違いないが、トレーニング後のプルーニングやスパーストレーニングでは非競争的であると見なされている。我々は、スクラッチからランダムに切断されたネットワークをスクラッチからスクラッチ的に訓練することで、その密度の高い等価性の性能に一致することを実証的に実証した。以上の結果から,大規模なスパーストレーニングを行う余地はより大きいことが示唆され,スポーシティのメリットは慎重に設計されたプルーニングを超えて普遍的である可能性が示唆された。
論文参考訳（メタデータ） (2022-02-05T21:19:41Z)
Connectivity Matters: Neural Network Pruning Through the Lens of Effective Sparsity [0.0]
ニューラル・ネットワーク・プルーニング(Neural Network pruning)は、高空間性体制への関心が高まり、実りある研究分野である。ランダムに刈り取られたLeNet-300-100の効率的な圧縮は、直接の圧縮よりも桁違いに大きいことを示す。我々は, 直接的, 疎性ではなく, 効果的に目的を達成するために, プルーニングアルゴリズムを低コストで拡張する手法を開発した。
論文参考訳（メタデータ） (2021-07-05T22:36:57Z)
ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions [76.05981545084738]
本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
論文参考訳（メタデータ） (2020-03-07T02:12:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。