論文の概要: Learning a Consensus Sub-Network with Polarization Regularization and
One Pass Training
- arxiv url: http://arxiv.org/abs/2302.10798v3
- Date: Fri, 8 Sep 2023 12:36:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-11 18:25:42.935713
- Title: Learning a Consensus Sub-Network with Polarization Regularization and
One Pass Training
- Title（参考訳）: 分極正規化とワンパス学習による合意サブネットワークの学習
- Authors: Xiaoying Zhi, Varun Babbar, Pheobe Sun, Fran Silavong, Ruibo Shi, Sean
Moran
- Abstract要約: プルーニングスキームは、静的プルーニングのための反復的なトレーニングと微調整、動的プルーニンググラフの繰り返し計算によって、余分なオーバーヘッドを生み出す。
本稿では,より軽量なサブネットワークを学習するためのパラメータ解析手法を提案する。
CIFAR-10 と CIFAR-100 を用いた結果,分類精度が1% 未満の深層ネットワークにおける接続の50%を除去できることが示唆された。
- 参考スコア（独自算出の注目度）: 3.2214522506924093
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The subject of green AI has been gaining attention within the deep learning
community given the recent trend of ever larger and more complex neural network
models. Existing solutions for reducing the computational load of training at
inference time usually involve pruning the network parameters. Pruning schemes
often create extra overhead either by iterative training and fine-tuning for
static pruning or repeated computation of a dynamic pruning graph. We propose a
new parameter pruning strategy for learning a lighter-weight sub-network that
minimizes the energy cost while maintaining comparable performance to the fully
parameterised network on given downstream tasks. Our proposed pruning scheme is
green-oriented, as it only requires a one-off training to discover the optimal
static sub-networks by dynamic pruning methods. The pruning scheme consists of
a binary gating module and a novel loss function to uncover sub-networks with
user-defined sparsity. Our method enables pruning and training simultaneously,
which saves energy in both the training and inference phases and avoids extra
computational overhead from gating modules at inference time. Our results on
CIFAR-10 and CIFAR-100 suggest that our scheme can remove 50% of connections in
deep networks with less than 1% reduction in classification accuracy. Compared
to other related pruning methods, our method demonstrates a lower drop in
accuracy for equivalent reductions in computational cost.
- Abstract（参考訳）: 最近の大規模で複雑なニューラルネットワークモデルの動向を考えると、グリーンAIの主題はディープラーニングコミュニティ内で注目を集めている。
推論時のトレーニングの計算負荷を削減する既存のソリューションは、通常ネットワークパラメータの刈り込みを伴う。
プルーニングスキームは、反復的なトレーニングと静的プルーニングの微調整、動的プルーニンググラフの反復計算によって余分なオーバーヘッドを生み出す。
そこで本研究では, 省エネコストを最小にしつつ, 下流タスクの完全パラメータ化ネットワークと同等の性能を維持する軽量サブネットワークを学習するための新しいパラメータプルーニング手法を提案する。
提案手法はグリーン指向であり,動的プルーニング法により最適な静的サブネットワークを発見するためには,ワンオフトレーニングのみを必要とする。
プルーニング方式は、二分ゲーティングモジュールと、ユーザが定義した間隔でサブネットワークを探索する新しい損失関数から構成される。
提案手法は,訓練段階と推論段階の両方でエネルギーを節約し,演算オーバーヘッドの増大を回避し,同時に刈り取り訓練を可能にする。
CIFAR-10 と CIFAR-100 では,分類精度が1% 未満の深層ネットワークにおける接続の50%を除去できる可能性が示唆された。
本手法は他のプルーニング法と比較して,計算コストの等価な削減のための精度の低下を示す。
関連論文リスト
- Complexity-Aware Training of Deep Neural Networks for Optimal Structure Discovery [0.0]
本稿では、トレーニング中に、トレーニング済みのネットワークを適用することなく機能するディープニューラルネットワークのユニット/フィルタとレイヤプルーニングを組み合わせた新しいアルゴリズムを提案する。
提案アルゴリズムは,3つのパラメータのみを用いて,層対単位/フィルタプルーニングと計算量対パラメータ複雑性のバランスを保ちながら,学習精度とプルーニングレベルを最適に交換する。
論文 参考訳（メタデータ） (2024-11-14T02:00:22Z) - Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。
総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
論文 参考訳（メタデータ） (2024-03-21T02:33:37Z) - Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。
追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。
スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
論文 参考訳（メタデータ） (2022-09-30T15:15:05Z) - Learning in Feedback-driven Recurrent Spiking Neural Networks using
full-FORCE Training [4.124948554183487]
本稿では,トレーニング中にのみ第2のネットワークを導入するRSNNの教師付きトレーニング手順を提案する。
提案したトレーニング手順は、リカレント層とリードアウト層の両方のターゲットを生成することで構成される。
本研究では,8つの力学系をモデル化するためのフルFORCEトレーニング手法の性能向上とノイズ堅牢性を示す。
論文 参考訳（メタデータ） (2022-05-26T19:01:19Z) - Dimensionality Reduced Training by Pruning and Freezing Parts of a Deep
Neural Network, a Survey [69.3939291118954]
最先端のディープラーニングモデルには、何十億にも達するパラメータカウントがある。そのようなモデルのトレーニング、保存、転送は、エネルギーと時間を要するため、コストがかかる。
モデル圧縮は、ストレージと転送コストを低減し、フォワードおよび/または後方パスでの計算数を減少させることで、トレーニングをより効率的にすることができる。
この研究は、トレーニング全体を通してディープラーニングモデルでトレーニングされた重量を減らす方法に関する調査である。
論文 参考訳（メタデータ） (2022-05-17T05:37:08Z) - Joint inference and input optimization in equilibrium networks [68.63726855991052]
ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。
この2つの設定の間には自然なシナジーがあることが示されています。
この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
論文 参考訳（メタデータ） (2021-11-25T19:59:33Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z) - Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive
Meta-Pruning [83.59005356327103]
既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。
本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。
ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
論文 参考訳（メタデータ） (2020-06-22T10:57:43Z) - Pruning Filters while Training for Efficiently Optimizing Deep Learning
Networks [6.269700080380206]
深層ネットワークの重みを少なくするプルーニング技術が提案されている。
本研究では,訓練中に深層ネットワークのフィルタをプーンする動的プルーニング学習手法を提案する。
その結果, フィルタの50%をプルーニングすると, ほぼ精度の低下のない圧縮ネットワークが得られることがわかった。
論文 参考訳（メタデータ） (2020-03-05T18:05:17Z) - Gradual Channel Pruning while Training using Feature Relevance Scores
for Convolutional Neural Networks [6.534515590778012]
プルーニングは、ディープネットワーク圧縮に使用される主要なアプローチの1つである。
そこで本研究では,新しいデータ駆動計測法を用いて,学習手法を訓練しながら,簡便な効率の段階的なチャネルプルーニングを提案する。
本稿では,VGGやResNetなどのアーキテクチャにおける提案手法の有効性を示す。
論文 参考訳（メタデータ） (2020-02-23T17:56:18Z) - Activation Density driven Energy-Efficient Pruning in Training [2.222917681321253]
本研究では,トレーニング中にネットワークをリアルタイムでプーンする新しいプルーニング手法を提案する。
ベースラインネットワークに匹敵する精度で、非常に疎いネットワークを得る。
論文 参考訳（メタデータ） (2020-02-07T18:34:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。