論文の概要: Recursive Least Squares for Training and Pruning Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2201.04813v1
• Date: Thu, 13 Jan 2022 07:14:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-14 14:06:25.339237
• Title: Recursive Least Squares for Training and Pruning Convolutional Neural Networks
• Title（参考訳）: 畳み込みニューラルネットワークの学習・実行のための再帰的最小方形
• Authors: Tianzong Yu, Chunyuan Zhang, Yuan Wang, Meng Ma and Qi Song
• Abstract要約: 畳み込みニューラルネットワーク(CNN)は多くの実用化に成功している。 高い計算とストレージ要件により、リソース制約のあるデバイスへのデプロイが困難になる。 本稿では,CNNの訓練と刈り取りのための新しいアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 27.089496826735672
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional neural networks (CNNs) have succeeded in many practical applications. However, their high computation and storage requirements often make them difficult to deploy on resource-constrained devices. In order to tackle this issue, many pruning algorithms have been proposed for CNNs, but most of them can't prune CNNs to a reasonable level. In this paper, we propose a novel algorithm for training and pruning CNNs based on the recursive least squares (RLS) optimization. After training a CNN for some epochs, our algorithm combines inverse input autocorrelation matrices and weight matrices to evaluate and prune unimportant input channels or nodes layer by layer. Then, our algorithm will continue to train the pruned network, and won't do the next pruning until the pruned network recovers the full performance of the old network. Besides for CNNs, the proposed algorithm can be used for feedforward neural networks (FNNs). Three experiments on MNIST, CIFAR-10 and SVHN datasets show that our algorithm can achieve the more reasonable pruning and have higher learning efficiency than other four popular pruning algorithms.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は多くの実用化に成功している。 しかし、その高い計算とストレージの要求により、リソースに制約のあるデバイスへのデプロイが困難になることが多い。 この問題に対処するために、多くのプルーニングアルゴリズムがCNN向けに提案されているが、そのほとんどは、CNNを合理的なレベルに引き出すことはできない。 本稿では,再帰最小二乗 (RLS) 最適化に基づくCNNの訓練と刈り取りのための新しいアルゴリズムを提案する。 いくつかのエポックに対してCNNを訓練した後、我々のアルゴリズムは逆入力自己相関行列と重み行列を組み合わせて、重要でない入力チャネルやノード層を層単位で評価し、創出する。 そして,本アルゴリズムは刈り取られたネットワークのトレーニングを継続し,刈り取られたネットワークが古いネットワークの完全な性能を回復するまで次の刈り取りを行わない。 cnnに加えて、提案アルゴリズムはfeedforward neural networks (fnns)に使用することができる。 MNIST, CIFAR-10, SVHNデータセットの3つの実験により、我々のアルゴリズムはより合理的なプルーニングを達成でき、他の4つのプルーニングアルゴリズムよりも学習効率が高いことを示す。

関連論文リスト

• Training Convolutional Neural Networks with the Forward-Forward algorithm [1.74440662023704]
  Forward Forward (FF)アルゴリズムは、現在まで完全に接続されたネットワークでしか使われていない。 FFパラダイムをCNNに拡張する方法を示す。 我々のFF学習したCNNは、空間的に拡張された新しいラベリング手法を特徴とし、MNISTの手書き桁データセットにおいて99.16%の分類精度を実現している。
  論文  参考訳（メタデータ） (2023-12-22T18:56:35Z)
• Class-Aware Pruning for Efficient Neural Networks [5.918784236241883]
  ディープニューラルネットワーク(DNN)の実行における計算コスト削減のために、プルーニングが導入されている。 本稿では,DNNを圧縮するクラスアウェアプルーニング手法を提案する。 実験結果から, このクラス認識プルーニング技術は, 重量とFLOPを著しく削減できることがわかった。
  論文  参考訳（メタデータ） (2023-12-10T13:07:54Z)
• Transferability of Convolutional Neural Networks in Stationary Learning Tasks [96.00428692404354]
  本稿では,大規模な空間問題に対する畳み込みニューラルネットワーク(CNN)の効率的なトレーニングのための新しいフレームワークを提案する。 このような信号の小さなウィンドウで訓練されたCNNは、再学習することなく、はるかに大きなウィンドウでほぼ性能を発揮することを示す。 以上の結果から,CNNは10人未満の訓練を受けた後,数百人のエージェントによる問題に対処できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-21T13:51:45Z)
• A Proximal Algorithm for Network Slimming [2.8148957592979427]
  畳み込みニューラルネットワーク(CNN)の一般的なチャネルプルーニング法は、CNNの訓練に段階的な降下を用いる。 我々は、CNNをスパースで正確な構造に向けて訓練するための、近位NSと呼ばれる代替アルゴリズムを開発した。 実験の結果,1ラウンドのトレーニングの後,近位NSは競争精度と圧縮性を備えたCNNが得られることがわかった。
  論文  参考訳（メタデータ） (2023-07-02T23:34:12Z)
• You Can Have Better Graph Neural Networks by Not Training Weights at All: Finding Untrained GNNs Tickets [105.24703398193843]
  グラフニューラルネットワーク(GNN)の未訓練作業はまだ謎のままだ。 得られた未学習作品によって,GNNの過度なスムース化問題を大幅に軽減できることを示す。 また,そのような未学習作業が,入力摂動の分布外検出と堅牢性に優れていることも観察した。
  論文  参考訳（メタデータ） (2022-11-28T14:17:36Z)
• Training Quantized Deep Neural Networks via Cooperative Coevolution [27.967480639403796]
  本稿では,ディープニューラルネットワーク(DNN)の定量化手法を提案する。 協調的共進化の枠組みでは,分布推定アルゴリズムを用いて低ビット重みの探索を行う。 実験の結果,Cifar-10データセット上で4ビットのResNet-20を,精度を犠牲にすることなくトレーニングできることがわかった。
  論文  参考訳（メタデータ） (2021-12-23T09:13:13Z)
• A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
  勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。 MNIST画像データセットがそのような条件を満たすことを数値的に示す。 我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-19T23:41:03Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)
• RANP: Resource Aware Neuron Pruning at Initialization for 3D CNNs [32.431100361351675]
  本稿では,3次元CNNを高頻度で作成するRANPアルゴリズムを提案する。 具体的には、損失関数に対する感度に基づいて、各ニューロンに対して重要なスコアを得る。 このニューロンの重要性は、FLOPや記憶に関連するニューロン資源の消費に応じて再重み付けされる。
  論文  参考訳（メタデータ） (2020-10-06T05:34:39Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。