Fugu-MT 論文翻訳(概要): Renormalized Sparse Neural Network Pruning

論文の概要: Renormalized Sparse Neural Network Pruning

arxiv url: http://arxiv.org/abs/2206.10088v1
Date: Tue, 21 Jun 2022 03:04:32 GMT
ステータス: 処理完了
システム内更新日: 2022-06-22 14:22:01.508065
Title: Renormalized Sparse Neural Network Pruning
Title（参考訳）: 正規化スパースニューラルネットワークプルーニング
Authors: Michael G. Rawson
Abstract要約: 本稿では,スパースニューラルネットワークの精度向上のための再正規化を提案する。提案手法の誤差は,ネットワークパラメータのクラスタ化や集中化として0に収束することを示す。実世界のデータセットMNIST, Fashion MNIST, CIFAR-10について実験を行った。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large neural networks are heavily over-parameterized. This is done because it improves training to optimality. However once the network is trained, this means many parameters can be zeroed, or pruned, leaving an equivalent sparse neural network. We propose renormalizing sparse neural networks in order to improve accuracy. We prove that our method's error converges to 0 as network parameters cluster or concentrate. We prove that without renormalizing, the error does not converge to zero in general. We experiment with our method on real world datasets MNIST, Fashion MNIST, and CIFAR-10 and confirm a large improvement in accuracy with renormalization versus standard pruning.
Abstract（参考訳）: 大規模ニューラルネットワークは過度にパラメータ化されている。これはトレーニングを最適化するために行われる。しかし、一度ネットワークをトレーニングすると、多くのパラメータをゼロにしたり、刈り取ることができ、等価なスパースニューラルネットワークを残します。精度を向上させるためにスパースニューラルネットワークの再正規化を提案する。提案手法の誤差はネットワークパラメータのクラスタ化や集中として0に収束することを示す。再正規化なしでは、誤差は一般にゼロに収束しない。実世界のデータセットMNIST, Fashion MNIST, CIFAR-10を用いて実験を行い, 再正規化と標準プルーニングによる精度の向上を確認した。

関連論文リスト

Just How Flexible are Neural Networks in Practice? [89.80474583606242]
ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
論文参考訳（メタデータ） (2024-06-17T12:24:45Z)
Verified Neural Compressed Sensing [58.98637799432153]
精度の高い計算タスクのために、初めて(私たちの知識を最大限に活用するために)証明可能なニューラルネットワークを開発します。極小問題次元(最大50)では、線形および双項線形測定からスパースベクトルを確実に回復するニューラルネットワークを訓練できることを示す。ネットワークの複雑さは問題の難易度に適応できることを示し、従来の圧縮センシング手法が証明不可能な問題を解く。
論文参考訳（メタデータ） (2024-05-07T12:20:12Z)
Towards Generalized Entropic Sparsification for Convolutional Neural Networks [0.0]
畳み込みニューラルネットワーク(CNN)は過度にパラメータ化されていると報告されている。本稿では,計算可能エントロピー緩和を目的とした数学的アイデアに基づく層間データ駆動プルーニング手法を提案する。スパースサブネットワークは、ネットワークエントロピー最小化をスペーサ性制約として使用した、事前訓練された(フル)CNNから得られる。
論文参考訳（メタデータ） (2024-04-06T21:33:39Z)
Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文参考訳（メタデータ） (2023-03-07T18:59:38Z)
Do highly over-parameterized neural networks generalize since bad solutions are rare? [0.0]
学習のための経験的リスク最小化(ERM)は、トレーニングエラーをゼロにする。ある条件下では、エプシロンよりも大きい真の誤差を持つ「悪い」大域最小値の分数は、訓練データ n の個数で指数関数的にゼロになる。
論文参考訳（メタデータ） (2022-11-07T14:02:07Z)
The Rate of Convergence of Variation-Constrained Deep Neural Networks [35.393855471751756]
変動制約のあるニューラルネットワークのクラスは、任意に小さな定数$delta$に対して、ほぼパラメトリックレート$n-1/2+delta$を達成することができることを示す。その結果、滑らかな関数の近似に必要な神経機能空間は、しばしば知覚されるものほど大きくない可能性が示唆された。
論文参考訳（メタデータ） (2021-06-22T21:28:00Z)
Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文参考訳（メタデータ） (2021-06-06T19:08:53Z)
Lost in Pruning: The Effects of Pruning Neural Networks beyond Test Accuracy [42.15969584135412]
ニューラルネットワークプルーニングは、現代のネットワークの推論コストを削減するために使用される一般的な技術です。試験精度のみを終了条件で使用するだけで、結果のモデルが正常に機能するかどうかを評価します。刈り取られたネットワークは、効果的に未刈り込みモデルに近似するが、刈り取られたネットワークがコンメンシュレートのパフォーマンスを達成できるプルー比はタスクによって大きく異なる。
論文参考訳（メタデータ） (2021-03-04T13:22:16Z)
LOss-Based SensiTivity rEgulaRization: towards deep sparse neural networks [15.373764014931792]
LOss-Based SensiTivity rEgulaRizationは、スパーストポロジを用いたニューラルネットワークのトレーニング方法である。本手法では,予備学習や巻き戻しを行わずにネットワークをゼロからトレーニングすることができる。
論文参考訳（メタデータ） (2020-11-16T18:55:34Z)
Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文参考訳（メタデータ） (2020-06-21T08:23:03Z)
Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。