論文の概要: Compressing neural network by tensor network with exponentially fewer variational parameters
- arxiv url: http://arxiv.org/abs/2305.06058v2
- Date: Fri, 3 May 2024 13:59:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-06 18:26:14.423509
- Title: Compressing neural network by tensor network with exponentially fewer variational parameters
- Title（参考訳）: 指数的に変動パラメータが少ないテンソルネットワークによるニューラルネットワークの圧縮
- Authors: Yong Qing, Ke Li, Peng-Fei Zhou, Shi-Ju Ran,
- Abstract要約: 機械学習タスクに挑戦するために設計されたニューラルネットワーク(NN)には、膨大な変動パラメータが含まれている。
本稿では, NNの変分パラメータを自己微分可能なテンソルネットワーク(ADTN)に符号化することにより, NNの変動パラメータを著しく低減する汎用圧縮手法を提案する。
我々の研究は、TNがNNの変動パラメータを表現するのに非常に効率的な数学的構造であることを示唆している。
- 参考スコア（独自算出の注目度）: 4.373746415510521
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural network (NN) designed for challenging machine learning tasks is in general a highly nonlinear mapping that contains massive variational parameters. High complexity of NN, if unbounded or unconstrained, might unpredictably cause severe issues including over-fitting, loss of generalization power, and unbearable cost of hardware. In this work, we propose a general compression scheme that significantly reduces the variational parameters of NN by encoding them to deep automatically-differentiable tensor network (ADTN) that contains exponentially-fewer free parameters. Superior compression performance of our scheme is demonstrated on several widely-recognized NN's (FC-2, LeNet-5, AlextNet, ZFNet and VGG-16) and datasets (MNIST, CIFAR-10 and CIFAR-100). For instance, we compress two linear layers in VGG-16 with approximately $10^{7}$ parameters to two ADTN's with just 424 parameters, where the testing accuracy on CIFAR-10 is improved from $90.17 \%$ to $91.74\%$. Our work suggests TN as an exceptionally efficient mathematical structure for representing the variational parameters of NN's, which exhibits superior compressibility over the commonly-used matrices and multi-way arrays.
- Abstract（参考訳）: 機械学習タスクに挑戦するために設計されたニューラルネットワーク(NN)は、一般的に、大きな変動パラメータを含む非常に非線形なマッピングである。
NNの複雑さは、もし制限されていない場合、過度な適合、一般化力の喪失、ハードウェアの耐え難いコストなど、予想外の深刻な問題を引き起こす可能性がある。
本研究では,指数関数的な自由パラメータを含む深部自動微分可能なテンソルネットワーク(ADTN)に符号化することで,NNの変動パラメータを著しく低減する汎用圧縮手法を提案する。
本手法の圧縮性能は、広く認識されているいくつかのNN(FC-2, LeNet-5, AlextNet, ZFNet, VGG-16)とデータセット(MNIST, CIFAR-10, CIFAR-100)で実証される。
例えば、VGG-16の2つの線形層に約10^{7}$パラメータを424パラメータで2つのADTNに圧縮し、CIFAR-10のテスト精度を90.17 \%から911.74\%$に改善した。
我々の研究は、TNをNNの変動パラメータを表現するのに非常に効率的な数学的構造として提案し、一般的に使用される行列やマルチウェイアレイよりも優れた圧縮性を示す。
関連論文リスト
- "Lossless" Compression of Deep Neural Networks: A High-dimensional
Neural Tangent Kernel Approach [49.744093838327615]
広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。
提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
論文 参考訳（メタデータ） (2024-03-01T03:46:28Z) - Scalable Neural Network Kernels [22.299704296356836]
我々は、通常のフィードフォワード層(FFL)を近似できるスケーラブルニューラルネットワークカーネル(SNNK)を導入する。
また、深層ニューラルネットワークアーキテクチャのコンパクト化にSNNKを適用するニューラルネットワークバンドルプロセスについても紹介する。
我々のメカニズムは、競争精度を維持しながら、トレーニング可能なパラメータの最大5倍の削減を可能にする。
論文 参考訳（メタデータ） (2023-10-20T02:12:56Z) - Generalization Error Bounds for Deep Neural Networks Trained by SGD [3.148524502470734]
勾配降下(SGD)により訓練された深度に対する一般化誤差境界を導出する。
境界は、トレーニング軌跡に沿った損失に明示的に依存する。
その結果、ニューラルネットワークとネットワークハイパースの変化により、境界は非空洞で堅牢であることが判明した。
論文 参考訳（メタデータ） (2022-06-07T13:46:10Z) - DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and
Transformers [105.74546828182834]
本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。
我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
論文 参考訳（メタデータ） (2021-09-21T09:57:21Z) - Toward Compact Deep Neural Networks via Energy-Aware Pruning [2.578242050187029]
ネットワークにおける各フィルタの重要性を核ノルム(NN)を用いて定量化する新しいエネルギー対応プルーニング手法を提案する。
FLOPの40.4/49.8%、パラメータ還元の45.9/52.9%、トップ1の精度の94.13/94.61%、CIFAR-10のResNet-56/110で競合する結果を得た。
論文 参考訳（メタデータ） (2021-03-19T15:33:16Z) - A Fully Tensorized Recurrent Neural Network [48.50376453324581]
重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。
このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
論文 参考訳（メタデータ） (2020-10-08T18:24:12Z) - DiffRNN: Differential Verification of Recurrent Neural Networks [3.4423518864863154]
リカレントニューラルネットワーク(RNN)は、画像処理、データ分類、音声認識、自律システムにおけるコントローラなど、さまざまなアプリケーションで人気を集めている。
構造的に類似した2つのニューラルネットワークの等価性を証明するための最初の差分検証手法であるDIFFRNNを提案する。
各種ベンチマークにおいて本手法の有効性を実証し,DIFFRNNがPOPQORNのような最先端の検証ツールより優れていることを示す。
論文 参考訳（メタデータ） (2020-07-20T14:14:35Z) - Neural Parameter Allocation Search [57.190693718951316]
ニューラルネットワークのトレーニングには、メモリの量を増やす必要がある。
既存の手法では、ネットワークには多くの同一層があり、一般化に失敗する手作りの共有戦略を利用する。
我々は、任意のパラメータ予算を与えられたニューラルネットワークをトレーニングする新しいタスクであるNPAS(Neural Allocation Search)を紹介する。
NPASは、コンパクトネットワークを創出する低予算体制と、推論FLOPを増大させることなく性能を高めるために、新たな高予算体制の両方をカバーしている。
論文 参考訳（メタデータ） (2020-06-18T15:01:00Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z) - Tensor-to-Vector Regression for Multi-channel Speech Enhancement based
on Tensor-Train Network [53.47564132861866]
マルチチャネル音声強調のためのテンソル-ベクトル回帰手法を提案する。
キーとなる考え方は、従来のディープニューラルネットワーク(DNN)ベースのベクトル-ベクトル回帰の定式化を、テンソル-トレインネットワーク(TTN)フレームワークで行うことである。
8チャンネル条件では、3.12のPSSQはTTNの2000万のパラメータを使用して達成されるが、6800万のパラメータを持つDNNは3.06のPSSQしか達成できない。
論文 参考訳（メタデータ） (2020-02-03T02:58:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。