論文の概要: Compressing neural network by tensor network with exponentially fewer
variational parameters
- arxiv url: http://arxiv.org/abs/2305.06058v1
- Date: Wed, 10 May 2023 11:24:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-11 13:29:48.680998
- Title: Compressing neural network by tensor network with exponentially fewer
variational parameters
- Title(参考訳): 指数的に変動パラメータが少ないテンソルネットワークによるニューラルネットワークの圧縮
- Authors: Yong Qing, Peng-Fei Zhou, Ke Li, Shi-Ju Ran
- Abstract要約: 機械学習タスクに挑戦するために設計されたニューラルネットワーク(NN)は、一般的に、大きな変動パラメータを含む非常に非線形なマッピングである。
本稿では,指数関数型自由パラメータを含む多層テンソルネットワーク(TN)に符号化することで,NNの変動パラメータを著しく低減する汎用圧縮手法を提案する。
我々の研究は、TNがNNの変動パラメータを表現するのに非常に効率的な数学的構造であることを示唆している。
- 参考スコア(独自算出の注目度): 4.912441773617359
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural network (NN) designed for challenging machine learning tasks is in
general a highly nonlinear mapping that contains massive variational
parameters. High complexity of NN, if unbounded or unconstrained, might
unpredictably cause severe issues including over-fitting, loss of
generalization power, and unbearable cost of hardware. In this work, we propose
a general compression scheme that significantly reduces the variational
parameters of NN by encoding them to multi-layer tensor networks (TN's) that
contain exponentially-fewer free parameters. Superior compression performance
of our scheme is demonstrated on several widely-recognized NN's (FC-2, LeNet-5,
and VGG-16) and datasets (MNIST and CIFAR-10), surpassing the state-of-the-art
method based on shallow tensor networks. For instance, about 10 million
parameters in the three convolutional layers of VGG-16 are compressed in TN's
with just $632$ parameters, while the testing accuracy on CIFAR-10 is
surprisingly improved from $81.14\%$ by the original NN to $84.36\%$ after
compression. Our work suggests TN as an exceptionally efficient mathematical
structure for representing the variational parameters of NN's, which superiorly
exploits the compressibility than the simple multi-way arrays.
- Abstract(参考訳): 機械学習タスクに挑戦するために設計されたニューラルネットワーク(NN)は、一般的に大きな変動パラメータを含む非常に非線形なマッピングである。
NNの複雑さは、もし制限されていない場合、過度な適合、一般化力の喪失、ハードウェアの耐え難いコストといった深刻な問題を引き起こす可能性がある。
本研究では,指数関数的な自由パラメータを含む多層テンソルネットワーク(TN)に符号化することで,NNの変動パラメータを著しく低減する汎用圧縮手法を提案する。
提案手法の圧縮性能を,浅いテンソルネットワークに基づく最先端手法を超越した,広く認識されているNN(FC-2, LeNet-5, VGG-16)およびデータセット(MNIST, CIFAR-10)で実証した。
例えば、VGG-16の3つの畳み込み層の約1000万のパラメータは、わずか632ドルのパラメータでTNで圧縮されるが、CIFAR-10のテスト精度は、元のNNで811.14\%から84.36\%まで驚くほど改善されている。
本研究は,単純なマルチウェイアレイよりも圧縮性に優れているnnの変動パラメータを表現するための,非常に効率的な数学的構造としてtnを提案する。
関連論文リスト
- "Lossless" Compression of Deep Neural Networks: A High-dimensional
Neural Tangent Kernel Approach [49.744093838327615]
広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。
提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
論文 参考訳(メタデータ) (2024-03-01T03:46:28Z) - Stacked tensorial neural networks for reduced-order modeling of a
parametric partial differential equation [0.0]
複数のTNNを大きなネットワークに融合させるディープニューラルネットワークアーキテクチャについて説明する。
このアーキテクチャを、3つの独立変数と3つのパラメータを持つパラメトリックPDE上で評価する。
論文 参考訳(メタデータ) (2023-12-21T21:44:50Z) - Scalable Neural Network Kernels [22.299704296356836]
我々は、通常のフィードフォワード層(FFL)を近似できるスケーラブルニューラルネットワークカーネル(SNNK)を導入する。
また、深層ニューラルネットワークアーキテクチャのコンパクト化にSNNKを適用するニューラルネットワークバンドルプロセスについても紹介する。
我々のメカニズムは、競争精度を維持しながら、トレーニング可能なパラメータの最大5倍の削減を可能にする。
論文 参考訳(メタデータ) (2023-10-20T02:12:56Z) - Neural Functional Transformers [99.98750156515437]
本稿では,ニューラルファンクショナルトランスフォーマー (NFT) と呼ばれる新しい変分同変量空間層を定義するために,アテンション機構を用いる。
NFTは重み空間の置換対称性を尊重し、注意の利点を取り入れ、複数の領域で顕著な成功を収めた。
Inr2Arrayは暗黙的ニューラル表現(INR)の重みから置換不変表現を計算する新しい方法である。
論文 参考訳(メタデータ) (2023-05-22T23:38:27Z) - Nonlinear Tensor Ring Network [39.89070144585793]
最先端のディープニューラルネットワーク(DNN)は、様々な現実世界のアプリケーションに広く適用されており、認知問題に対して大きなパフォーマンスを実現している。
冗長モデルをコンパクトなモデルに変換することで、圧縮技術はストレージとメモリ消費を減らすための実用的な解決策であるように見える。
本稿では,完全連結層と畳み込み層の両方を圧縮した非線形テンソルリングネットワーク(NTRN)を開発する。
論文 参考訳(メタデータ) (2021-11-12T02:02:55Z) - Low-Rank+Sparse Tensor Compression for Neural Networks [11.632913694957868]
本稿では,低ランクテンソル分解とスパースプルーニングを組み合わせることで,圧縮の粗さと微細構造を両立させることを提案する。
我々はSOTAアーキテクチャ(MobileNetv3、EfficientNet、Vision Transformer)の重みを圧縮し、この手法をスパースプルーニングとテンソル分解だけで比較する。
論文 参考訳(メタデータ) (2021-11-02T15:55:07Z) - Block-term Tensor Neural Networks [29.442026567710435]
ブロック終端テンソル層(BT層)は,CNNやRNNなどのニューラルネットワークモデルに容易に適用可能であることを示す。
CNNとRNNのBT層は、元のDNNの表現力を維持したり改善したりしながら、パラメータ数に対して非常に大きな圧縮比を達成することができる。
論文 参考訳(メタデータ) (2020-10-10T09:58:43Z) - A Fully Tensorized Recurrent Neural Network [48.50376453324581]
重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。
このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
論文 参考訳(メタデータ) (2020-10-08T18:24:12Z) - Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。
中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。
重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文 参考訳(メタデータ) (2020-07-31T01:57:47Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳(メタデータ) (2020-02-03T04:11:13Z) - Tensor-to-Vector Regression for Multi-channel Speech Enhancement based
on Tensor-Train Network [53.47564132861866]
マルチチャネル音声強調のためのテンソル-ベクトル回帰手法を提案する。
キーとなる考え方は、従来のディープニューラルネットワーク(DNN)ベースのベクトル-ベクトル回帰の定式化を、テンソル-トレインネットワーク(TTN)フレームワークで行うことである。
8チャンネル条件では、3.12のPSSQはTTNの2000万のパラメータを使用して達成されるが、6800万のパラメータを持つDNNは3.06のPSSQしか達成できない。
論文 参考訳(メタデータ) (2020-02-03T02:58:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。