論文の概要: Compressing neural network by tensor network with exponentially fewer variational parameters

• arxiv url: http://arxiv.org/abs/2305.06058v1
• Date: Wed, 10 May 2023 11:24:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-11 13:29:48.680998
• Title: Compressing neural network by tensor network with exponentially fewer variational parameters
• Title（参考訳）: 指数的に変動パラメータが少ないテンソルネットワークによるニューラルネットワークの圧縮
• Authors: Yong Qing, Peng-Fei Zhou, Ke Li, Shi-Ju Ran
• Abstract要約: 機械学習タスクに挑戦するために設計されたニューラルネットワーク(NN)は、一般的に、大きな変動パラメータを含む非常に非線形なマッピングである。 本稿では,指数関数型自由パラメータを含む多層テンソルネットワーク(TN)に符号化することで,NNの変動パラメータを著しく低減する汎用圧縮手法を提案する。 我々の研究は、TNがNNの変動パラメータを表現するのに非常に効率的な数学的構造であることを示唆している。
• 参考スコア（独自算出の注目度）: 4.912441773617359
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural network (NN) designed for challenging machine learning tasks is in general a highly nonlinear mapping that contains massive variational parameters. High complexity of NN, if unbounded or unconstrained, might unpredictably cause severe issues including over-fitting, loss of generalization power, and unbearable cost of hardware. In this work, we propose a general compression scheme that significantly reduces the variational parameters of NN by encoding them to multi-layer tensor networks (TN's) that contain exponentially-fewer free parameters. Superior compression performance of our scheme is demonstrated on several widely-recognized NN's (FC-2, LeNet-5, and VGG-16) and datasets (MNIST and CIFAR-10), surpassing the state-of-the-art method based on shallow tensor networks. For instance, about 10 million parameters in the three convolutional layers of VGG-16 are compressed in TN's with just $632$ parameters, while the testing accuracy on CIFAR-10 is surprisingly improved from $81.14\%$ by the original NN to $84.36\%$ after compression. Our work suggests TN as an exceptionally efficient mathematical structure for representing the variational parameters of NN's, which superiorly exploits the compressibility than the simple multi-way arrays.
• Abstract（参考訳）: 機械学習タスクに挑戦するために設計されたニューラルネットワーク(NN)は、一般的に大きな変動パラメータを含む非常に非線形なマッピングである。 NNの複雑さは、もし制限されていない場合、過度な適合、一般化力の喪失、ハードウェアの耐え難いコストといった深刻な問題を引き起こす可能性がある。 本研究では,指数関数的な自由パラメータを含む多層テンソルネットワーク(TN)に符号化することで,NNの変動パラメータを著しく低減する汎用圧縮手法を提案する。 提案手法の圧縮性能を,浅いテンソルネットワークに基づく最先端手法を超越した,広く認識されているNN(FC-2, LeNet-5, VGG-16)およびデータセット(MNIST, CIFAR-10)で実証した。 例えば、VGG-16の3つの畳み込み層の約1000万のパラメータは、わずか632ドルのパラメータでTNで圧縮されるが、CIFAR-10のテスト精度は、元のNNで811.14\%から84.36\%まで驚くほど改善されている。 本研究は,単純なマルチウェイアレイよりも圧縮性に優れているnnの変動パラメータを表現するための,非常に効率的な数学的構造としてtnを提案する。

関連論文リスト

• "Lossless" Compression of Deep Neural Networks: A High-dimensional Neural Tangent Kernel Approach [49.744093838327615]
  広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。 提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
  論文  参考訳（メタデータ） (2024-03-01T03:46:28Z)
• Scalable Neural Network Kernels [22.299704296356836]
  我々は、通常のフィードフォワード層(FFL)を近似できるスケーラブルニューラルネットワークカーネル(SNNK)を導入する。 また、深層ニューラルネットワークアーキテクチャのコンパクト化にSNNKを適用するニューラルネットワークバンドルプロセスについても紹介する。 我々のメカニズムは、競争精度を維持しながら、トレーニング可能なパラメータの最大5倍の削減を可能にする。
  論文  参考訳（メタデータ） (2023-10-20T02:12:56Z)
• Generalization Error Bounds for Deep Neural Networks Trained by SGD [3.148524502470734]
  勾配降下(SGD)により訓練された深度に対する一般化誤差境界を導出する。 境界は、トレーニング軌跡に沿った損失に明示的に依存する。 その結果、ニューラルネットワークとネットワークハイパースの変化により、境界は非空洞で堅牢であることが判明した。
  論文  参考訳（メタデータ） (2022-06-07T13:46:10Z)
• DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
  本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
  論文  参考訳（メタデータ） (2021-09-21T09:57:21Z)
• Toward Compact Deep Neural Networks via Energy-Aware Pruning [2.578242050187029]
  ネットワークにおける各フィルタの重要性を核ノルム(NN)を用いて定量化する新しいエネルギー対応プルーニング手法を提案する。 FLOPの40.4/49.8%、パラメータ還元の45.9/52.9%、トップ1の精度の94.13/94.61%、CIFAR-10のResNet-56/110で競合する結果を得た。
  論文  参考訳（メタデータ） (2021-03-19T15:33:16Z)
• A Fully Tensorized Recurrent Neural Network [48.50376453324581]
  重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。 このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
  論文  参考訳（メタデータ） (2020-10-08T18:24:12Z)
• DiffRNN: Differential Verification of Recurrent Neural Networks [3.4423518864863154]
  リカレントニューラルネットワーク(RNN)は、画像処理、データ分類、音声認識、自律システムにおけるコントローラなど、さまざまなアプリケーションで人気を集めている。 構造的に類似した2つのニューラルネットワークの等価性を証明するための最初の差分検証手法であるDIFFRNNを提案する。 各種ベンチマークにおいて本手法の有効性を実証し,DIFFRNNがPOPQORNのような最先端の検証ツールより優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-20T14:14:35Z)
• Neural Parameter Allocation Search [57.190693718951316]
  ニューラルネットワークのトレーニングには、メモリの量を増やす必要がある。 既存の手法では、ネットワークには多くの同一層があり、一般化に失敗する手作りの共有戦略を利用する。 我々は、任意のパラメータ予算を与えられたニューラルネットワークをトレーニングする新しいタスクであるNPAS(Neural Allocation Search)を紹介する。 NPASは、コンパクトネットワークを創出する低予算体制と、推論FLOPを増大させることなく性能を高めるために、新たな高予算体制の両方をカバーしている。
  論文  参考訳（メタデータ） (2020-06-18T15:01:00Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)
• Tensor-to-Vector Regression for Multi-channel Speech Enhancement based on Tensor-Train Network [53.47564132861866]
  マルチチャネル音声強調のためのテンソル-ベクトル回帰手法を提案する。 キーとなる考え方は、従来のディープニューラルネットワーク(DNN)ベースのベクトル-ベクトル回帰の定式化を、テンソル-トレインネットワーク(TTN)フレームワークで行うことである。 8チャンネル条件では、3.12のPSSQはTTNの2000万のパラメータを使用して達成されるが、6800万のパラメータを持つDNNは3.06のPSSQしか達成できない。
  論文  参考訳（メタデータ） (2020-02-03T02:58:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。