Fugu-MT 論文翻訳(概要): Exploiting Elasticity in Tensor Ranks for Compressing Neural Networks

論文の概要: Exploiting Elasticity in Tensor Ranks for Compressing Neural Networks

arxiv url: http://arxiv.org/abs/2105.04218v1
Date: Mon, 10 May 2021 09:26:47 GMT
ステータス: 処理完了
システム内更新日: 2021-05-11 14:43:46.660076
Title: Exploiting Elasticity in Tensor Ranks for Compressing Neural Networks
Title（参考訳）: 圧縮ニューラルネットワークにおけるテンソルランクの弾性の爆発
Authors: Jie Ran, Rui Lin, Hayden K.H. So, Graziano Chesi, Ngai Wong
Abstract要約: 畳み込みニューラルネットワーク(CNN)における入力出力チャネルに沿った弾性の新しい次元を利用する。トレーニング中のテンソルランクの低下を探索するために, NRMF (Nnorm rank minimumation factorization) 法を提案する。実験は、以前の非弾性変動ベイズ行列分解スキームよりもNRMFの優位性を示している。
参考スコア（独自算出の注目度）: 8.180947044673639
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Elasticities in depth, width, kernel size and resolution have been explored in compressing deep neural networks (DNNs). Recognizing that the kernels in a convolutional neural network (CNN) are 4-way tensors, we further exploit a new elasticity dimension along the input-output channels. Specifically, a novel nuclear-norm rank minimization factorization (NRMF) approach is proposed to dynamically and globally search for the reduced tensor ranks during training. Correlation between tensor ranks across multiple layers is revealed, and a graceful tradeoff between model size and accuracy is obtained. Experiments then show the superiority of NRMF over the previous non-elastic variational Bayesian matrix factorization (VBMF) scheme.
Abstract（参考訳）: ディープニューラルネットワーク(DNN)の圧縮において、深さ、幅、カーネルサイズ、解像度の弾力性を検討した。畳み込みニューラルネットワーク(CNN)のカーネルが4方向テンソルであることを認識し、入力出力チャネルに沿った新しい弾性次元を更に活用する。特に,新しい核ノルム階数最小化因子分解 (nrmf) 法を提案し,訓練中のテンソル階数の減少を動的かつグローバルに探索する。複数の層にわたるテンソルランクの相関関係を明らかにし、モデルサイズと精度の優雅なトレードオフを求める。実験により、従来の非弾性変動ベイズ行列分解法(VBMF)よりもNRMFの方が優れていることが示された。

関連論文リスト

Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文参考訳（メタデータ） (2024-05-24T06:30:36Z)
Speed Limits for Deep Learning [67.69149326107103]
熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
論文参考訳（メタデータ） (2023-07-27T06:59:46Z)
Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文参考訳（メタデータ） (2023-02-01T03:18:07Z)
Variational Tensor Neural Networks for Deep Learning [0.0]
深部ニューラルネットワーク(NN)へのテンソルネットワーク(TN)の統合を提案する。これにより、大きなパラメータ空間上で効率的にトレーニングできるスケーラブルなテンソルニューラルネットワーク(TNN)アーキテクチャが実現される。我々はTNNモデルを設計し、線形および非線形回帰、データ分類、MNIST手書き桁の画像認識のためのベンチマーク結果を提供することにより、提案手法の精度と効率を検証した。
論文参考訳（メタデータ） (2022-11-26T20:24:36Z)
Tensor-based framework for training flexible neural networks [9.176056742068813]
本稿では,制約付き行列-テンソル因数分解(CMTF)問題を解く学習アルゴリズムを提案する。提案アルゴリズムは、異なる基底分解を処理できる。この手法の目的は、テンソルワーク(例えば、元のネットワークの1層または複数の層)を新しいフレキシブル層に置き換えることで、大きな事前訓練されたNNモデルを圧縮することである。
論文参考訳（メタデータ） (2021-06-25T10:26:48Z)
Tensor-Train Networks for Learning Predictive Modeling of Multidimensional Data [0.0]
有望な戦略は、物理的および化学的用途で非常に成功したテンソルネットワークに基づいています。本研究では, 多次元回帰モデルの重みをテンソルネットワークを用いて学習し, 強力なコンパクト表現を実現することを示した。 TT形式の重みを計算力の低減で近似するための最小二乗を交互に行うアルゴリズムが提案されている。
論文参考訳（メタデータ） (2021-01-22T16:14:38Z)
A Fully Tensorized Recurrent Neural Network [48.50376453324581]
重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
論文参考訳（メタデータ） (2020-10-08T18:24:12Z)
Stable Low-rank Tensor Decomposition for Compression of Convolutional Neural Network [19.717842489217684]
本稿では、畳み込み核のテンソル分解における縮退性に関する最初の研究である。本稿では,畳み込みカーネルの低ランク近似を安定化し,効率的な圧縮を実現する新しい手法を提案する。画像分類のための一般的なCNNアーキテクチャに対するアプローチを評価し,提案手法により精度が大幅に低下し,一貫した性能が得られることを示す。
論文参考訳（メタデータ） (2020-08-12T17:10:12Z)
Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文参考訳（メタデータ） (2020-07-31T01:57:47Z)
Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文参考訳（メタデータ） (2020-07-03T01:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。