論文の概要: Stable Low-rank Tensor Decomposition for Compression of Convolutional Neural Network

• arxiv url: http://arxiv.org/abs/2008.05441v1
• Date: Wed, 12 Aug 2020 17:10:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 05:30:13.463366
• Title: Stable Low-rank Tensor Decomposition for Compression of Convolutional Neural Network
• Title（参考訳）: 畳み込みニューラルネットワーク圧縮のための安定低ランクテンソル分解
• Authors: Anh-Huy Phan, Konstantin Sobolev, Konstantin Sozykin, Dmitry Ermilov, Julia Gusak, Petr Tichavsky, Valeriy Glukhov, Ivan Oseledets, and Andrzej Cichocki
• Abstract要約: 本稿では、畳み込み核のテンソル分解における縮退性に関する最初の研究である。 本稿では,畳み込みカーネルの低ランク近似を安定化し,効率的な圧縮を実現する新しい手法を提案する。 画像分類のための一般的なCNNアーキテクチャに対するアプローチを評価し,提案手法により精度が大幅に低下し,一貫した性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 19.717842489217684
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most state of the art deep neural networks are overparameterized and exhibit a high computational cost. A straightforward approach to this problem is to replace convolutional kernels with its low-rank tensor approximations, whereas the Canonical Polyadic tensor Decomposition is one of the most suited models. However, fitting the convolutional tensors by numerical optimization algorithms often encounters diverging components, i.e., extremely large rank-one tensors but canceling each other. Such degeneracy often causes the non-interpretable result and numerical instability for the neural network fine-tuning. This paper is the first study on degeneracy in the tensor decomposition of convolutional kernels. We present a novel method, which can stabilize the low-rank approximation of convolutional kernels and ensure efficient compression while preserving the high-quality performance of the neural networks. We evaluate our approach on popular CNN architectures for image classification and show that our method results in much lower accuracy degradation and provides consistent performance.
• Abstract（参考訳）: 最先端のディープニューラルネットワークのほとんどは過パラメータであり、計算コストが高い。 この問題に対する直接的なアプローチは、畳み込み核を低ランクテンソル近似で置き換えることであるが、カノニカル多進テンソル分解は最も適したモデルの1つである。 しかし、数値最適化アルゴリズムによる畳み込みテンソルの適合は、しばしば異なる成分、すなわち非常に大きなランク1テンソルに遭遇する。 このような縮退は、しばしばニューラルネットワークの微調整の非解釈結果と数値不安定を引き起こす。 本稿では,畳み込み核のテンソル分解における縮退性に関する最初の研究である。 本稿では、畳み込みカーネルの低ランク近似を安定化し、ニューラルネットワークの性能を保ちながら効率的な圧縮を確保する新しい手法を提案する。 画像分類のための一般的なCNNアーキテクチャに対するアプローチを評価し,提案手法により精度が大幅に低下し,一貫した性能が得られることを示す。

関連論文リスト

• Convolutional Neural Network Compression Based on Low-Rank Decomposition [3.3295360710329738]
  本稿では,変分ベイズ行列分解を組み込んだモデル圧縮法を提案する。 VBMFは各層における重みテンソルのランクを推定するために用いられる。 その結果, 高圧縮比と低圧縮比では, 圧縮モデルの性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-08-29T06:40:34Z)
• Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
  循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。 提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。 これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
  論文  参考訳（メタデータ） (2023-05-25T15:32:21Z)
• Tensor Decomposition for Model Reduction in Neural Networks: A Review [13.96938227911258]
  現代のニューラルネットワークはコンピュータビジョン(CV)と自然言語処理(NLP)の分野に革命をもたらした 複雑なCVタスクや画像分類、画像生成、機械翻訳といったNLPタスクの解決に広く用いられている。 本稿では,6つのテンソル分解法を概説し,モデルパラメータの圧縮能力について述べる。
  論文  参考訳（メタデータ） (2023-04-26T13:12:00Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Low-rank Tensor Decomposition for Compression of Convolutional Neural Networks Using Funnel Regularization [1.8579693774597708]
  低ランクテンソル分解を用いた事前学習ネットワークを圧縮するモデル削減手法を提案する。 圧縮中の重要でない要因を抑えるために, ファンネル関数と呼ばれる新しい正規化法を提案する。 ImageNet2012のResNet18では、GMACの精度は0.7%に過ぎず、Top-1の精度はわずかに低下する。
  論文  参考訳（メタデータ） (2021-12-07T13:41:51Z)
• Neuron-based Pruning of Deep Neural Networks with Better Generalization using Kronecker Factored Curvature Approximation [18.224344440110862]
  提案アルゴリズムは、ヘッセンのスペクトル半径を探索することにより、圧縮されたモデルのパラメータを平らな解へ向ける。 以上の結果から, ニューロン圧縮における最先端の結果が向上することが示唆された。 この手法は、異なるニューラルネットワークモデル間で小さな精度で、非常に小さなネットワークを実現することができる。
  論文  参考訳（メタデータ） (2021-11-16T15:55:59Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Tensor-Train Networks for Learning Predictive Modeling of Multidimensional Data [0.0]
  有望な戦略は、物理的および化学的用途で非常に成功したテンソルネットワークに基づいています。 本研究では, 多次元回帰モデルの重みをテンソルネットワークを用いて学習し, 強力なコンパクト表現を実現することを示した。 TT形式の重みを計算力の低減で近似するための最小二乗を交互に行うアルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2021-01-22T16:14:38Z)
• A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks [87.23360438947114]
  重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。 これは、トレーニング損失が一定の精度まで線形に収束することを意味する。 また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
  論文  参考訳（メタデータ） (2020-02-10T18:56:15Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。