論文の概要: How to Train Unstable Looped Tensor Network

• arxiv url: http://arxiv.org/abs/2203.02617v1
• Date: Sat, 5 Mar 2022 00:17:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-08 15:55:48.005449
• Title: How to Train Unstable Looped Tensor Network
• Title（参考訳）: 不安定なループテンソルネットワークのトレーニング方法
• Authors: Anh-Huy Phan, Konstantin Sobolev, Dmitry Ermilov, Igor Vorona, Nikolay Kozyrskiy, Petr Tichavsky and Andrzej Cichocki
• Abstract要約: ディープニューラルネットワークの圧縮における問題は、畳み込みカーネルのパラメータ数を減らすことである。 本稿では, 分解結果の安定性を向上し, ネットワークの堅牢性を維持し, 近似性を向上するための新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 21.882898731132443
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A rising problem in the compression of Deep Neural Networks is how to reduce the number of parameters in convolutional kernels and the complexity of these layers by low-rank tensor approximation. Canonical polyadic tensor decomposition (CPD) and Tucker tensor decomposition (TKD) are two solutions to this problem and provide promising results. However, CPD often fails due to degeneracy, making the networks unstable and hard to fine-tune. TKD does not provide much compression if the core tensor is big. This motivates using a hybrid model of CPD and TKD, a decomposition with multiple Tucker models with small core tensor, known as block term decomposition (BTD). This paper proposes a more compact model that further compresses the BTD by enforcing core tensors in BTD identical. We establish a link between the BTD with shared parameters and a looped chain tensor network (TC). Unfortunately, such strongly constrained tensor networks (with loop) encounter severe numerical instability, as proved by y (Landsberg, 2012) and (Handschuh, 2015a). We study perturbation of chain tensor networks, provide interpretation of instability in TC, demonstrate the problem. We propose novel methods to gain the stability of the decomposition results, keep the network robust and attain better approximation. Experimental results will confirm the superiority of the proposed methods in compression of well-known CNNs, and TC decomposition under challenging scenarios
• Abstract（参考訳）: 深層ニューラルネットワークの圧縮における上昇問題は、畳み込み核のパラメータの数とそれらの層の複雑さを低ランクテンソル近似によって減少させる方法である。 正準多進テンソル分解(CPD)とタッカーテンソル分解(TKD)はこの問題に対する2つの解であり、有望な結果をもたらす。 しかし、CPDは縮退のためにしばしば失敗し、ネットワークは不安定で微調整が難しい。 TKDは、コアテンソルが大きければあまり圧縮を提供しない。 これは cpd と tkd のハイブリッドモデルを用いて、ブロック項分解 (btd) と呼ばれる小さな核テンソルを持つ複数のタッカーモデルによる分解を動機付ける。 本稿では,BTDのコアテンソルを同一にすることでBTDをさらに圧縮する,よりコンパクトなモデルを提案する。 共有パラメータを持つBTDとループ連鎖テンソルネットワーク(TC)のリンクを確立する。 残念ながら、そのような強い制約のあるテンソルネットワーク(ループを持つ)は、y (Landsberg, 2012) と (Handschuh, 2015a) によって証明されたような深刻な数値不安定性に遭遇する。 連鎖テンソルネットワークの摂動を研究し,tcにおける不安定性の解釈を行い,この問題を実証する。 本研究では, 分解結果の安定性, ネットワークの頑健性, より良い近似値を得るための新しい手法を提案する。 実験結果から,cnnの圧縮とtc分解における提案手法の優れていることを確認する。

関連論文リスト

• "Lossless" Compression of Deep Neural Networks: A High-dimensional Neural Tangent Kernel Approach [49.744093838327615]
  広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。 提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
  論文  参考訳（メタデータ） (2024-03-01T03:46:28Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• Error Analysis of Tensor-Train Cross Approximation [88.83467216606778]
  我々は, テンソル全体の精度保証を行う。 結果は数値実験により検証され、高次テンソルに対するクロス近似の有用性に重要な意味を持つ可能性がある。
  論文  参考訳（メタデータ） (2022-07-09T19:33:59Z)
• Truncated tensor Schatten p-norm based approach for spatiotemporal traffic data imputation with complicated missing patterns [77.34726150561087]
  本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。 本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
  論文  参考訳（メタデータ） (2022-05-19T08:37:56Z)
• Tensor-Train Networks for Learning Predictive Modeling of Multidimensional Data [0.0]
  有望な戦略は、物理的および化学的用途で非常に成功したテンソルネットワークに基づいています。 本研究では, 多次元回帰モデルの重みをテンソルネットワークを用いて学習し, 強力なコンパクト表現を実現することを示した。 TT形式の重みを計算力の低減で近似するための最小二乗を交互に行うアルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2021-01-22T16:14:38Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Kronecker CP Decomposition with Fast Multiplication for Compressing RNNs [11.01184134911405]
  リカレントニューラルネットワーク(RNN)は、自然言語処理やビデオ認識などのシーケンシャルデータに指向するタスクにおいて強力である。 本稿では,Kronecker CANDECOMP/PARAFAC(KCP)分解に基づく圧縮RNNについて考察する。
  論文  参考訳（メタデータ） (2020-08-21T07:29:45Z)
• Stable Low-rank Tensor Decomposition for Compression of Convolutional Neural Network [19.717842489217684]
  本稿では、畳み込み核のテンソル分解における縮退性に関する最初の研究である。 本稿では,畳み込みカーネルの低ランク近似を安定化し,効率的な圧縮を実現する新しい手法を提案する。 画像分類のための一般的なCNNアーキテクチャに対するアプローチを評価し,提案手法により精度が大幅に低下し,一貫した性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-08-12T17:10:12Z)
• T-Basis: a Compact Representation for Neural Networks [89.86997385827055]
  テンソルの集合をコンパクトに表現するための概念である T-Basis をニューラルネットワークでよく見られる任意の形状で導入する。 ニューラルネットワーク圧縮の課題に対する提案手法の評価を行い, 許容性能低下時に高い圧縮速度に達することを示す。
  論文  参考訳（メタデータ） (2020-07-13T19:03:22Z)
• Hybrid Tensor Decomposition in Neural Network Compression [13.146051056642904]
  本稿では階層的タッカー分解法(HT)を導入し,ニューラルネットワーク圧縮におけるその機能について検討する。 HTフォーマットは重み行列の圧縮に優れ,TTフォーマットは畳み込みカーネルの圧縮に適していることが実験的に明らかになった。
  論文  参考訳（メタデータ） (2020-06-29T11:16:22Z)
• On Recoverability of Randomly Compressed Tensors with Low CP Rank [29.00634848772122]
  測定値の数がモデルパラメータの次数と同じであれば、テンソルは復元可能であることを示す。 我々の証明は, 集合被覆手法を用いて, CPDモデルの下でのテキスト制限等尺性(R.I.P.)を導出することに基づいている。
  論文  参考訳（メタデータ） (2020-01-08T04:44:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。