論文の概要: Residual Tensor Train: a Flexible and Efficient Approach for Learning Multiple Multilinear Correlations

• arxiv url: http://arxiv.org/abs/2108.08659v1
• Date: Thu, 19 Aug 2021 12:47:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-20 21:17:05.734177
• Title: Residual Tensor Train: a Flexible and Efficient Approach for Learning Multiple Multilinear Correlations
• Title（参考訳）: 残留テンソルトレイン:多重線形相関学習のための柔軟かつ効率的なアプローチ
• Authors: Yiwei Chen, Yu Pan, Daoyi Dong
• Abstract要約: 本稿では, TTと残留構造を融合したResidual Train(Residual Train)を提案する。 特に,ニューラルネットワークとVolterra系列の完全連結層がResTTの特別な場合として利用できることを示す。 このような規則はTTよりもずっと緩やかであることが証明され、つまりResTTは消滅し爆発する勾配問題に容易に対処できる。
• 参考スコア（独自算出の注目度）: 4.754987078078158
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tensor Train (TT) approach has been successfully applied in the modelling of the multilinear interaction of features. Nevertheless, the existing models lack flexibility and generalizability, as they only model a single type of high-order correlation. In practice, multiple multilinear correlations may exist within the features. In this paper, we present a novel Residual Tensor Train (ResTT) which integrates the merits of TT and residual structure to capture the multilinear feature correlations, from low to higher orders, within the same model. In particular, we prove that the fully-connected layer in neural networks and the Volterra series can be taken as special cases of ResTT. Furthermore, we derive the rule for weight initialization that stabilizes the training of ResTT based on a mean-field analysis. We prove that such a rule is much more relaxed than that of TT, which means ResTT can easily address the vanishing and exploding gradient problem that exists in the current TT models. Numerical experiments demonstrate that ResTT outperforms the state-of-the-art tensor network approaches, and is competitive with the benchmark deep learning models on MNIST and Fashion-MNIST datasets.
• Abstract（参考訳）: テンソルトレイン (TT) アプローチは特徴の多線形相互作用のモデル化に成功している。 しかし、既存のモデルは単一の高次相関しかモデル化しないため、柔軟性と一般化性に欠ける。 実際には、特徴の中に複数の多重線形相関が存在する可能性がある。 本稿では,ttと残差構造の利点を統合し,同一モデル内で低次から高次までの多重線形特徴相関を捉える新しい残差テンソルトレイン(restt)を提案する。 特に,ニューラルネットワークとVolterra系列の完全連結層がResTTの特別な場合として利用できることを示す。 さらに、平均場解析に基づいてResTTのトレーニングを安定化させる重み初期化規則を導出する。 このような規則はTTよりもずっと緩やかであることが証明され、つまりResTTは現在のTTモデルに存在する消滅的・爆発的な勾配問題に容易に対処できる。 数値実験により、ResTTは最先端のテンソルネットワークアプローチよりも優れており、MNISTとFashion-MNISTデータセットのベンチマークディープラーニングモデルと競合することを示した。

関連論文リスト

• A Momentum-Incorporated Non-Negative Latent Factorization of Tensors Model for Dynamic Network Representation [0.0]
  大規模動的ネットワーク (LDN) は、多くのビッグデータ関連アプリケーションにおけるデータソースである。 テンソル(LFT)モデルの潜在因子化は、この時間パターンを効率的に抽出する。 勾配降下(SGD)解法に基づくLFTモデルは、トレーニングスキームによって制限されることが多く、尾収束が弱い。 本稿では,運動量付きSGDに基づく非線形LFTモデル(MNNL)を提案する。
  論文  参考訳（メタデータ） (2023-05-04T12:30:53Z)
• ES-dRNN: A Hybrid Exponential Smoothing and Dilated Recurrent Neural Network Model for Short-Term Load Forecasting [1.4502611532302039]
  複雑な時系列(TS)のため、短期負荷予測(STLF)は困難である 本稿では,複数の季節性を扱うハイブリッド階層型ディープラーニングモデルを提案する。 指数スムージング(ES)とリカレントニューラルネットワーク(RNN)を組み合わせる。
  論文  参考訳（メタデータ） (2021-12-05T19:38:42Z)
• Multi-Tensor Network Representation for High-Order Tensor Completion [25.759851542474447]
  この研究は、部分的に観察されたサンプリングから高次元データ(テンソルを参照)の完備化の問題を研究する。 テンソルは複数の低ランク成分の重ね合わせであると考える。 本稿では,基本テンソル分解フレームワークであるMulti-Tensor Network decomposition (MTNR)を提案する。
  論文  参考訳（メタデータ） (2021-09-09T03:50:19Z)
• MLCTR: A Fast Scalable Coupled Tensor Completion Based on Multi-Layer Non-Linear Matrix Factorization [3.6978630614152013]
  本稿では, テンソル完備問題の組込み学習に焦点をあて, 因子化・完備化のための新しい多層ニューラルネットワークアーキテクチャを提案する。 ネットワークアーキテクチャには、オーバーフィッティングを最小限に抑えるためにブロックを構築する一連の低ランク行列因数分解、非直線性のために各層でインターリーブされた転送関数、ネットワークの深さを減少させるバイパス接続など、多くの利点がある。 提案アルゴリズムはEPSデータに欠落した値を出力するのに非常に効率的である。
  論文  参考訳（メタデータ） (2021-09-04T03:08:34Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• On the Memory Mechanism of Tensor-Power Recurrent Models [25.83531612758211]
  TPリカレントモデルの記憶機構について検討する。 長期記憶効果を達成するためには, p が重要条件であることが示される。 新しいモデルは、安定して長いメモリ効果の恩恵を受けることが期待されている。
  論文  参考訳（メタデータ） (2021-03-02T07:07:47Z)
• Provable Model-based Nonlinear Bandit and Reinforcement Learning: Shelve Optimism, Embrace Virtual Curvature [61.22680308681648]
  決定論的報酬を有する1層ニューラルネットバンディットにおいても,グローバル収束は統計的に難解であることを示す。 非線形バンディットとRLの両方に対して,オンラインモデル学習者による仮想アセンジ(Virtual Ascent with Online Model Learner)というモデルベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-08T12:41:56Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• A Fully Tensorized Recurrent Neural Network [48.50376453324581]
  重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。 このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
  論文  参考訳（メタデータ） (2020-10-08T18:24:12Z)
• Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
  本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。 これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。 この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-02-21T05:00:01Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。