論文の概要: MLCTR: A Fast Scalable Coupled Tensor Completion Based on Multi-Layer
Non-Linear Matrix Factorization
- arxiv url: http://arxiv.org/abs/2109.01773v1
- Date: Sat, 4 Sep 2021 03:08:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-07 16:31:17.233994
- Title: MLCTR: A Fast Scalable Coupled Tensor Completion Based on Multi-Layer
Non-Linear Matrix Factorization
- Title（参考訳）: MLCTR:多層非線形行列分解に基づく高速スケーラブル結合テンソル補完
- Authors: Ajim Uddin, Dan Zhou, Xinyuan Tao, Chia-Ching Chou, Dantong Yu
- Abstract要約: 本稿では, テンソル完備問題の組込み学習に焦点をあて, 因子化・完備化のための新しい多層ニューラルネットワークアーキテクチャを提案する。
ネットワークアーキテクチャには、オーバーフィッティングを最小限に抑えるためにブロックを構築する一連の低ランク行列因数分解、非直線性のために各層でインターリーブされた転送関数、ネットワークの深さを減少させるバイパス接続など、多くの利点がある。
提案アルゴリズムはEPSデータに欠落した値を出力するのに非常に効率的である。
- 参考スコア（独自算出の注目度）: 3.6978630614152013
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Firms earning prediction plays a vital role in investment decisions,
dividends expectation, and share price. It often involves multiple
tensor-compatible datasets with non-linear multi-way relationships,
spatiotemporal structures, and different levels of sparsity. Current non-linear
tensor completion algorithms tend to learn noisy embedding and incur
overfitting. This paper focuses on the embedding learning aspect of the tensor
completion problem and proposes a new multi-layer neural network architecture
for tensor factorization and completion (MLCTR). The network architecture
entails multiple advantages: a series of low-rank matrix factorizations (MF)
building blocks to minimize overfitting, interleaved transfer functions in each
layer for non-linearity, and by-pass connections to reduce the gradient
diminishing problem and increase the depths of neural networks. Furthermore,
the model employs Stochastic Gradient Descent(SGD) based optimization for fast
convergence in training. Our algorithm is highly efficient for imputing missing
values in the EPS data. Experiments confirm that our strategy of incorporating
non-linearity in factor matrices demonstrates impressive performance in
embedding learning and end-to-end tensor models, and outperforms approaches
with non-linearity in the phase of reconstructing tensors from factor matrices.
- Abstract（参考訳）: 予測を得る企業は、投資決定、配当期待、株価において重要な役割を果たす。
しばしば、非線形な多方向関係、時空間構造、異なるレベルの空間を持つ複数のテンソル互換データセットを含む。
現在の非線形テンソル補完アルゴリズムはノイズの埋め込みやオーバーフィットを学習する傾向がある。
本稿では,テンソル補完問題の組込み学習の側面に注目し,テンソル分解・補完(mlctr)のための新しい多層ニューラルネットワークアーキテクチャを提案する。
ネットワークアーキテクチャには、オーバーフィッティングを最小限に抑える一連の低ランク行列分解(MF)ビルディングブロック、非線形性のために各層のインターリーブ転送関数、勾配減少問題を低減しニューラルネットワークの深さを増大させるバイパス接続など、多くの利点がある。
さらに、このモデルは、学習における高速収束のためにSGDに基づく最適化を採用する。
提案アルゴリズムはEPSデータに欠落した値を出力するのに非常に効率的である。
要素行列に非線形性を導入するという我々の戦略は、組込み学習とエンドツーエンドのテンソルモデルにおいて顕著な性能を示し、因子行列からテンソルを再構成するフェーズにおいて非線形性を持つアプローチを上回ります。
関連論文リスト
- Multilinear Kernel Regression and Imputation via Manifold Learning [5.482532589225551]
MultiL-KRIMは、空間の直感的な概念に基づいて構築され、ポイントクラウドの隣人(回帰者)間の協調を損失関数のデータモデリング用語に直接組み込む。
2つの重要なアプリケーションドメインはMultiL-KRIMの機能を示す: 時間変化グラフ信号(TVGS)リカバリと、高速な動的磁気共鳴イメージング(dMRI)データの再構成である。
論文 参考訳（メタデータ） (2024-02-06T02:50:42Z) - conv_einsum: A Framework for Representation and Fast Evaluation of
Multilinear Operations in Convolutional Tensorial Neural Networks [28.416123889998243]
本研究では,テンソル畳み込み層をeinsumのような文字列として表現するフレームワークと,FLOPを最小化してこれらの文字列を評価するメタアルゴリズムであるconv_einsumを開発する。
論文 参考訳（メタデータ） (2024-01-07T04:30:12Z) - Tensorized LSSVMs for Multitask Regression [48.844191210894245]
マルチタスク学習(MTL)は、複数のタスク間の関連性を利用してパフォーマンスを向上させる。
低ランクテンソル解析とLast Squares Support Vectorized Least Squares Support Vectorized tLSSVM-MTLを利用する。
論文 参考訳（メタデータ） (2023-03-04T16:36:03Z) - Truncated tensor Schatten p-norm based approach for spatiotemporal
traffic data imputation with complicated missing patterns [77.34726150561087]
本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。
本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
論文 参考訳（メタデータ） (2022-05-19T08:37:56Z) - Tensor-Train Networks for Learning Predictive Modeling of
Multidimensional Data [0.0]
有望な戦略は、物理的および化学的用途で非常に成功したテンソルネットワークに基づいています。
本研究では, 多次元回帰モデルの重みをテンソルネットワークを用いて学習し, 強力なコンパクト表現を実現することを示した。
TT形式の重みを計算力の低減で近似するための最小二乗を交互に行うアルゴリズムが提案されている。
論文 参考訳（メタデータ） (2021-01-22T16:14:38Z) - Multi-mode Core Tensor Factorization based Low-Rankness and Its
Applications to Tensor Completion [0.0]
低ランクテンソル補完はコンピュータや機械学習で広く使われている。
本稿では,マルチモーダルテンソル化アルゴリズム(MCTF)と低ランク度尺度を併用し,より優れた非スペクトル緩和形式を提案する。
論文 参考訳（メタデータ） (2020-12-03T13:57:00Z) - A Fully Tensorized Recurrent Neural Network [48.50376453324581]
重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。
このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
論文 参考訳（メタデータ） (2020-10-08T18:24:12Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳（メタデータ） (2020-03-13T13:11:35Z) - Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。
また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
論文 参考訳（メタデータ） (2020-02-20T15:43:02Z) - A Multi-Scale Tensor Network Architecture for Classification and
Regression [0.0]
テンソルネットワークを用いた教師あり学習のためのアルゴリズムを提案する。
我々はウェーブレット変換の連続を通して粗粒化によってデータを前処理するステップを採用する。
ネットワークを通しての細粒化がモデルの初期化にどのように利用されるかを示す。
論文 参考訳（メタデータ） (2020-01-22T21:26:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。