論文の概要: Latent Matrices for Tensor Network Decomposition and to Tensor Completion

• arxiv url: http://arxiv.org/abs/2210.03392v1
• Date: Fri, 7 Oct 2022 08:19:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 15:02:19.106752
• Title: Latent Matrices for Tensor Network Decomposition and to Tensor Completion
• Title（参考訳）: テンソルネットワーク分解とテンソル完備のための潜在行列
• Authors: Peilin Yang, Weijun Sun, Qinbin Zhao, Guoxu Zhou
• Abstract要約: テンソルを小さく分解し,アルゴリズムの計算を高速化する新しい高階テンソル分解モデルを提案する。 LMTN-PAM, LMTN-SVD, LMTN-ARの3つの最適化アルゴリズムを開発し, テンソル補完タスクに適用した。 実験の結果, LMTN-SVDアルゴリズムはFCTN-PAMアルゴリズムの3～6倍高速であり, 1.8ポイントの精度低下しか得られなかった。
• 参考スコア（独自算出の注目度）: 8.301418317685906
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The prevalent fully-connected tensor network (FCTN) has achieved excellent success to compress data. However, the FCTN decomposition suffers from slow computational speed when facing higher-order and large-scale data. Naturally, there arises an interesting question: can a new model be proposed that decomposes the tensor into smaller ones and speeds up the computation of the algorithm? This work gives a positive answer by formulating a novel higher-order tensor decomposition model that utilizes latent matrices based on the tensor network structure, which can decompose a tensor into smaller-scale data than the FCTN decomposition, hence we named it Latent Matrices for Tensor Network Decomposition (LMTN). Furthermore, three optimization algorithms, LMTN-PAM, LMTN-SVD and LMTN-AR, have been developed and applied to the tensor-completion task. In addition, we provide proofs of theoretical convergence and complexity analysis for these algorithms. Experimental results show that our algorithm has the effectiveness in both deep learning dataset compression and higher-order tensor completion, and that our LMTN-SVD algorithm is 3-6 times faster than the FCTN-PAM algorithm and only a 1.8 points accuracy drop.
• Abstract（参考訳）: 一般的な完全連結テンソルネットワーク(FCTN)はデータ圧縮に優れた成功を収めている。 しかし、FCTN分解は、高次および大規模データに直面すると、計算速度が遅くなる。 テンソルを小さく分解し、アルゴリズムの計算を高速化する新しいモデルを提案することができるだろうか? この研究は、テンソルネットワーク構造に基づく潜在行列を用いて、fctn分解よりも小さなデータにテンソルを分解できる新しい高階テンソル分解モデルを定式化し、それをテンソルネットワーク分解のための潜在行列(lmtn)と名付けた。 さらに,3つの最適化アルゴリズム LMTN-PAM, LMTN-SVD, LMTN-AR をテンソル補完タスクに適用した。 さらに,これらのアルゴリズムに対する理論的収束と複雑性解析の証明を提供する。 実験結果から,本アルゴリズムは深層学習データセット圧縮と高次テンソル完備化の両方において有効であり,LMTN-SVDアルゴリズムはFCTN-PAMアルゴリズムの3～6倍高速であり,1.8ポイントの精度低下しか得られないことがわかった。

関連論文リスト

• Scalable CP Decomposition for Tensor Learning using GPU Tensor Cores [47.87810316745786]
  本研究では,エクサスケールテンソル分解を支援する圧縮型テンソル分解フレームワークを提案する。 ベースラインと比較すると、エクスカスケール・テンソルは8000倍のテンソルをサポートし、スピードアップは6.95倍である。 また,本手法を遺伝子解析とテンソル層ニューラルネットワークを含む実世界の2つの応用に適用する。
  論文  参考訳（メタデータ） (2023-11-22T21:04:59Z)
• Tensor Completion via Leverage Sampling and Tensor QR Decomposition for Network Latency Estimation [2.982069479212266]
  大規模なネットワーク遅延推定には、多くの計算時間が必要です。 より高速で高精度な新しい手法を提案する。 数値実験により,本手法は精度のよい最先端アルゴリズムよりも高速であることが確認された。
  論文  参考訳（メタデータ） (2023-06-27T07:21:26Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Truncated tensor Schatten p-norm based approach for spatiotemporal traffic data imputation with complicated missing patterns [77.34726150561087]
  本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。 本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
  論文  参考訳（メタデータ） (2022-05-19T08:37:56Z)
• A high-order tensor completion algorithm based on Fully-Connected Tensor Network weighted optimization [8.229028597459752]
  完全連結テンソルネットワーク重み付き最適化(FCTN-WOPT)と呼ばれる新しいテンソル補完法を提案する。 このアルゴリズムは、FCTN分解から因子を初期化して完成テンソルの構成を行う。 その結果,FCTN-WOPTが高次テンソル完備化に適用された際の高性能性を示した。
  論文  参考訳（メタデータ） (2022-04-04T13:46:32Z)
• Multi-Tensor Network Representation for High-Order Tensor Completion [25.759851542474447]
  この研究は、部分的に観察されたサンプリングから高次元データ(テンソルを参照)の完備化の問題を研究する。 テンソルは複数の低ランク成分の重ね合わせであると考える。 本稿では,基本テンソル分解フレームワークであるMulti-Tensor Network decomposition (MTNR)を提案する。
  論文  参考訳（メタデータ） (2021-09-09T03:50:19Z)
• Augmented Tensor Decomposition with Stochastic Optimization [46.16865811396394]
  実世界のテンソルデータは、通常高次で、数百万から数十億のエントリを持つ大きな次元を持つ。 テンソル全体を従来のアルゴリズムで分解するのは高価である。 本稿では、データ拡張を効果的に取り入れて下流の分類を向上する拡張テンソル分解を提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:29:05Z)
• Connecting Weighted Automata, Tensor Networks and Recurrent Neural Networks through Spectral Learning [58.14930566993063]
  我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。 本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-19T15:28:00Z)
• Adaptive Learning of Tensor Network Structures [6.407946291544721]
  我々はTN形式を利用して汎用的で効率的な適応アルゴリズムを開発し、データからTNの構造とパラメータを学習する。 本アルゴリズムは,任意の微分対象関数を効果的に最適化する少数のパラメータでTN構造を適応的に同定することができる。
  論文  参考訳（メタデータ） (2020-08-12T16:41:56Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Grassmannian Optimization for Online Tensor Completion and Tracking with the t-SVD [10.137631021498109]
  t-SVD は三次テンソルに対するよく研究されたブロック項分解の特殊化であることを示す。 非完全ストリーミング2次元データから自由部分加群の変化を追跡するアルゴリズムを提案する。 提案手法は精度は高いが, 実アプリケーション上での最先端のテンソル補完アルゴリズムよりも計算時間の方がはるかに高速である。
  論文  参考訳（メタデータ） (2020-01-30T15:56:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。