論文の概要: Factor Augmented Tensor-on-Tensor Neural Networks
- arxiv url: http://arxiv.org/abs/2405.19610v2
- Date: Fri, 20 Dec 2024 02:29:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-23 16:21:19.762133
- Title: Factor Augmented Tensor-on-Tensor Neural Networks
- Title（参考訳）: 因子強化テンソル・オン・テンソルニューラルネットワーク
- Authors: Guanhao Zhou, Yuefeng Han, Xiufan Yu,
- Abstract要約: 本稿では、テンソル因子モデルとディープニューラルネットワークを融合したFATTNN(Facter Augmented-on-Tensor Neural Network)を提案する。
提案アルゴリズムは,予測精度を大幅に向上し,計算時間を大幅に短縮することを示す。
- 参考スコア（独自算出の注目度）: 3.0040661953201475
- License:
- Abstract: This paper studies the prediction task of tensor-on-tensor regression in which both covariates and responses are multi-dimensional arrays (a.k.a., tensors) across time with arbitrary tensor order and data dimension. Existing methods either focused on linear models without accounting for possibly nonlinear relationships between covariates and responses, or directly employed black-box deep learning algorithms that failed to utilize the inherent tensor structure. In this work, we propose a Factor Augmented Tensor-on-Tensor Neural Network (FATTNN) that integrates tensor factor models into deep neural networks. We begin with summarizing and extracting useful predictive information (represented by the ``factor tensor'') from the complex structured tensor covariates, and then proceed with the prediction task using the estimated factor tensor as input of a temporal convolutional neural network. The proposed methods effectively handle nonlinearity between complex data structures, and improve over traditional statistical models and conventional deep learning approaches in both prediction accuracy and computational cost. By leveraging tensor factor models, our proposed methods exploit the underlying latent factor structure to enhance the prediction, and in the meantime, drastically reduce the data dimensionality that speeds up the computation. The empirical performances of our proposed methods are demonstrated via simulation studies and real-world applications to three public datasets. Numerical results show that our proposed algorithms achieve substantial increases in prediction accuracy and significant reductions in computational time compared to benchmark methods.
- Abstract（参考訳）: 本稿では、共変量と応答が任意のテンソル次数とデータ次元を持つ多次元配列(テンソル)であるテンソル・オン・テンソル回帰の予測タスクについて検討する。
既存の方法は、共変量と応答の間の非線形関係を考慮せずに線形モデルに焦点を合わせるか、あるいは本質的にテンソル構造を利用できなかったブラックボックス深層学習アルゴリズムを直接使用するかのいずれかであった。
本研究では, テンソル因子モデルを深部ニューラルネットワークに統合したFATTNN(Facter Augmented Tensor-on-Tensor Neural Network)を提案する。
まず、複素構造テンソル共変体から有用な予測情報を要約して抽出し、その後、時間的畳み込みニューラルネットワークの入力として推定因子テンソルを用いて予測タスクを進める。
提案手法は, 複雑なデータ構造間の非線形性を効果的に処理し, 予測精度と計算コストの両面で従来の統計モデルおよび従来のディープラーニング手法よりも優れた手法である。
提案手法は, テンソル因子モデルを利用して, 基礎となる潜在因子構造を利用して予測を強化し, その間, 計算を高速化するデータ次元を大幅に削減する。
提案手法の実証的な性能は,シミュレーション研究と実世界の3つの公開データセットへの適用を通して実証される。
その結果,提案アルゴリズムは,ベンチマーク法と比較して予測精度の大幅な向上と計算時間の大幅な削減を実現していることがわかった。
関連論文リスト
- A Dynamical Model of Neural Scaling Laws [79.59705237659547]
ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。
我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
論文 参考訳（メタデータ） (2024-02-02T01:41:38Z) - Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳（メタデータ） (2023-09-02T01:27:53Z) - Truncated tensor Schatten p-norm based approach for spatiotemporal
traffic data imputation with complicated missing patterns [77.34726150561087]
本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。
本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
論文 参考訳（メタデータ） (2022-05-19T08:37:56Z) - Scalable computation of prediction intervals for neural networks via
matrix sketching [79.44177623781043]
既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。
本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-06T13:18:31Z) - A Probit Tensor Factorization Model For Relational Learning [31.613211987639296]
本稿では,従来のテンソル因数分解モデルから計算効率を継承する,プロビットリンク付きバイナリテンソル因数分解モデルを提案する。
提案手法は,予測精度と解釈可能性の両面で優位性を示す。
論文 参考訳（メタデータ） (2021-11-06T19:23:07Z) - Scaling and Scalability: Provable Nonconvex Low-Rank Tensor Estimation
from Incomplete Measurements [30.395874385570007]
基本的な課題は、高度に不完全な測定からテンソルを忠実に回収することである。
タッカー分解におけるテンソル因子を直接回復するアルゴリズムを開発した。
2つの正準問題に対する基底真理テンソルの線形独立率で確実に収束することを示す。
論文 参考訳（メタデータ） (2021-04-29T17:44:49Z) - Tensor-Train Networks for Learning Predictive Modeling of
Multidimensional Data [0.0]
有望な戦略は、物理的および化学的用途で非常に成功したテンソルネットワークに基づいています。
本研究では, 多次元回帰モデルの重みをテンソルネットワークを用いて学習し, 強力なコンパクト表現を実現することを示した。
TT形式の重みを計算力の低減で近似するための最小二乗を交互に行うアルゴリズムが提案されている。
論文 参考訳（メタデータ） (2021-01-22T16:14:38Z) - Partially Observed Dynamic Tensor Response Regression [17.930417764563106]
現代のデータ科学では、動的テンソルデータが多くの応用で普及している。
本研究では,部分的に観察された動的テンソル間隔を予測子として回帰モデルを開発する。
本稿では,シミュレーションによる提案手法の有効性と2つの実応用について述べる。
論文 参考訳（メタデータ） (2020-02-22T17:14:10Z) - Supervised Learning for Non-Sequential Data: A Canonical Polyadic
Decomposition Approach [85.12934750565971]
特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。
この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。
表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
論文 参考訳（メタデータ） (2020-01-27T22:38:40Z) - Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。
本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文 参考訳（メタデータ） (2020-01-14T22:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。