論文の概要: Multi-Head Self-Attending Neural Tucker Factorization

• arxiv url: http://arxiv.org/abs/2501.09776v1
• Date: Thu, 16 Jan 2025 13:04:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-20 13:59:22.380800
• Title: Multi-Head Self-Attending Neural Tucker Factorization
• Title（参考訳）: マルチヘッド自己認識型ニューラルタッカーファクトリゼーション
• Authors: Yikai Hou, Peng Tang,
• Abstract要約: 本稿では,高次元および不完全(HDI)テンソルの学習表現に適したニューラルネットワークに基づくテンソル分解手法を提案する。 提案したMSNTucFモデルでは,観測結果の欠落を推定する上で,最先端のベンチマークモデルと比較して優れた性能を示す。
• 参考スコア（独自算出の注目度）: 5.734615417239977
• License:
• Abstract: Quality-of-service (QoS) data exhibit dynamic temporal patterns that are crucial for accurately predicting missing values. These patterns arise from the evolving interactions between users and services, making it essential to capture the temporal dynamics inherent in such data for improved prediction performance. As the size and complexity of QoS datasets increase, existing models struggle to provide accurate predictions, highlighting the need for more flexible and dynamic methods to better capture the underlying patterns in large-scale QoS data. To address this issue, we introduce a neural network-based tensor factorization approach tailored for learning spatiotemporal representations of high-dimensional and incomplete (HDI) tensors, namely the Multi-head Self-attending Neural Tucker Factorization (MSNTucF). The model is elaborately designed for modeling intricate nonlinear spatiotemporal feature interaction patterns hidden in real world data with a two-fold idea. It first employs a neural network structure to generalize the traditional framework of Tucker factorization and then proposes to leverage a multi-head self-attending module to enforce nonlinear latent interaction learning. In empirical studies on two dynamic QoS datasets from real applications, the proposed MSNTucF model demonstrates superior performance compared to state-of-the-art benchmark models in estimating missing observations. This highlights its ability to learn non-linear spatiotemporal representations of HDI tensors.
• Abstract（参考訳）: QoS(Quality-of-Service)データは、欠落した値を正確に予測するために不可欠な動的時間パターンを示す。 これらのパターンは、ユーザとサービス間の相互作用の進化から生まれ、予測性能を向上させるために、そのようなデータに固有の時間的ダイナミクスをキャプチャすることが不可欠である。 QoSデータセットのサイズと複雑さが大きくなるにつれて、既存のモデルは正確な予測の提供に苦慮し、大規模QoSデータにおける基盤となるパターンをより正確に捉えるための、より柔軟で動的な方法の必要性を強調している。 この問題に対処するために,高次元および不完全(HDI)テンソルの時空間表現を学習するためのニューラルネットワークに基づくテンソル分解手法,すなわち,マルチヘッド自己対応型ニューラルタッカー因子化(MSNTucF)を導入する。 このモデルは、2重のアイデアで実世界のデータに隠された複雑な非線形時空間的特徴相互作用パターンをモデル化するために精巧に設計されている。 最初はニューラルネットワーク構造を用いて、タッカー分解の伝統的なフレームワークを一般化し、その後、非線形潜在相互作用学習を強制するために、マルチヘッドの自己対応モジュールを活用することを提案する。 実アプリケーションから得られた2つの動的QoSデータセットに関する実証的研究において、提案したMSNTucFモデルは、欠落した観測を推定する最先端ベンチマークモデルよりも優れた性能を示す。 これはHDIテンソルの非線形時空間表現を学習する能力を強調している。

関連論文リスト

• Orchid: Flexible and Data-Dependent Convolution for Sequence Modeling [4.190836962132713]
  本稿では,従来の注意機構の2次複雑さに対処する新しいアーキテクチャであるOrchidを紹介する。 このアーキテクチャのコアには、新しいデータ依存のグローバル畳み込み層があり、入力シーケンスに条件付きカーネルを文脈的に適応させる。 言語モデリングや画像分類など,複数の領域にまたがるモデルの評価を行い,その性能と汎用性を強調した。
  論文  参考訳（メタデータ） (2024-02-28T17:36:45Z)
• Neural Koopman prior for data assimilation [7.875955593012905]
  ニューラルネットワークアーキテクチャを使って、潜在空間に動的システムを埋め込む。 本研究では,このようなモデルを長期の継続的再構築のために訓練する手法を提案する。 また,変動データ同化手法の先行として,訓練された動的モデルの有望な利用を示すとともに,自己教師型学習の可能性も示された。
  論文  参考訳（メタデータ） (2023-09-11T09:04:36Z)
• A Momentum-Incorporated Non-Negative Latent Factorization of Tensors Model for Dynamic Network Representation [0.0]
  大規模動的ネットワーク (LDN) は、多くのビッグデータ関連アプリケーションにおけるデータソースである。 テンソル(LFT)モデルの潜在因子化は、この時間パターンを効率的に抽出する。 勾配降下(SGD)解法に基づくLFTモデルは、トレーニングスキームによって制限されることが多く、尾収束が弱い。 本稿では,運動量付きSGDに基づく非線形LFTモデル(MNNL)を提案する。
  論文  参考訳（メタデータ） (2023-05-04T12:30:53Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
  トレーニングセットとその構造が長期予測の品質に与える影響を考察する。 トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-12-15T20:09:20Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
  生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
  論文  参考訳（メタデータ） (2021-06-24T01:40:17Z)
• TCL: Transformer-based Dynamic Graph Modelling via Contrastive Learning [87.38675639186405]
  我々は,動的に進化するグラフを連続的に扱う,TCLと呼ばれる新しいグラフニューラルネットワークアプローチを提案する。 我々の知る限りでは、これは動的グラフ上の表現学習にコントラスト学習を適用する最初の試みである。
  論文  参考訳（メタデータ） (2021-05-17T15:33:25Z)
• Stochastic Recurrent Neural Network for Multistep Time Series Forecasting [0.0]
  我々は、時系列予測のための繰り返しニューラルネットワークの適応を提案するために、深部生成モデルと状態空間モデルの概念の進歩を活用する。 私たちのモデルは、すべての関連情報が隠された状態でカプセル化されるリカレントニューラルネットワークのアーキテクチャ的な動作を保ち、この柔軟性により、モデルはシーケンシャルモデリングのために任意のディープアーキテクチャに簡単に統合できます。
  論文  参考訳（メタデータ） (2021-04-26T01:43:43Z)
• Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
  本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。 これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。 この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-02-21T05:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。