論文の概要: Dynamic Tensor Decomposition via Neural Diffusion-Reaction Processes
- arxiv url: http://arxiv.org/abs/2310.19666v1
- Date: Mon, 30 Oct 2023 15:49:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-01 19:33:43.120857
- Title: Dynamic Tensor Decomposition via Neural Diffusion-Reaction Processes
- Title（参考訳）: 神経拡散反応過程による動的テンソル分解
- Authors: Zheng Wang, Shikai Fang, Shibo Li, Shandian Zhe
- Abstract要約: テンソル分解は マルチウェイデータ解析の 重要なツールです
動的EMbedIngs fOr Dynamic Algorithm dEcomposition (DEMOTE)を提案する。
シミュレーション研究と実世界の応用の両方において,本手法の利点を示す。
- 参考スコア（独自算出の注目度）: 24.723536390322582
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tensor decomposition is an important tool for multiway data analysis. In
practice, the data is often sparse yet associated with rich temporal
information. Existing methods, however, often under-use the time information
and ignore the structural knowledge within the sparsely observed tensor
entries. To overcome these limitations and to better capture the underlying
temporal structure, we propose Dynamic EMbedIngs fOr dynamic Tensor
dEcomposition (DEMOTE). We develop a neural diffusion-reaction process to
estimate dynamic embeddings for the entities in each tensor mode. Specifically,
based on the observed tensor entries, we build a multi-partite graph to encode
the correlation between the entities. We construct a graph diffusion process to
co-evolve the embedding trajectories of the correlated entities and use a
neural network to construct a reaction process for each individual entity. In
this way, our model can capture both the commonalities and personalities during
the evolution of the embeddings for different entities. We then use a neural
network to model the entry value as a nonlinear function of the embedding
trajectories. For model estimation, we combine ODE solvers to develop a
stochastic mini-batch learning algorithm. We propose a stratified sampling
method to balance the cost of processing each mini-batch so as to improve the
overall efficiency. We show the advantage of our approach in both simulation
study and real-world applications. The code is available at
https://github.com/wzhut/Dynamic-Tensor-Decomposition-via-Neural-Diffusion-Reaction-Processes.
- Abstract（参考訳）: テンソル分解は多方向データ解析の重要なツールである。
実際には、データはしばしばスパースされ、リッチな時間情報と関連付けられる。
しかし、既存の手法はしばしば時間情報を過小評価し、わずかに観察されたテンソルエントリ内の構造的知識を無視する。
これらの制限を克服し、その基盤となる時間構造をよりよく捉えるために、Dynamic EMbedIngs fOr dynamic Tensor dEcomposition (DEMOTE)を提案する。
各テンソルモードにおけるエンティティの動的埋め込みを推定するニューラル拡散-反応プロセスを開発した。
具体的には、観測されたテンソルエントリに基づいて、エンティティ間の相関をエンコードする多成分グラフを構築する。
グラフ拡散プロセスを構築し、相関したエンティティの埋め込み軌道を共進化させ、ニューラルネットワークを用いて個々のエンティティに対する反応プロセスを構築する。
このようにして、我々のモデルは、異なる実体に対する埋め込みの進化において、共通性と個性の両方を捉えることができる。
次に、ニューラルネットワークを用いて入力値を埋め込み軌道の非線形関数としてモデル化する。
モデル推定にはODEソルバを組み合わせて確率的ミニバッチ学習アルゴリズムを開発する。
本稿では,各ミニバッチの処理コストのバランスをとるための階層化サンプリング手法を提案する。
我々はシミュレーション研究と実世界のアプリケーションの両方において,このアプローチの利点を示す。
コードはhttps://github.com/wzhut/dynamic-tensor-decomposition-via-neural-diffusion-reaction-processesで入手できる。
関連論文リスト
- Simulation-Free Training of Neural ODEs on Paired Data [20.36333430055869]
我々は,NODEのシミュレーションフリートレーニングにフローマッチングフレームワークを用いる。
ペアデータ間で直接フローマッチングを適用することは、しばしば不定義のフローにつながることを示す。
データペアの埋め込み空間にフローマッチングを適用するための簡単な拡張を提案する。
論文 参考訳（メタデータ） (2024-10-30T11:18:27Z) - Equivariant Graph Neural Operator for Modeling 3D Dynamics [148.98826858078556]
我々は,次のステップの予測ではなく,ダイナミックスを直接トラジェクトリとしてモデル化するために,Equivariant Graph Neural Operator (EGNO)を提案する。
EGNOは3次元力学の時間的進化を明示的に学習し、時間とともに関数として力学を定式化し、それを近似するためにニューラル演算子を学習する。
粒子シミュレーション、人間のモーションキャプチャー、分子動力学を含む複数の領域における総合的な実験は、既存の手法と比較して、EGNOの極めて優れた性能を示す。
論文 参考訳（メタデータ） (2024-01-19T21:50:32Z) - Diffusion-Model-Assisted Supervised Learning of Generative Models for
Density Estimation [10.793646707711442]
本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。
スコアベース拡散モデルを用いてラベル付きデータを生成する。
ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
論文 参考訳（メタデータ） (2023-10-22T23:56:19Z) - The Underlying Correlated Dynamics in Neural Training [6.385006149689549]
ニューラルネットワークのトレーニングは、計算集約的なタスクである。
本稿では,パラメータのダイナミクスの相関に基づくモデルを提案する。
この表現は、基礎となるトレーニングダイナミクスの理解を深め、より良い加速技術を設計するための道を開くことができる。
論文 参考訳（メタデータ） (2022-12-18T08:34:11Z) - Neural ODEs with Irregular and Noisy Data [8.349349605334316]
ノイズや不規則なサンプル測定を用いて微分方程式を学習する手法について議論する。
我々の方法論では、ディープニューラルネットワークとニューラル常微分方程式(ODE)アプローチの統合において、大きな革新が見られる。
ベクトル場を記述するモデルを学習するためのフレームワークは,雑音測定において非常に効果的である。
論文 参考訳（メタデータ） (2022-05-19T11:24:41Z) - Characterizing and overcoming the greedy nature of learning in
multi-modal deep neural networks [62.48782506095565]
深層ニューラルネットワークにおける学習の欲張った性質から、モデルは一つのモダリティにのみ依存する傾向にあり、他のモダリティには不適合であることを示す。
本稿では,学習中のモーダル間の条件付き学習速度のバランスをとるアルゴリズムを提案し,グリージー学習の問題に対処できることを実証する。
論文 参考訳（メタデータ） (2022-02-10T20:11:21Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - Learning Dynamics from Noisy Measurements using Deep Learning with a
Runge-Kutta Constraint [9.36739413306697]
そこで本研究では,雑音と疎サンプルを用いた微分方程式の学習手法について論じる。
我々の方法論では、ディープニューラルネットワークと古典的な数値積分法の統合において、大きな革新が見られる。
論文 参考訳（メタデータ） (2021-09-23T15:43:45Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳（メタデータ） (2021-06-25T22:08:51Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳（メタデータ） (2020-06-16T21:56:22Z) - Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。
これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。
この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2020-02-21T05:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。