論文の概要: PRES: Toward Scalable Memory-Based Dynamic Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2402.04284v1
- Date: Tue, 6 Feb 2024 01:34:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-08 18:31:04.715302
- Title: PRES: Toward Scalable Memory-Based Dynamic Graph Neural Networks
- Title（参考訳）: PreS: スケーラブルメモリベースの動的グラフニューラルネットワークを目指して
- Authors: Junwei Su, Difan Zou, Chuan Wu
- Abstract要約: メモリベースの動的グラフニューラルネットワーク(MDGNN)は、動的グラフニューラルネットワークのファミリーであり、メモリモジュールを利用して、長期の時間的依存関係を抽出、抽出、抽出する。
本稿では,時間的バッチサイズが大きいMDGNNの訓練における時間的不連続性に着目し,大規模MDGNNの効率的な訓練について検討する。
- 参考スコア（独自算出の注目度）: 22.47336262812308
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Memory-based Dynamic Graph Neural Networks (MDGNNs) are a family of dynamic
graph neural networks that leverage a memory module to extract, distill, and
memorize long-term temporal dependencies, leading to superior performance
compared to memory-less counterparts. However, training MDGNNs faces the
challenge of handling entangled temporal and structural dependencies, requiring
sequential and chronological processing of data sequences to capture accurate
temporal patterns. During the batch training, the temporal data points within
the same batch will be processed in parallel, while their temporal dependencies
are neglected. This issue is referred to as temporal discontinuity and
restricts the effective temporal batch size, limiting data parallelism and
reducing MDGNNs' flexibility in industrial applications. This paper studies the
efficient training of MDGNNs at scale, focusing on the temporal discontinuity
in training MDGNNs with large temporal batch sizes. We first conduct a
theoretical study on the impact of temporal batch size on the convergence of
MDGNN training. Based on the analysis, we propose PRES, an iterative
prediction-correction scheme combined with a memory coherence learning
objective to mitigate the effect of temporal discontinuity, enabling MDGNNs to
be trained with significantly larger temporal batches without sacrificing
generalization performance. Experimental results demonstrate that our approach
enables up to a 4x larger temporal batch (3.4x speed-up) during MDGNN training.
- Abstract（参考訳）: メモリベースの動的グラフニューラルネットワーク(MDGNN)は、メモリモジュールを利用して長期の時間的依存関係を抽出、抽出、記憶する動的グラフニューラルネットワークのファミリーであり、メモリレスニューラルネットワークよりも優れたパフォーマンスをもたらす。
しかし、MDGNNのトレーニングは、絡み合った時間的および構造的依存関係を扱うという課題に直面し、正確な時間的パターンを捉えるために、データシーケンスの逐次的および時間的処理を必要とする。
バッチトレーニングの間、同じバッチ内の時間的データポイントは並列に処理され、その時間的依存関係は無視される。
この問題は時間的不連続(temporal discontinuity)と呼ばれ、効率的な時間的バッチサイズを制限し、データの並列性を制限し、産業アプリケーションにおけるMDGNNの柔軟性を低下させる。
本稿では,時間的バッチサイズが大きいMDGNNの訓練における時間的不連続性に着目し,大規模MDGNNの効率的な訓練について検討する。
まず,時間的バッチサイズがMDGNNトレーニングの収束に及ぼす影響について理論的研究を行った。
そこで本研究では, 時間的不連続性の影響を軽減するため, メモリコヒーレンス学習目標と組み合わせた反復予測補正手法preSを提案し, 一般化性能を犠牲にすることなく, MDGNNを時間的バッチで訓練することができることを示した。
実験の結果,MDGNNトレーニングでは,最大4倍の時間的バッチ(3.4倍高速化)が可能であった。
関連論文リスト
- TCGPN: Temporal-Correlation Graph Pre-trained Network for Stock Forecasting [1.864621482724548]
本稿では,これらの制約に対処するため,TCGPN(Temporal-Correlation Graph Pre-trained Network)と呼ばれる新しい手法を提案する。
TCGPNはテンポラル相関融合エンコーダを用いて,時間的および相関的な事前学習タスクを慎重に設計した混合表現と事前学習を行う。
CSI300とCSI500は、最小限の周期性を示す。
論文 参考訳（メタデータ） (2024-07-26T05:27:26Z) - Temporal Spiking Neural Networks with Synaptic Delay for Graph Reasoning [91.29876772547348]
スパイキングニューラルネットワーク(SNN)は、生物学的にインスパイアされたニューラルネットワークモデルとして研究されている。
本稿では,SNNがシナプス遅延と時間符号化とを併用すると,グラフ推論の実行(知識)に長けていることを明らかにする。
論文 参考訳（メタデータ） (2024-05-27T05:53:30Z) - MSPipe: Efficient Temporal GNN Training via Staleness-Aware Pipeline [8.889825826072512]
メモリベースの時間グラフニューラルネットワーク(MTGNN)は、ノードメモリモジュールを使用して長期の時間依存を捕捉し保持する時間グラフニューラルネットワークのクラスである。
トレーニングパラダイム、モデルアーキテクチャ、メモリモジュールの欠如などにより、既存の静的GNNの最適化はMTGNNに直接適用できない。
モデル精度を維持しながらトレーニングスループットを最大化するMTGNNのための汎用的で効率的なフレームワークであるMSPipeを提案する。
論文 参考訳（メタデータ） (2024-02-23T05:57:22Z) - Delayed Memory Unit: Modelling Temporal Dependency Through Delay Gate [16.4160685571157]
リカレントニューラルネットワーク(RNN)は、時間的依存をモデル化する能力で広く認識されている。
本稿では、ゲートRNNのための新しい遅延メモリユニット(DMU)を提案する。
DMUは遅延線構造と遅延ゲートをバニラRNNに組み込み、時間的相互作用を高め、時間的信用割り当てを容易にする。
論文 参考訳（メタデータ） (2023-10-23T14:29:48Z) - Temporal Aggregation and Propagation Graph Neural Networks for Dynamic
Representation [67.26422477327179]
時間グラフは連続時間を通してノード間の動的相互作用を示す。
本研究では,周辺地域全体と時間的グラフ畳み込みの新たな手法を提案する。
提案するTAP-GNNは,予測性能とオンライン推論遅延の両面で,既存の時間グラフ手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-04-15T08:17:18Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。
本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文 参考訳（メタデータ） (2022-10-09T07:47:56Z) - Backpropagation with Biologically Plausible Spatio-Temporal Adjustment
For Training Deep Spiking Neural Networks [5.484391472233163]
ディープラーニングの成功は、バックプロパゲーションとは分離できない。
本研究では, 膜電位とスパイクの関係を再考する, 生体可塑性空間調整法を提案する。
次に,生物学的に妥当な時間的調整を提案し,時間的次元のスパイクを横切る誤差を伝搬させる。
論文 参考訳（メタデータ） (2021-10-17T15:55:51Z) - CARRNN: A Continuous Autoregressive Recurrent Neural Network for Deep
Representation Learning from Sporadic Temporal Data [1.8352113484137622]
本稿では,散発データにおける複数の時間的特徴をモデル化するための新しい深層学習モデルを提案する。
提案モデルはCARRNNと呼ばれ、時間ラグによって変調されたニューラルネットワークを用いてエンドツーエンドにトレーニング可能な一般化された離散時間自己回帰モデルを使用する。
アルツハイマー病進行モデルおよび集中治療単位(ICU)死亡率予測のためのデータを用いて,多変量時系列回帰タスクに適用した。
論文 参考訳（メタデータ） (2021-04-08T12:43:44Z) - Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。
暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。
これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文 参考訳（メタデータ） (2020-06-08T09:53:35Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。