論文の概要: PGN: The RNN's New Successor is Effective for Long-Range Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2409.17703v1
• Date: Thu, 26 Sep 2024 10:20:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-28 20:20:41.383443
• Title: PGN: The RNN's New Successor is Effective for Long-Range Time Series Forecasting
• Title（参考訳）: PGN:RNNの新継機は時系列予測に有効
• Authors: Yuxin Jia, Youfang Lin, Jing Yu, Shuo Wang, Tianhao Liu, Huaiyu Wan,
• Abstract要約: 本稿では,RNN の新たな後継者として Parallel Gated Network (PGN) という新しいパラダイムを提案する。 PGNは、デザインされた履歴情報抽出層を通じて、以前のタイムステップから情報を直接キャプチャする。 本稿では,時系列予測タスクにおけるPGNの性能向上を図るため,TPGN(Temporal PGN)と呼ばれる新しい時間モデリングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 23.37579638218513
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to the recurrent structure of RNN, the long information propagation path poses limitations in capturing long-term dependencies, gradient explosion/vanishing issues, and inefficient sequential execution. Based on this, we propose a novel paradigm called Parallel Gated Network (PGN) as the new successor to RNN. PGN directly captures information from previous time steps through the designed Historical Information Extraction (HIE) layer and leverages gated mechanisms to select and fuse it with the current time step information. This reduces the information propagation path to $\mathcal{O}(1)$, effectively addressing the limitations of RNN. To enhance PGN's performance in long-range time series forecasting tasks, we propose a novel temporal modeling framework called Temporal PGN (TPGN). TPGN incorporates two branches to comprehensively capture the semantic information of time series. One branch utilizes PGN to capture long-term periodic patterns while preserving their local characteristics. The other branch employs patches to capture short-term information and aggregate the global representation of the series. TPGN achieves a theoretical complexity of $\mathcal{O}(\sqrt{L})$, ensuring efficiency in its operations. Experimental results on five benchmark datasets demonstrate the state-of-the-art (SOTA) performance and high efficiency of TPGN, further confirming the effectiveness of PGN as the new successor to RNN in long-range time series forecasting. The code is available in this repository: \url{https://github.com/Water2sea/TPGN}.
• Abstract（参考訳）: RNNの繰り返し構造のため、長い情報伝達経路は、長期依存、勾配爆発/消滅問題、非効率な逐次実行において制限となる。 そこで本研究では,RNN の新たな後継者として Parallel Gated Network (PGN) という新しいパラダイムを提案する。 PGNは、設計された履歴情報抽出(HIE)レイヤを通じて、以前のタイムステップからの情報を直接キャプチャし、ゲート機構を利用して現在のタイムステップ情報を選択し、融合する。 これにより、情報伝搬パスを$\mathcal{O}(1)$に減らし、RNNの制限を効果的に解決する。 長時間連続予測タスクにおけるPGNの性能を高めるために,Temporal PGN (TPGN) と呼ばれる新しい時間モデリングフレームワークを提案する。 TPGNは時系列のセマンティック情報を包括的にキャプチャするために2つのブランチを組み込んでいる。 ある枝はPGNを使用して、その局所特性を保ちながら長期の周期パターンをキャプチャする。 他のブランチはパッチを使用して短期情報をキャプチャし、シリーズのグローバルな表現を集約する。 TPGNは$\mathcal{O}(\sqrt{L})$の理論的複雑さを達成し、演算の効率性を確保する。 5つのベンチマークデータセットによる実験結果から,TPGNのSOTA(State-of-the-art)性能と高効率性を実証し,長距離時系列予測におけるRNNの新たな後継者としてのPGNの有効性を確認した。 コードは、このリポジトリで利用可能である。

関連論文リスト

• TCGPN: Temporal-Correlation Graph Pre-trained Network for Stock Forecasting [1.864621482724548]
  本稿では,これらの制約に対処するため,TCGPN(Temporal-Correlation Graph Pre-trained Network)と呼ばれる新しい手法を提案する。 TCGPNはテンポラル相関融合エンコーダを用いて,時間的および相関的な事前学習タスクを慎重に設計した混合表現と事前学習を行う。 CSI300とCSI500は、最小限の周期性を示す。
  論文  参考訳（メタデータ） (2024-07-26T05:27:26Z)
• Graph Expansion in Pruned Recurrent Neural Network Layers Preserve Performance [7.142235510048155]
  我々は、RNNやLSTMのような再帰的なネットワークを創り出し、基礎となるグラフのスペクトルギャップを大きく維持する。 また、2部層の性質の観点から、時間展開された再帰的ネットワークグラフについても検討する。
  論文  参考訳（メタデータ） (2024-03-17T06:08:08Z)
• PreRoutGNN for Timing Prediction with Order Preserving Partition: Global Circuit Pre-training, Local Delay Learning and Attentional Cell Modeling [84.34811206119619]
  本稿では,事前のタイミング予測に対する2段階のアプローチを提案する。 まず、回路網リストからグローバルグラフ埋め込みを学習するグラフオートエンコーダを事前学習するためのグローバル回路トレーニングを提案する。 第2に、GCN上のメッセージパッシングのための新しいノード更新方式を、学習したグラフ埋め込みと回路グラフのトポロジ的ソートシーケンスに従って使用する。 21個の実世界の回路の実験では、スラック予測のための新しいSOTA R2が0.93で達成され、以前のSOTA法では0.59をはるかに上回っている。
  論文  参考訳（メタデータ） (2024-02-27T02:23:07Z)
• Temporal Aggregation and Propagation Graph Neural Networks for Dynamic Representation [67.26422477327179]
  時間グラフは連続時間を通してノード間の動的相互作用を示す。 本研究では,周辺地域全体と時間的グラフ畳み込みの新たな手法を提案する。 提案するTAP-GNNは,予測性能とオンライン推論遅延の両面で,既存の時間グラフ手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-04-15T08:17:18Z)
• Resurrecting Recurrent Neural Networks for Long Sequences [45.800920421868625]
  リカレントニューラルネットワーク(RNN)は、長いシーケンスに対する高速な推論を提供するが、最適化が難しく、訓練が遅い。 深部状態空間モデル(SSM)は、最近、長いシーケンスモデリングタスクにおいて非常によく機能することが示されている。 本稿では,信号伝搬の標準的な引数を用いた深部RNNの設計により,長距離推論タスクにおける深部SSMの性能を回復できることを示す。
  論文  参考訳（メタデータ） (2023-03-11T08:53:11Z)
• Search to Capture Long-range Dependency with Stacking GNNs for Graph Classification [41.84399177525008]
  浅いGNNは、より深いGNNに直面しているよく知られたオーバースムースな問題のため、より一般的である。 LRGNN(Long-Range Graph Neural Networks)と呼ばれるニューラルアーキテクチャサーチ(NAS)による新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-02-17T03:40:17Z)
• Space-Time Graph Neural Networks [104.55175325870195]
  本研究では、時空間グラフニューラルネットワーク(ST-GNN)を導入し、時間変動ネットワークデータの時空間トポロジを共同処理する。 解析の結果,システムのネットワークトポロジと時間進化の変動はST-GNNの性能に大きく影響しないことがわかった。
  論文  参考訳（メタデータ） (2021-10-06T16:08:44Z)
• Learning to Execute Programs with Instruction Pointer Attention Graph Neural Networks [55.98291376393561]
  グラフニューラルネットワーク(GNN)は、ソフトウェアエンジニアリングタスクを学習するための強力なツールとして登場した。 リカレントニューラルネットワーク(RNN)は、長いシーケンシャルな推論の連鎖に適しているが、プログラム構造を自然に組み込んでいるわけではない。 本稿では,新しいGNNアーキテクチャ,IPA-GNN(Instruction Pointer Attention Graph Neural Networks)を導入する。
  論文  参考訳（メタデータ） (2020-10-23T19:12:30Z)
• HiPPO: Recurrent Memory with Optimal Polynomial Projections [93.3537706398653]
  本稿では,連続信号と離散時系列をベースに投影してオンライン圧縮するための一般フレームワーク(HiPPO)を提案する。 過去の各時間ステップの重要性を示す尺度が与えられた場合、HiPPOは自然なオンライン関数近似問題に対する最適解を生成する。 このフォーマルなフレームワークは、すべての履歴を記憶するために時間をかけてスケールする新しいメモリ更新メカニズム(HiPPO-LegS)を提供する。
  論文  参考訳（メタデータ） (2020-08-17T23:39:33Z)
• Gated Graph Recurrent Neural Networks [176.3960927323358]
  グラフ処理の一般的な学習フレームワークとしてグラフリカレントニューラルネットワーク(GRNN)を導入する。 勾配の消失問題に対処するため,時間,ノード,エッジゲートの3つの異なるゲーティング機構でGRNNを前進させた。 数値的な結果は、GRNNがGNNやRNNよりも優れており、グラフプロセスの時間構造とグラフ構造の両方を考慮することが重要であることを示している。
  論文  参考訳（メタデータ） (2020-02-03T22:35:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。