論文の概要: Nexus sine qua non: Essentially connected neural networks for
spatial-temporal forecasting of multivariate time series
- arxiv url: http://arxiv.org/abs/2307.01482v1
- Date: Tue, 4 Jul 2023 05:19:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-06 18:17:25.581534
- Title: Nexus sine qua non: Essentially connected neural networks for
spatial-temporal forecasting of multivariate time series
- Title(参考訳): Nexus sine qua non:多変量時系列の時空間予測のための基本結合ニューラルネットワーク
- Authors: Tong Nie, Guoyang Qin, Yunpeng Wang, Jian Sun
- Abstract要約: 本稿では,ノード識別を利用したエンコーダの高密度デコーダとメッセージパッシング層によって完全に定義された,コンパクトな予測モデルを提案する。
適切な帰納的ベースを持つ単純でエレガントなモデルが、精巧な設計と比較できることを示す実証的な結果が得られた。
- 参考スコア(独自算出の注目度): 76.45949280328838
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modeling and forecasting multivariate time series not only facilitates the
decision making of practitioners, but also deepens our scientific understanding
of the underlying dynamical systems. Spatial-temporal graph neural networks
(STGNNs) are emerged as powerful predictors and have become the de facto models
for learning spatiotemporal representations in recent years. However, existing
architectures of STGNNs tend to be complicated by stacking a series of fancy
layers. The designed models could be either redundant or enigmatic, which pose
great challenges on their complexity and scalability. Such concerns prompt us
to re-examine the designs of modern STGNNs and identify core principles that
contribute to a powerful and efficient neural predictor. Here we present a
compact predictive model that is fully defined by a dense encoder-decoder and a
message-passing layer, powered by node identifications, without any complex
sequential modules, e.g., TCNs, RNNs, and Transformers. Empirical results
demonstrate how a simple and elegant model with proper inductive basis can
compare favorably w.r.t. the state of the art with elaborate designs, while
being much more interpretable and computationally efficient for
spatial-temporal forecasting problem. We hope our findings would open new
horizons for future studies to revisit the design of more concise neural
forecasting architectures.
- Abstract(参考訳): 多変量時系列のモデリングと予測は、実践者の意思決定を促進するだけでなく、基礎となる力学系の科学的理解を深める。
近年,時空間グラフニューラルネットワーク(STGNN)が強力な予測器として登場し,時空間表現を学習するためのデファクトモデルとなっている。
しかし、既存のstgnnのアーキテクチャは、一連の派手なレイヤーを積み重ねることで複雑になりがちである。
設計されたモデルは冗長か謎めいたものであり、複雑さと拡張性に大きな課題をもたらす。
このような懸念から、私たちは現代のSTGNNの設計を再検討し、強力で効率的な神経予測に寄与するコア原則を特定できます。
本稿では,高密度エンコーダデコーダとノード識別によるメッセージパッシング層によって完全に定義された,TN,RNN,Transformerなどの複雑な逐次モジュールを持たない,コンパクトな予測モデルを提案する。
実験的な結果は、適切な帰納的ベースを持つ単純でエレガントなモデルが、空間的時間的予測問題に対してより解釈可能で計算的に効率的でありながら、芸術の状態と精巧な設計を適切に比較できることを示している。
我々は、より簡潔な神経予測アーキテクチャの設計を再考するために、将来の研究のための新たな地平を開くことを願っている。
関連論文リスト
- Advancing the Robustness of Large Language Models through Self-Denoised Smoothing [50.54276872204319]
大規模言語モデル(LLM)は大きな成功を収めたが、敵の摂動に対する脆弱性は大きな懸念を引き起こしている。
本稿では,LLMのマルチタスク特性を活用して,まずノイズの入力を識別し,次にこれらの復号化バージョンに基づいて予測を行う。
LLMのロバスト性を高めるために個別のモデルを訓練する必要がある従来のコンピュータビジョンのスムース化技術とは異なり、本手法は効率と柔軟性を著しく向上させる。
論文 参考訳(メタデータ) (2024-04-18T15:47:00Z) - Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance [55.872926690722714]
本研究では,関数形式の混合比に関するモデル性能の予測可能性について検討する。
トレーニングステップのスケーリング法則,モデルサイズ,データ混合法則のネスト利用を提案する。
提案手法は,RedPajamaにおける100Bトークンをトレーニングした1Bモデルのトレーニング混合物を効果的に最適化する。
論文 参考訳(メタデータ) (2024-03-25T17:14:00Z) - FairSTG: Countering performance heterogeneity via collaborative sample-level optimization [11.332049332977396]
スマートStemporal Graph Learning(FairSTG)のためのモデルに依存しないFairness-awareフレームワークを提案する。
本研究は, 都市部における時間的資源配分のリスクを軽減できる可能性がある。
論文 参考訳(メタデータ) (2024-03-19T02:59:50Z) - Supervised Contrastive Learning based Dual-Mixer Model for Remaining
Useful Life Prediction [3.081898819471624]
Remaining Useful Life (RUL)予測は、現在の予測モーメントからデバイスの完全な障害までの残時間を正確に見積もることを目的としている。
従来のRUL予測手法における時間的特徴と空間的特徴の厳密結合の欠点を克服するため,Dual-Mixerモデルと呼ばれる空間的時間的特徴抽出器を提案する。
提案手法の有効性は,C-MAPSSデータセットに関する他の最新の研究結果との比較により検証した。
論文 参考訳(メタデータ) (2024-01-29T14:38:44Z) - TiMix: Text-aware Image Mixing for Effective Vision-Language
Pre-training [42.142924806184425]
クロスモーダルなコントラスト学習のための混合データサンプルは、暗黙的にコントラスト損失のレギュレータとして機能する。
TiMixは、既存のメソッドに対してベンチマークした場合、トレーニングデータの量が減り、トレーニング時間が短縮された場合でも、ダウンストリームタスクで同等のパフォーマンスを示す。
論文 参考訳(メタデータ) (2023-12-14T12:02:24Z) - Exploring Progress in Multivariate Time Series Forecasting:
Comprehensive Benchmarking and Heterogeneity Analysis [72.18987459587682]
MTS予測における公正な比較のために設計されたベンチマークであるBasicTSを紹介する。
MTSデータセットの不均一性を強調し、時間的特徴と空間的特徴に基づいて分類する。
論文 参考訳(メタデータ) (2023-10-09T19:52:22Z) - MLPST: MLP is All You Need for Spatio-Temporal Prediction [40.65579041549435]
交通は典型的な深層モデルに基づく予測手法である。
トラフィック予測のための純粋多層パーセプトロンアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-09-23T12:58:16Z) - Spatial-Temporal Identity: A Simple yet Effective Baseline for
Multivariate Time Series Forecasting [17.84296081495185]
我々は、STGNNほど強力だが、より簡潔で効率的なモデルを設計し、MTS予測の重要な要素について検討する。
本稿では,空間的,時間的両面におけるサンプルの不明瞭さを重要なボトルネックとみなし,MSS予測のための簡易かつ効果的なベースラインを提案する。
これらの結果から,STGNNに制限されることなく,サンプルの不明瞭さを解消できる限り,効率的かつ効率的なモデルを設計できることが示唆された。
論文 参考訳(メタデータ) (2022-08-10T09:25:43Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳(メタデータ) (2022-04-13T12:43:12Z) - A Generative Learning Approach for Spatio-temporal Modeling in Connected
Vehicular Network [55.852401381113786]
本稿では,コネクテッドカーの無線アクセス遅延を実現するための総合的時間品質フレームワークであるLaMI(Latency Model Inpainting)を提案する。
LaMIはイメージインペイントと合成のアイデアを採用し、2段階の手順で欠落したレイテンシサンプルを再構築することができる。
特に、パッチ方式のアプローチを用いて各地域で収集されたサンプル間の空間的相関を初めて発見し、その後、原点および高度に相関したサンプルをバラエナオートコーダ(VAE)に供給する。
論文 参考訳(メタデータ) (2020-03-16T03:43:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。