Fugu-MT 論文翻訳(概要): STD-PLM: Understanding Both Spatial and Temporal Properties of Spatial-Temporal Data with PLM

論文の概要: STD-PLM: Understanding Both Spatial and Temporal Properties of Spatial-Temporal Data with PLM

arxiv url: http://arxiv.org/abs/2407.09096v3
Date: Tue, 10 Sep 2024 05:10:43 GMT
ステータス: 処理完了
システム内更新日: 2024-09-11 22:42:18.493863
Title: STD-PLM: Understanding Both Spatial and Temporal Properties of Spatial-Temporal Data with PLM
Title（参考訳）: STD-PLM:PLMを用いた時空間データの空間的・時間的特性の理解
Authors: YiHeng Huang, Xiaowei Mao, Shengnan Guo, Yubin Chen, Junfeng Shen, Tiankuo Li, Youfang Lin, Huaiyu Wan,
Abstract要約: STD-PLMは時空間予測と計算処理の両方を実装できる。 STD-PLMは、明示的に設計された空間的および時間的トークン化器を通して空間的時間的相関を理解する。 STD-PLMは予測タスクと計算タスクの競合性能と一般化能力を示す。
参考スコア（独自算出の注目度）: 18.56267873980915
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Spatial-temporal forecasting and imputation are important for real-world intelligent systems. Most existing methods are tailored for individual forecasting or imputation tasks but are not designed for both. Additionally, they are less effective for zero-shot and few-shot learning. While pre-trained language model (PLM) have exhibited strong pattern recognition and reasoning abilities across various tasks, including few-shot and zero-shot learning, their applications in spatial-temporal data understanding has been constrained by insufficient modeling of complex correlations such as the temporal correlations, spatial connectivity, non-pairwise and high-order spatial-temporal correlations within data. In this paper, we propose STD-PLM for understanding both spatial and temporal properties of \underline{S}patial-\underline{T}emporal \underline{D}ata with \underline{PLM}, which is capable of implementing both spatial-temporal forecasting and imputation tasks. STD-PLM understands spatial-temporal correlations via explicitly designed spatial and temporal tokenizers. Topology-aware node embeddings are designed for PLM to comprehend and exploit the topology structure of data in inductive manner. Furthermore, to mitigate the efficiency issues introduced by the PLM, we design a sandglass attention module (SGA) combined with a specific constrained loss function, which significantly improves the model's efficiency while ensuring performance. Extensive experiments demonstrate that STD-PLM exhibits competitive performance and generalization capabilities across the forecasting and imputation tasks on various datasets. Moreover, STD-PLM achieves promising results on both few-shot and zero-shot tasks.The code is made available at \href{https://anonymous.4open.science/r/STD-PLM-F3BA}{https://anonymous.4open.science/r/STD-PLM-F3BA}
Abstract（参考訳）: 時空間予測と計算は現実世界のインテリジェントシステムにとって重要である。既存のほとんどの手法は個々の予測や計算作業に向いているが、どちらも設計されていない。さらに、ゼロショット学習や少数ショット学習では効果が低い。プレトレーニング言語モデル (PLM) は, ほとんどショット学習やゼロショット学習など様々なタスクにおいて強いパターン認識と推論能力を示してきたが, 時間的相関, 空間的接続性, 時間的相関関係, 時間的相関関係, 時間的相関関係, 時間的相関関係, 時間的相関関係, 時間的相関関係, 時間的相関関係など, 空間的時間的データ理解におけるそれらの応用は不十分なモデリングによって制約されてきた。本稿では,空間的時間的予測タスクとインプットタスクの両方を実装可能なSTD-PLMを提案する。 STD-PLMは、明示的に設計された空間的および時間的トークン化器を通して空間的時間的相関を理解する。トポロジ対応ノード埋め込みは、PLMがデータのトポロジ構造を帰納的に理解し、活用するために設計されている。さらに, PLM が導入した効率問題を緩和するため, 砂時計注意モジュール (SGA) と特定の制約損失関数を組み合わせて設計し, 性能を確保しつつモデルの効率を著しく向上する。大規模な実験により、STD-PLMは様々なデータセット上の予測および計算タスクにまたがる競争性能と一般化能力を示すことが示された。コードは \href{https://anonymous.4open.science/r/STD-PLM-F3BA}{https://anonymous.4open.science/r/STD-PLM-F3BA} で公開されている。

関連論文リスト

Cross Space and Time: A Spatio-Temporal Unitized Model for Traffic Flow Forecasting [16.782154479264126]
時間的要因間の複雑な相互作用により、バックボーン・時間的トラフィックフローを予測することが課題となる。既存のアプローチでは、これらの次元を分離し、重要な相互依存を無視している。本稿では,空間的および時間的依存関係の両方をキャプチャする統合フレームワークであるSanonymous-Temporal Unitized Unitized Cell (ASTUC)を紹介する。
論文参考訳（メタデータ） (2024-11-14T07:34:31Z)
Double-Path Adaptive-correlation Spatial-Temporal Inverted Transformer for Stock Time Series Forecasting [1.864621482724548]
本稿では,ストックデータから動的空間情報をより包括的に抽出するDPA-STIFormer(Double-Path Adaptive-Temporal Inverted Transformer)を提案する。 4つの株式市場データセットで実施された実験は、最先端の結果を示し、潜在時間相関パターンを明らかにする際のモデルの優れた能力を検証する。
論文参考訳（メタデータ） (2024-09-24T01:53:22Z)
How Can Large Language Models Understand Spatial-Temporal Data? [12.968952073740796]
本稿では,時空間予測に大規模言語モデルを活用する革新的なアプローチSTG-LLMを紹介する。 1 STG-Tokenizer: この空間時間グラフトークンは、複雑なグラフデータを、空間的および時間的関係の両方を捉える簡潔なトークンに変換する; 2) STG-Adapter: 線形符号化層と復号層からなるこの最小限のアダプタは、トークン化されたデータとLCMの理解のギャップを埋める。
論文参考訳（メタデータ） (2024-01-25T14:03:15Z)
GATGPT: A Pre-trained Large Language Model with Graph Attention Network for Spatiotemporal Imputation [19.371155159744934]
実世界の環境では、センサーの故障やデータ転送エラーなどの問題により、そのようなデータには欠落する要素がしばしば含まれる。時間的計算の目的は、観測された時系列における固有の空間的および時間的関係を理解することによって、これらの欠落値を推定することである。伝統的に、複雑な時間的計算は特定のアーキテクチャに依存しており、適用可能性の制限と高い計算複雑性に悩まされている。対照的に、我々のアプローチは、事前訓練された大規模言語モデル(LLM)を複雑な時間的インプットに統合し、画期的なフレームワークであるGATGPTを導入している。
論文参考訳（メタデータ） (2023-11-24T08:15:11Z)
Disentangling Spatial and Temporal Learning for Efficient Image-to-Video Transfer Learning [59.26623999209235]
ビデオの空間的側面と時間的側面の学習を両立させるDiSTを提案する。 DiSTの非絡み合い学習は、大量の事前学習パラメータのバックプロパゲーションを避けるため、非常に効率的である。 5つのベンチマークの大規模な実験は、DiSTが既存の最先端メソッドよりも優れたパフォーマンスを提供することを示す。
論文参考訳（メタデータ） (2023-09-14T17:58:33Z)
ST-MLP: A Cascaded Spatio-Temporal Linear Framework with Channel-Independence Strategy for Traffic Forecasting [47.74479442786052]
時空間グラフニューラルネットワーク(STGNN)に関する現在の研究は、しばしば複雑な設計を優先し、精度をわずかに向上させるだけで計算負荷を発生させる。マルチ層パーセプトロン(MLP)モジュールと線形層のみをベースとした,簡潔な時空間モデルST-MLPを提案する。実験の結果,ST-MLPは最先端STGNNと他のモデルよりも精度と計算効率の点で優れていた。
論文参考訳（メタデータ） (2023-08-14T23:34:59Z)
Correlation-aware Spatial-Temporal Graph Learning for Multivariate Time-series Anomaly Detection [67.60791405198063]
時系列異常検出のための相関対応時空間グラフ学習(CST-GL)を提案する。 CST-GLは、多変量時系列相関学習モジュールを介してペアの相関を明示的にキャプチャする。新規な異常スコアリング成分をCST-GLにさらに統合し、純粋に教師なしの方法で異常の度合いを推定する。
論文参考訳（メタデータ） (2023-07-17T11:04:27Z)
Contextualizing MLP-Mixers Spatiotemporally for Urban Data Forecast at Scale [54.15522908057831]
本稿では,STTD予測を大規模に行うためのコンピュータ・ミクサーの適応版を提案する。我々の結果は、この単純な効率の良いソリューションが、いくつかのトラフィックベンチマークでテストした場合、SOTAベースラインに匹敵する可能性があることを驚くほど示している。本研究は, 実世界のSTTD予測において, 簡便な有効モデルの探索に寄与する。
論文参考訳（メタデータ） (2023-07-04T05:19:19Z)
Spatio-Temporal Self-Supervised Learning for Traffic Flow Prediction [36.77135502344546]
本稿では,新しいST-SSL(Spatio-Supervised Learning)トラフィック予測フレームワークを提案する。我々のST-SSLは、時空間の畳み込みによって、空間と時間にまたがる情報を符号化する統合モジュール上に構築されている。 4つのベンチマークデータセットの実験では、ST-SSLは様々な最先端のベースラインを一貫して上回っている。
論文参考訳（メタデータ） (2022-12-07T10:02:01Z)
Supporting Optimal Phase Space Reconstructions Using Neural Network Architecture for Time Series Modeling [68.8204255655161]
位相空間特性を暗黙的に学習する機構を持つ人工ニューラルネットワークを提案する。私たちのアプローチは、ほとんどの最先端戦略と同じくらいの競争力があるか、あるいは優れているかのどちらかです。
論文参考訳（メタデータ） (2020-06-19T21:04:47Z)
A Spatial-Temporal Attentive Network with Spatial Continuity for Trajectory Prediction [74.00750936752418]
空間連続性をもつ空間時間減衰ネットワーク(STAN-SC)という新しいモデルを提案する。まず、最も有用かつ重要な情報を探るために、空間的時間的注意機構を提示する。第2に、生成軌道の空間的連続性を維持するために、シーケンスと瞬間状態情報に基づく共同特徴系列を実行する。
論文参考訳（メタデータ） (2020-03-13T04:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。