論文の概要: ST-LINK: Spatially-Aware Large Language Models for Spatio-Temporal Forecasting
- arxiv url: http://arxiv.org/abs/2509.13753v1
- Date: Wed, 17 Sep 2025 07:11:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-18 18:41:50.748851
- Title: ST-LINK: Spatially-Aware Large Language Models for Spatio-Temporal Forecasting
- Title（参考訳）: ST-LINK:時空間予測のための空間認識大規模言語モデル
- Authors: Hyotaek Jeon, Hyunwook Lee, Juwon Kim, Sungahn Ko,
- Abstract要約: 逐次的依存関係をキャプチャする大規模言語モデルの能力を高める新しいフレームワークST-LINKを紹介する。
その鍵となる構成要素は空間拡張注意(SE-Attention)とメモリ検索フィードフォワードネットワーク(MRFFN)である。
- 参考スコア（独自算出の注目度）: 7.853736939635847
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Traffic forecasting represents a crucial problem within intelligent transportation systems. In recent research, Large Language Models (LLMs) have emerged as a promising method, but their intrinsic design, tailored primarily for sequential token processing, introduces notable challenges in effectively capturing spatial dependencies. Specifically, the inherent limitations of LLMs in modeling spatial relationships and their architectural incompatibility with graph-structured spatial data remain largely unaddressed. To overcome these limitations, we introduce ST-LINK, a novel framework that enhances the capability of Large Language Models to capture spatio-temporal dependencies. Its key components are Spatially-Enhanced Attention (SE-Attention) and the Memory Retrieval Feed-Forward Network (MRFFN). SE-Attention extends rotary position embeddings to integrate spatial correlations as direct rotational transformations within the attention mechanism. This approach maximizes spatial learning while preserving the LLM's inherent sequential processing structure. Meanwhile, MRFFN dynamically retrieves and utilizes key historical patterns to capture complex temporal dependencies and improve the stability of long-term forecasting. Comprehensive experiments on benchmark datasets demonstrate that ST-LINK surpasses conventional deep learning and LLM approaches, and effectively captures both regular traffic patterns and abrupt changes.
- Abstract（参考訳）: 交通予報はインテリジェント交通システムにおいて重要な問題である。
近年,Large Language Models (LLMs) が有望な手法として登場したが,その内在的設計はシーケンシャルなトークン処理に特化しており,空間的依存関係を効果的に捉える上での顕著な課題が紹介されている。
具体的には、空間関係のモデル化におけるLLMの本質的な限界と、グラフ構造化空間データとのアーキテクチャ的非互換性は、ほとんど未適応のままである。
これらの制限を克服するために,時空間依存を捕捉する大規模言語モデルの能力を高める新しいフレームワークST-LINKを導入する。
主なコンポーネントは空間拡張注意(SE-Attention)とメモリ検索フィードフォワードネットワーク(MRFFN)である。
SE-Attentionは、アテンション機構内での直接回転変換として空間相関を統合するために回転位置埋め込みを拡張する。
このアプローチはLLM固有の逐次処理構造を維持しながら空間学習を最大化する。
一方、MRFFNは、重要な歴史的パターンを動的に回収し、複雑な時間的依存関係を捕捉し、長期予測の安定性を向上させる。
ベンチマークデータセットに関する総合的な実験は、ST-LINKが従来のディープラーニングとLLMアプローチを超越し、通常のトラフィックパターンと突然の変化の両方を効果的に捉えていることを示している。
関連論文リスト
- Long-Context State-Space Video World Models [66.28743632951218]
本稿では、状態空間モデル(SSM)を活用して、計算効率を損なうことなく時間記憶を拡張する新しいアーキテクチャを提案する。
我々の設計の中心はブロックワイズSSMスキャン方式であり、時間記憶の拡張のために空間整合性を戦略的にトレードオフする。
メモリ迷路とMinecraftのデータセットの実験は、我々のアプローチが長距離メモリ保存のベースラインを超えたことを示している。
論文 参考訳（メタデータ） (2025-05-26T16:12:41Z) - Efficient High-Resolution Visual Representation Learning with State Space Model for Human Pose Estimation [60.80423207808076]
高解像度の視覚表現を維持しながら長距離依存関係をキャプチャすることは、人間のポーズ推定のような密集した予測タスクに不可欠である。
マルチスケールの畳み込み操作で視覚状態空間モデルを拡張する動的ビジュアル状態空間(DVSS)ブロックを提案する。
HRVMambaは効率的な高分解能表現学習のための新しいモデルである。
論文 参考訳（メタデータ） (2024-10-04T06:19:29Z) - SDE: A Simplified and Disentangled Dependency Encoding Framework for State Space Models in Time Series Forecasting [8.841699904757506]
精度予測の基本となる3つの重要な依存関係を特定し,正式に定義する。
SDE(Simplified and Disentangled Dependency entangle)は,時系列予測におけるSSMの能力向上を目的とした新しいフレームワークである。
論文 参考訳（メタデータ） (2024-08-22T02:14:59Z) - STD-PLM: Understanding Both Spatial and Temporal Properties of Spatial-Temporal Data with PLM [18.56267873980915]
STD-PLMは時空間予測と計算処理の両方を実装できる。
STD-PLMは、明示的に設計された空間的および時間的トークン化器を通して空間的時間的相関を理解する。
STD-PLMは予測タスクと計算タスクの競合性能と一般化能力を示す。
論文 参考訳（メタデータ） (2024-07-12T08:48:16Z) - Parsimony or Capability? Decomposition Delivers Both in Long-term Time Series Forecasting [46.63798583414426]
時系列予測(LTSF)は時系列分析において重要なフロンティアである。
本研究は, 分析的および実証的な証拠から, 分解が過剰なモデルインフレーションを包含する鍵であることを実証する。
興味深いことに、時系列データの本質的なダイナミクスに分解を合わせることで、提案モデルは既存のベンチマークより優れている。
論文 参考訳（メタデータ） (2024-01-22T13:15:40Z) - GATGPT: A Pre-trained Large Language Model with Graph Attention Network
for Spatiotemporal Imputation [19.371155159744934]
実世界の環境では、センサーの故障やデータ転送エラーなどの問題により、そのようなデータには欠落する要素がしばしば含まれる。
時間的計算の目的は、観測された時系列における固有の空間的および時間的関係を理解することによって、これらの欠落値を推定することである。
伝統的に、複雑な時間的計算は特定のアーキテクチャに依存しており、適用可能性の制限と高い計算複雑性に悩まされている。
対照的に、我々のアプローチは、事前訓練された大規模言語モデル(LLM)を複雑な時間的インプットに統合し、画期的なフレームワークであるGATGPTを導入している。
論文 参考訳（メタデータ） (2023-11-24T08:15:11Z) - PDFormer: Propagation Delay-Aware Dynamic Long-Range Transformer for
Traffic Flow Prediction [78.05103666987655]
空間時空間グラフニューラルネットワーク(GNN)モデルは、この問題を解決する最も有望な方法の1つである。
本稿では,交通流の正確な予測を行うために,遅延を意識した動的長距離トランスフォーマー(PDFormer)を提案する。
提案手法は,最先端の性能を達成するだけでなく,計算効率の競争力も発揮できる。
論文 参考訳（メタデータ） (2023-01-19T08:42:40Z) - Spatio-Temporal Self-Supervised Learning for Traffic Flow Prediction [36.77135502344546]
本稿では,新しいST-SSL(Spatio-Supervised Learning)トラフィック予測フレームワークを提案する。
我々のST-SSLは、時空間の畳み込みによって、空間と時間にまたがる情報を符号化する統合モジュール上に構築されている。
4つのベンチマークデータセットの実験では、ST-SSLは様々な最先端のベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2022-12-07T10:02:01Z) - Spatial-Temporal Transformer Networks for Traffic Flow Forecasting [74.76852538940746]
本稿では,長期交通予測の精度を向上させるため,時空間変圧器ネットワーク(STTN)の新たなパラダイムを提案する。
具体的には、有向空間依存を動的にモデル化することにより、空間変換器と呼ばれる新しいグラフニューラルネットワークを提案する。
提案モデルにより,長期間にわたる空間的依存関係に対する高速かつスケーラブルなトレーニングが可能になる。
論文 参考訳（メタデータ） (2020-01-09T10:21:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。