論文の概要: Spatially Constrained Transformer with Efficient Global Relation Modelling for Spatio-Temporal Prediction

• arxiv url: http://arxiv.org/abs/2411.06836v1
• Date: Mon, 11 Nov 2024 10:03:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:08:26.804643
• Title: Spatially Constrained Transformer with Efficient Global Relation Modelling for Spatio-Temporal Prediction
• Title（参考訳）: 時空間予測のための効率的な大域的関係モデル付き空間拘束型変圧器
• Authors: Ashutosh Sao, Simon Gottschalk,
• Abstract要約: ST-SampleNetは、CNNと自己アテンション機構を組み合わせたトランスフォーマーベースのアーキテクチャで、ローカルとグローバル両方の関係をキャプチャする。 実験により,計算コストの40%削減を実現した。
• 参考スコア（独自算出の注目度）: 2.016553603539141
• License:
• Abstract: Accurate spatio-temporal prediction is crucial for the sustainable development of smart cities. However, current approaches often struggle to capture important spatio-temporal relationships, particularly overlooking global relations among distant city regions. Most existing techniques predominantly rely on Convolutional Neural Networks (CNNs) to capture global relations. However, CNNs exhibit neighbourhood bias, making them insufficient for capturing distant relations. To address this limitation, we propose ST-SampleNet, a novel transformer-based architecture that combines CNNs with self-attention mechanisms to capture both local and global relations effectively. Moreover, as the number of regions increases, the quadratic complexity of self-attention becomes a challenge. To tackle this issue, we introduce a lightweight region sampling strategy that prunes non-essential regions and enhances the efficiency of our approach. Furthermore, we introduce a spatially constrained position embedding that incorporates spatial neighbourhood information into the self-attention mechanism, aiding in semantic interpretation and improving the performance of ST-SampleNet. Our experimental evaluation on three real-world datasets demonstrates the effectiveness of ST-SampleNet. Additionally, our efficient variant achieves a 40% reduction in computational costs with only a marginal compromise in performance, approximately 1%.
• Abstract（参考訳）: スマートシティの持続可能な発展には,正確な時空間予測が不可欠である。 しかし、現在のアプローチは、重要な時空間的関係、特に遠くの都市部におけるグローバルな関係を見渡すのに苦労することが多い。 既存の技術のほとんどは、グローバルな関係を捉えるために畳み込みニューラルネットワーク(CNN)に依存している。 しかし、CNNは近隣の偏見を示しており、遠方の関係をとらえるには不十分である。 この制限に対処するために,CNNと自己アテンション機構を組み合わせた新しいトランスフォーマーベースアーキテクチャST-SampleNetを提案する。 さらに、領域の数が増加するにつれて、自己注意の二次的な複雑さが問題となる。 この問題に対処するため,非重要領域を抽出し,アプローチの効率を向上する軽量領域サンプリング戦略を導入する。 さらに、空間的近傍情報を自己認識機構に組み込んだ空間的制約のある位置埋め込みを導入し、意味解釈を支援し、ST-SampleNetの性能を向上させる。 実世界の3つのデータセットに対する実験により,ST-SampleNetの有効性が示された。 さらに, 計算コストの40%削減を実現し, 性能の限界は1%程度であった。

関連論文リスト

• Neighborhood and Global Perturbations Supported SAM in Federated Learning: From Local Tweaks To Global Awareness [29.679323144520037]
  フェデレートラーニング(FL)は、中央サーバのオーケストレーションの下で調整して、プライバシ保護モデルを構築することができる。 本稿では,最小限のアップリンク通信オーバヘッドを維持しつつ,一般化目標を考慮した新しいFLアルゴリズムであるFedTOGAを提案する。
  論文  参考訳（メタデータ） (2024-08-26T09:42:18Z)
• SFANet: Spatial-Frequency Attention Network for Weather Forecasting [54.470205739015434]
  天気予報は様々な分野において重要な役割を担い、意思決定とリスク管理を推進している。 伝統的な手法は、しばしば気象系の複雑な力学を捉えるのに苦労する。 本稿では,これらの課題に対処し,天気予報の精度を高めるための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2024-05-29T08:00:15Z)
• Typhoon Intensity Prediction with Vision Transformer [51.84456610977905]
  台風強度を正確に予測するために「台風強度変換器(Tint)」を導入する。 Tintは、層ごとにグローバルな受容野を持つ自己認識機構を使用する。 公開されている台風ベンチマークの実験は、Tintの有効性を検証する。
  論文  参考訳（メタデータ） (2023-11-28T03:11:33Z)
• Multi-Temporal Relationship Inference in Urban Areas [75.86026742632528]
  場所間の時間的関係を見つけることは、動的なオフライン広告やスマートな公共交通計画など、多くの都市アプリケーションに役立つ。 空間的に進化するグラフニューラルネットワーク(SEENet)を含むグラフ学習方式によるTrialの解を提案する。 SEConvは時間内アグリゲーションと時間間伝搬を実行し、位置メッセージパッシングの観点から、多面的に空間的に進化するコンテキストをキャプチャする。 SE-SSLは、位置表現学習を強化し、関係の空間性をさらに扱えるように、グローバルな方法でタイムアウェアな自己教師型学習タスクを設計する。
  論文  参考訳（メタデータ） (2023-06-15T07:48:32Z)
• SARN: Structurally-Aware Recurrent Network for Spatio-Temporal Disaggregation [8.636014676778682]
  オープンデータは、通常プライバシーポリシーに従うために、しばしば空間的に集約される。しかし、粗い、異質な集約は、下流のAI/MLシステムに対する一貫性のある学習と統合を複雑にする。 本稿では,空間的注意層をGRU(Gated Recurrent Unit)モデルに統合したSARN(Structurely-Aware Recurrent Network)を提案する。 履歴学習データに制限のあるシナリオでは、ある都市変数に事前学習したモデルを、数百のサンプルのみを用いて、他の都市変数に対して微調整できることを示す。
  論文  参考訳（メタデータ） (2023-06-09T21:01:29Z)
• Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
  フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。 クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。 tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。 理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
  論文  参考訳（メタデータ） (2023-05-19T10:47:44Z)
• FedSpeed: Larger Local Interval, Less Communication Round, and Higher Generalization Accuracy [84.45004766136663]
  フェデレートラーニング(Federated Learning)は、分散機械学習フレームワークである。 これは、局所的不整合最適と局所的過度な適合による頑丈なクライアントドリフトによってもたらされる非消滅バイアスに悩まされる。 本稿では,これらの問題による負の影響を軽減するために,新しい実用的手法であるFedSpeedを提案する。
  論文  参考訳（メタデータ） (2023-02-21T03:55:29Z)
• STJLA: A Multi-Context Aware Spatio-Temporal Joint Linear Attention Network for Traffic Forecasting [7.232141271583618]
  非効率な時空間継手線形注意(SSTLA)と呼ばれる交通予測のための新しいディープラーニングモデルを提案する。 SSTLAは、全時間ノード間のグローバル依存を効率的に捉えるために、ジョイントグラフに線形注意を適用する。 実世界の2つの交通データセットであるイングランドとテンポラル7の実験は、我々のSTJLAが最先端のベースラインよりも9.83%と3.08%の精度でMAE測定を達成できることを示した。
  論文  参考訳（メタデータ） (2021-12-04T06:39:18Z)
• An Entropy-guided Reinforced Partial Convolutional Network for Zero-Shot Learning [77.72330187258498]
  エントロピー誘導強化部分畳み込みネットワーク(ERPCNet)を提案する。 ERPCNetは、人間のアノテーションのない意味的関連性と視覚的相関に基づいて、局所性を抽出し、集約する。 グローバルな協力的局所性を動的に発見するだけでなく、ポリシー勾配最適化のためにより高速に収束する。
  論文  参考訳（メタデータ） (2021-11-03T11:13:13Z)
• Traffic Flow Forecasting with Spatial-Temporal Graph Diffusion Network [39.65520262751766]
  我々は新しい交通予測フレームワーク-時空間グラフ拡散ネットワーク(ST-GDN)を開発した。 特にST-GDNは階層的に構造化されたグラフニューラルネットワークアーキテクチャであり、局所的な地域的な地理的依存関係だけでなく、グローバルな視点から空間的意味論も学習する。 複数の実生活トラフィックデータセットの実験では、ST-GDNは最先端のベースラインの異なるタイプよりも優れていることが示されている。
  論文  参考訳（メタデータ） (2021-10-08T11:19:06Z)
• Space Meets Time: Local Spacetime Neural Network For Traffic Flow Forecasting [11.495992519252585]
  このような相関関係は普遍的であり、交通流において重要な役割を担っていると我々は主張する。 交通センサの局所的時空間コンテキストを構築するための新しい時空間学習フレームワークを提案する。 提案したSTNNモデルは、目に見えない任意のトラフィックネットワークに適用できる。
  論文  参考訳（メタデータ） (2021-09-11T09:04:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。