論文の概要: GATGPT: A Pre-trained Large Language Model with Graph Attention Network for Spatiotemporal Imputation

• arxiv url: http://arxiv.org/abs/2311.14332v1
• Date: Fri, 24 Nov 2023 08:15:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-27 15:54:45.632358
• Title: GATGPT: A Pre-trained Large Language Model with Graph Attention Network for Spatiotemporal Imputation
• Title（参考訳）: GATGPT:時空間インプットのためのグラフ注意ネットワーク付き事前学習型大規模言語モデル
• Authors: Yakun Chen, Xianzhi Wang, Guandong Xu
• Abstract要約: 実世界の環境では、センサーの故障やデータ転送エラーなどの問題により、そのようなデータには欠落する要素がしばしば含まれる。 時間的計算の目的は、観測された時系列における固有の空間的および時間的関係を理解することによって、これらの欠落値を推定することである。 伝統的に、複雑な時間的計算は特定のアーキテクチャに依存しており、適用可能性の制限と高い計算複雑性に悩まされている。 対照的に、我々のアプローチは、事前訓練された大規模言語モデル(LLM)を複雑な時間的インプットに統合し、画期的なフレームワークであるGATGPTを導入している。
• 参考スコア（独自算出の注目度）: 19.371155159744934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The analysis of spatiotemporal data is increasingly utilized across diverse domains, including transportation, healthcare, and meteorology. In real-world settings, such data often contain missing elements due to issues like sensor malfunctions and data transmission errors. The objective of spatiotemporal imputation is to estimate these missing values by understanding the inherent spatial and temporal relationships in the observed multivariate time series. Traditionally, spatiotemporal imputation has relied on specific, intricate architectures designed for this purpose, which suffer from limited applicability and high computational complexity. In contrast, our approach integrates pre-trained large language models (LLMs) into spatiotemporal imputation, introducing a groundbreaking framework, GATGPT. This framework merges a graph attention mechanism with LLMs. We maintain most of the LLM parameters unchanged to leverage existing knowledge for learning temporal patterns, while fine-tuning the upper layers tailored to various applications. The graph attention component enhances the LLM's ability to understand spatial relationships. Through tests on three distinct real-world datasets, our innovative approach demonstrates comparable results to established deep learning benchmarks.
• Abstract（参考訳）: 時空間データの分析は、輸送、医療、気象学など様々な領域でますます活用されている。 実世界の環境では、センサーの故障やデータ転送エラーなどの問題により、そのようなデータには欠落する要素がしばしば含まれる。 時空間計算の目的は、観測された多変量時系列の空間的および時間的関係を理解することによって、これらの欠落値を推定することである。 伝統的に時空間的インプテーションはこの目的のために設計された特定の複雑なアーキテクチャに依存しており、適用性や計算の複雑さが制限されている。 対照的に,本手法では,事前学習された大規模言語モデル(LLM)を時空間計算に統合し,画期的なフレームワークであるGATGPTを導入する。 このフレームワークは、グラフアテンション機構とLLMをマージする。 LLMパラメータのほとんどをそのまま維持し、様々なアプリケーションに適した上層を微調整しながら、時間パターンの学習に既存の知識を活用する。 グラフ注意成分は、LLMの空間的関係を理解する能力を高める。 3つの異なる実世界のデータセットのテストを通じて、我々の革新的なアプローチは確立されたディープラーニングベンチマークに匹敵する結果を示している。

関連論文リスト

• Cross Space and Time: A Spatio-Temporal Unitized Model for Traffic Flow Forecasting [16.782154479264126]
  時間的要因間の複雑な相互作用により、バックボーン・時間的トラフィックフローを予測することが課題となる。 既存のアプローチでは、これらの次元を分離し、重要な相互依存を無視している。 本稿では,空間的および時間的依存関係の両方をキャプチャする統合フレームワークであるSanonymous-Temporal Unitized Unitized Cell (ASTUC)を紹介する。
  論文  参考訳（メタデータ） (2024-11-14T07:34:31Z)
• Fully-Connected Spatial-Temporal Graph for Multivariate Time-Series Data [50.84488941336865]
  完全時空間グラフニューラルネットワーク(FC-STGNN)という新しい手法を提案する。 グラフ構築のために、時間的距離に基づいて、すべてのタイムスタンプにセンサーを接続する減衰グラフを設計する。 グラフ畳み込みのために,移動プールGNN層を用いたFCグラフ畳み込みを考案し,ST依存性を効果的に把握し,効率的な表現を学習する。
  論文  参考訳（メタデータ） (2023-09-11T08:44:07Z)
• Correlation-aware Spatial-Temporal Graph Learning for Multivariate Time-series Anomaly Detection [67.60791405198063]
  時系列異常検出のための相関対応時空間グラフ学習(CST-GL)を提案する。 CST-GLは、多変量時系列相関学習モジュールを介してペアの相関を明示的にキャプチャする。 新規な異常スコアリング成分をCST-GLにさらに統合し、純粋に教師なしの方法で異常の度合いを推定する。
  論文  参考訳（メタデータ） (2023-07-17T11:04:27Z)
• OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive Learning [67.07363529640784]
  提案するOpenSTLは,一般的なアプローチを再帰的モデルと再帰的モデルに分類する。 我々は, 合成移動物体軌道, 人間の動き, 運転シーン, 交通流, 天気予報など, さまざまな領域にわたるデータセットの標準評価を行う。 リカレントフリーモデルは、リカレントモデルよりも効率と性能のバランスが良いことがわかった。
  論文  参考訳（メタデータ） (2023-06-20T03:02:14Z)
• Coupled Attention Networks for Multivariate Time Series Anomaly Detection [10.620044922371177]
  多変量時系列データにおける異常検出のためのアテンションベースニューラルネットワークフレームワーク(CAN)を提案する。 センサ間の関係と時間的依存関係をキャプチャするために、グローバルローカルグラフに基づく畳み込みニューラルネットワークを時間的自己認識モジュールに統合する。
  論文  参考訳（メタデータ） (2023-06-12T13:42:56Z)
• An Adaptive Federated Relevance Framework for Spatial Temporal Graph Learning [14.353798949041698]
  本稿では,空間時間グラフ学習のための適応型フェデレーション関連フレームワークであるFedRelを提案する。 フレームワークのコアとなるDynamic Inter-Intra Graph (DIIG)モジュールは、これらの機能を使用して空間時間グラフを生成することができる。 局所的なデータプライバシーを維持しながらモデルの一般化能力と性能を向上させるため、関連性駆動型フェデレーション学習モジュールを設計する。
  論文  参考訳（メタデータ） (2022-06-07T16:12:17Z)
• Multivariate Time Series Forecasting with Dynamic Graph Neural ODEs [65.18780403244178]
  動的グラフニューラル正規微分方程式(MTGODE)を用いた多変量時系列予測連続モデルを提案する。 具体的には、まず、時間進化するノードの特徴と未知のグラフ構造を持つ動的グラフに多変量時系列を抽象化する。 そして、欠落したグラフトポロジを補完し、空間的および時間的メッセージパッシングを統一するために、ニューラルODEを設計、解決する。
  論文  参考訳（メタデータ） (2022-02-17T02:17:31Z)
• Interpretable Time-series Representation Learning With Multi-Level Disentanglement [56.38489708031278]
  Disentangle Time Series (DTS)は、シーケンシャルデータのための新しいDisentanglement Enhanceingフレームワークである。 DTSは時系列の解釈可能な表現として階層的意味概念を生成する。 DTSは、セマンティック概念の解釈性が高く、下流アプリケーションで優れたパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-05-17T22:02:24Z)
• Spatiotemporal Attention for Multivariate Time Series Prediction and Interpretation [17.568599402858037]
  最も重要な時間ステップと変数の同時学習のための時間的注意機構(STAM)。 結果: STAMは最先端の予測精度を維持しつつ,正確な解釈可能性の利点を提供する。
  論文  参考訳（メタデータ） (2020-08-11T17:34:55Z)
• Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks [91.65637773358347]
  多変量時系列データに特化して設計された汎用グラフニューラルネットワークフレームワークを提案する。 グラフ学習モジュールを用いて,変数間の一方向関係を自動的に抽出する。 提案手法は,4つのベンチマークデータセットのうち3つにおいて,最先端のベースライン手法よりも優れている。
  論文  参考訳（メタデータ） (2020-05-24T04:02:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。