論文の概要: How Can Large Language Models Understand Spatial-Temporal Data?
- arxiv url: http://arxiv.org/abs/2401.14192v1
- Date: Thu, 25 Jan 2024 14:03:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-26 14:34:42.058115
- Title: How Can Large Language Models Understand Spatial-Temporal Data?
- Title(参考訳): 大規模言語モデルが時空間データを理解するには
- Authors: Lei Liu, Shuo Yu, Runze Wang, Zhenxun Ma, Yanming Shen
- Abstract要約: 本稿では,時空間予測に大規模言語モデルを活用する革新的なアプローチSTG-LLMを紹介する。
1 STG-Tokenizer: この空間時間グラフトークンは、複雑なグラフデータを、空間的および時間的関係の両方を捉える簡潔なトークンに変換する; 2) STG-Adapter: 線形符号化層と復号層からなるこの最小限のアダプタは、トークン化されたデータとLCMの理解のギャップを埋める。
- 参考スコア(独自算出の注目度): 13.91368776140489
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While Large Language Models (LLMs) dominate tasks like natural language
processing and computer vision, harnessing their power for spatial-temporal
forecasting remains challenging. The disparity between sequential text and
complex spatial-temporal data hinders this application. To address this issue,
this paper introduces STG-LLM, an innovative approach empowering LLMs for
spatial-temporal forecasting. We tackle the data mismatch by proposing: 1)
STG-Tokenizer: This spatial-temporal graph tokenizer transforms intricate graph
data into concise tokens capturing both spatial and temporal relationships; 2)
STG-Adapter: This minimalistic adapter, consisting of linear encoding and
decoding layers, bridges the gap between tokenized data and LLM comprehension.
By fine-tuning only a small set of parameters, it can effectively grasp the
semantics of tokens generated by STG-Tokenizer, while preserving the original
natural language understanding capabilities of LLMs. Extensive experiments on
diverse spatial-temporal benchmark datasets show that STG-LLM successfully
unlocks LLM potential for spatial-temporal forecasting. Remarkably, our
approach achieves competitive performance on par with dedicated SOTA methods.
- Abstract(参考訳): 大規模言語モデル(LLM)が自然言語処理やコンピュータビジョンなどのタスクを支配しているが、時空間予測にそのパワーを活用することは依然として困難である。
シーケンシャルテキストと複雑な空間-時間データの差は、この応用を妨げる。
この問題に対処するために,時空間予測にLLMを活用する革新的なアプローチSTG-LLMを提案する。
提案することで、データのミスマッチに取り組む。
1 STG-Tokenizer: この時空間グラフトークンは、複雑なグラフデータを空間的および時間的関係を捉える簡潔なトークンに変換する。
2) STG-Adapter: この最小限のアダプタは、線形符号化層と復号層で構成され、トークン化されたデータとLLMの理解のギャップを埋める。
少数のパラメータのみを微調整することで、LLMの本来の自然言語理解能力を保ちながら、STG-Tokenizerによって生成されるトークンの意味を効果的に把握することができる。
多様な時空間ベンチマークデータセットに対する大規模な実験により、STG-LLMは時空間予測のためのLLMポテンシャルを解き放つことに成功した。
注目すべきは、本手法は専用のSOTA法と同等の競合性能を実現することである。
関連論文リスト
- $\textbf{S}^2$IP-LLM: Semantic Space Informed Prompt Learning with LLM
for Time Series Forecasting [23.228160368290187]
本稿では,LLM(S2$IP-LLM)を用いたセマンティック空間インフォームドプロンプト学習を提案し,事前学習された意味空間と時系列埋め込み空間とを整合させる。
提案した$S2$IP-LLMは,最先端のベースラインよりも優れた予測性能が得られることを示す。
論文 参考訳(メタデータ) (2024-03-09T05:20:48Z) - AutoTimes: Autoregressive Time Series Forecasters via Large Language
Models [72.77653698874678]
本稿では,大規模言語モデル(LLM)を自動回帰時系列予測器として活用するためにAutoTimesを提案する。
提案手法は, LLM, 追加テキスト, 時系列を命令として利用することにより, 顕著な手法の一般化を実現し, 性能の向上を実現している。
論文 参考訳(メタデータ) (2024-02-04T06:59:21Z) - GATGPT: A Pre-trained Large Language Model with Graph Attention Network
for Spatiotemporal Imputation [19.371155159744934]
実世界の環境では、センサーの故障やデータ転送エラーなどの問題により、そのようなデータには欠落する要素がしばしば含まれる。
時間的計算の目的は、観測された時系列における固有の空間的および時間的関係を理解することによって、これらの欠落値を推定することである。
伝統的に、複雑な時間的計算は特定のアーキテクチャに依存しており、適用可能性の制限と高い計算複雑性に悩まされている。
対照的に、我々のアプローチは、事前訓練された大規模言語モデル(LLM)を複雑な時間的インプットに統合し、画期的なフレームワークであるGATGPTを導入している。
論文 参考訳(メタデータ) (2023-11-24T08:15:11Z) - LLM4DyG: Can Large Language Models Solve Spatial-Temporal Problems on
Dynamic Graphs? [60.24970313736175]
本稿では,大規模言語モデルの動的グラフ上での時空間理解能力を評価することを提案する。
我々は、異なるデータ生成装置、データ統計、プロンプト技術、LLMがモデル性能に与える影響を分析する実験を行う。
最後に, LLM の時空間理解能力を高めるために, 動的グラフ上の LLM に対する Disentangled Spatial-Temporal Thoughts (DST2) を提案する。
論文 参考訳(メタデータ) (2023-10-26T02:37:43Z) - MuSR: Testing the Limits of Chain-of-thought with Multistep Soft
Reasoning [68.45550068277441]
自然言語ナラティブで指定されたソフト推論タスクの言語モデルを評価するデータセットである MuSR を紹介する。
このデータセットには2つの重要な特徴がある。まず、ニューロシンボリック合成-自然生成アルゴリズムによって生成される。
第二に、私たちのデータセットインスタンスは、実世界の推論の領域に対応する無料のテキスト物語です。
論文 参考訳(メタデータ) (2023-10-24T17:59:20Z) - Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。
時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。
Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文 参考訳(メタデータ) (2023-10-03T01:31:25Z) - The first step is the hardest: Pitfalls of Representing and Tokenizing
Temporal Data for Large Language Models [10.414206635385632]
大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な一般化を実証している。
ウェアラブルや電子健康記録から得られたデータなど、数値データや時間データをこれらのモデルに入力する際に、顕著な障害が発生する。
モバイルヘルスセンシングなどの人間中心のタスクにLLMを用いた最近の研究について論じるとともに、一般的なLLMが時間データを誤ってトークン化していることを示すケーススタディを示す。
論文 参考訳(メタデータ) (2023-09-12T13:51:29Z) - Towards Unified Token Learning for Vision-Language Tracking [65.96561538356315]
本稿では,VL追跡をトークン生成タスクとして用いた「textbfMMTrack」という,視覚言語(VL)追跡パイプラインを提案する。
提案フレームワークは,言語記述と境界ボックスを離散トークン列にシリアライズする。
この新しい設計パラダイムでは、全てのトークンクエリが望ましいターゲットを認識し、ターゲットの空間座標を直接予測するために必要となる。
論文 参考訳(メタデータ) (2023-08-27T13:17:34Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳(メタデータ) (2023-05-31T03:18:03Z) - Spatio-Temporal Self-Supervised Learning for Traffic Flow Prediction [36.77135502344546]
本稿では,新しいST-SSL(Spatio-Supervised Learning)トラフィック予測フレームワークを提案する。
我々のST-SSLは、時空間の畳み込みによって、空間と時間にまたがる情報を符号化する統合モジュール上に構築されている。
4つのベンチマークデータセットの実験では、ST-SSLは様々な最先端のベースラインを一貫して上回っている。
論文 参考訳(メタデータ) (2022-12-07T10:02:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。