Fugu-MT 論文翻訳(概要): Gridded Transformer Neural Processes for Large Unstructured Spatio-Temporal Data

論文の概要: Gridded Transformer Neural Processes for Large Unstructured Spatio-Temporal Data

arxiv url: http://arxiv.org/abs/2410.06731v2
Date: Thu, 10 Oct 2024 08:36:40 GMT
ステータス: 処理完了
システム内更新日: 2024-11-01 04:00:11.243926
Title: Gridded Transformer Neural Processes for Large Unstructured Spatio-Temporal Data
Title（参考訳）: 大規模非構造時空間データのための格子型変圧器ニューラルプロセス
Authors: Matthew Ashman, Cristiana Diaconu, Eric Langezaal, Adrian Weller, Richard E. Turner,
Abstract要約: 本稿では,非構造化観測を行うための格子状擬似トークンPと,効率的な注意機構を利用する格子状擬似トークンを含むプロセッサを紹介する。提案手法は,大規模データを含む様々な合成および実世界の回帰タスクにおいて,強いベースラインを一貫して上回る。実生活実験は気象データに基づいて行われ、気象モデルパイプラインで大規模に適用した場合の性能と計算上の利点をもたらすアプローチの可能性を示す。
参考スコア（独自算出の注目度）: 47.14384085714576
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Many important problems require modelling large-scale spatio-temporal datasets, with one prevalent example being weather forecasting. Recently, transformer-based approaches have shown great promise in a range of weather forecasting problems. However, these have mostly focused on gridded data sources, neglecting the wealth of unstructured, off-the-grid data from observational measurements such as those at weather stations. A promising family of models suitable for such tasks are neural processes (NPs), notably the family of transformer neural processes (TNPs). Although TNPs have shown promise on small spatio-temporal datasets, they are unable to scale to the quantities of data used by state-of-the-art weather and climate models. This limitation stems from their lack of efficient attention mechanisms. We address this shortcoming through the introduction of gridded pseudo-token TNPs which employ specialised encoders and decoders to handle unstructured observations and utilise a processor containing gridded pseudo-tokens that leverage efficient attention mechanisms. Our method consistently outperforms a range of strong baselines on various synthetic and real-world regression tasks involving large-scale data, while maintaining competitive computational efficiency. The real-life experiments are performed on weather data, demonstrating the potential of our approach to bring performance and computational benefits when applied at scale in a weather modelling pipeline.
Abstract（参考訳）: 多くの重要な問題は大規模な時空間データセットをモデル化することを必要とし、その一例が天気予報である。近年, 気象予報問題において, 変圧器によるアプローチは大きな可能性を秘めている。しかし、これらは主にグリッド化されたデータソースに焦点を合わせており、気象観測所などで観測された観測データから、構造化されていない、オフザグリッドなデータの富を無視している。このようなタスクに適したモデルとしては、ニューラル・プロセス(NP)、特にトランスフォーマー・ニューラル・プロセス(TNP)がある。 TNPは、小さな時空間データセットに将来性を示すが、最先端の気象モデルや気候モデルで使用されるデータの量にはスケールできない。この制限は、効率的な注意機構の欠如に起因する。本稿では,非構造化観測の処理に特殊なエンコーダとデコーダを用いるグリッドド擬似トケンTNPを導入し,効率的な注意機構を活用するグリッドド擬似トケンを含むプロセッサを活用することで,この問題に対処する。提案手法は,大規模データを含む様々な合成および実世界の回帰タスクにおいて,競争力のある計算効率を維持しつつ,強靭なベースラインを一貫して上回る。実生活実験は気象データに基づいて行われ、気象モデルパイプラインで大規模に適用した場合の性能と計算上の利点をもたらすアプローチの可能性を示す。

関連論文リスト

TimeSieve: Extracting Temporal Dynamics through Information Bottlenecks [31.10683149519954]
本稿では,時系列予測モデルTimeSieveを提案する。提案手法では、ウェーブレット変換を用いて時系列データを前処理し、マルチスケールの特徴を効果的にキャプチャする。本研究は,時系列予測における課題に対処するためのアプローチの有効性を検証した。
論文参考訳（メタデータ） (2024-06-07T15:58:12Z)
Generalizing Weather Forecast to Fine-grained Temporal Scales via Physics-AI Hybrid Modeling [55.13352174687475]
本稿では,天気予報をより微細なテンポラルスケールに一般化する物理AIハイブリッドモデル(WeatherGFT)を提案する。具体的には、小さな時間スケールで物理進化をシミュレートするために、慎重に設計されたPDEカーネルを用いる。我々は、異なるリードタイムでのモデルの一般化を促進するためのリードタイムアウェアトレーニングフレームワークを導入する。
論文参考訳（メタデータ） (2024-05-22T16:21:02Z)
Attention as Robust Representation for Time Series Forecasting [23.292260325891032]
多くの実用化には時系列予測が不可欠である。トランスフォーマーの重要な特徴、注意機構、データ表現を強化するために動的に埋め込みを融合させ、しばしば注意重みを副産物の役割に還元する。提案手法は,時系列の主表現として注目重みを高くし,データポイント間の時間的関係を利用して予測精度を向上させる。
論文参考訳（メタデータ） (2024-02-08T03:00:50Z)
Online Evolutionary Neural Architecture Search for Multivariate Non-Stationary Time Series Forecasting [72.89994745876086]
本研究は、オンラインニューロ進化に基づくニューラルアーキテクチャサーチ(ONE-NAS)アルゴリズムを提案する。 ONE-NASは、オンライン予測タスクのためにリカレントニューラルネットワーク(RNN)を自動設計し、動的にトレーニングする新しいニューラルネットワーク探索手法である。その結果、ONE-NASは従来の統計時系列予測法よりも優れていた。
論文参考訳（メタデータ） (2023-02-20T22:25:47Z)
Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文参考訳（メタデータ） (2023-01-05T13:59:29Z)
cs-net: structural approach to time-series forecasting for high-dimensional feature space data with limited observations [1.5533753199073637]
本研究では,高次元多変量予測タスクに優れたフレキシブルなデータ特徴抽出手法を提案する。我々のアプローチは、もともとNational Science Foundation (NSF) Algorithms for Threat Detection (ATD) 2022 Challengeのために開発された。我々のモデルは、GDELTデータセットでトレーニングされ、ATDスプリントシリーズの第1位と第2位に終わり、時系列予測のための他のデータセットを約束します。
論文参考訳（メタデータ） (2022-12-05T19:46:47Z)
Temporal Attention Augmented Transformer Hawkes Process [4.624987488467739]
新しいタイプのトランスフォーマーベースホークスプロセスモデル、テンポラルアテンション強化トランスフォーマーホークスプロセス(TAA-THP)を考案した。従来の点積アテンション構造を修正し、テンポラルエンコーディングをアテンション構造に導入する。提案したTAA-THPモデルの性能を評価するために, 広範囲の合成および実生活データセットについて多数の実験を行った。
論文参考訳（メタデータ） (2021-12-29T09:45:23Z)
Convolutional generative adversarial imputation networks for spatio-temporal missing data in storm surge simulations [86.5302150777089]
GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
論文参考訳（メタデータ） (2021-11-03T03:50:48Z)
Transformer Hawkes Process [79.16290557505211]
本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。 THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
論文参考訳（メタデータ） (2020-02-21T13:48:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。