論文の概要: Continuous Spatiotemporal Transformers
- arxiv url: http://arxiv.org/abs/2301.13338v1
- Date: Tue, 31 Jan 2023 00:06:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-01 18:09:29.456298
- Title: Continuous Spatiotemporal Transformers
- Title(参考訳): 連続時空間変圧器
- Authors: Antonio H. de O. Fonseca, Emanuele Zappala, Josue Ortega Caro, David
van Dijk
- Abstract要約: 連続時間変換器(Continuous Stemporal Transformer, CST)は, 連続系をモデル化するためのトランスフォーマアーキテクチャである。
この新しいフレームワークは、ソボレフ空間における最適化による連続的な表現と出力を保証する。
我々は従来の変圧器や他のスムーズな時相力学モデリング手法に対してCSTをベンチマークし、合成および実システムにおける多くのタスクにおいて優れた性能を達成する。
- 参考スコア(独自算出の注目度): 2.485182034310304
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Modeling spatiotemporal dynamical systems is a fundamental challenge in
machine learning. Transformer models have been very successful in NLP and
computer vision where they provide interpretable representations of data.
However, a limitation of transformers in modeling continuous dynamical systems
is that they are fundamentally discrete time and space models and thus have no
guarantees regarding continuous sampling. To address this challenge, we present
the Continuous Spatiotemporal Transformer (CST), a new transformer architecture
that is designed for the modeling of continuous systems. This new framework
guarantees a continuous and smooth output via optimization in Sobolev space. We
benchmark CST against traditional transformers as well as other spatiotemporal
dynamics modeling methods and achieve superior performance in a number of tasks
on synthetic and real systems, including learning brain dynamics from calcium
imaging data.
- Abstract(参考訳): 時空間力学系のモデリングは機械学習の基本的な課題である。
トランスフォーマーモデルは、データの解釈可能な表現を提供するnlpおよびコンピュータビジョンで非常に成功している。
しかし、連続力学系のモデリングにおける変圧器の制限は、基本的に離散時間と空間モデルであり、したがって連続サンプリングに関する保証がないことである。
この課題に対処するため,我々は連続システムモデリング用に設計された新しいトランスフォーマアーキテクチャである連続時空間トランスフォーマ(cst)を提案する。
この新しいフレームワークは、ソボレフ空間の最適化による連続的でスムーズな出力を保証する。
我々はCSTを従来のトランスフォーマーや時空間力学モデリング法と比較し、カルシウムイメージングデータから脳のダイナミクスを学習するなど、合成および実システムにおける多くのタスクにおいて優れた性能を発揮する。
関連論文リスト
- Conformer: Embedding Continuous Attention in Vision Transformer for
Weather Forecasting [0.0]
トランスフォーマーベースのモデルは、天気予報に顕著な可能性を示している。
トランスフォーマーは、気象システムの継続的な時間的特徴を学習する能力を制限する離散モデルである。
Conformerは、マルチヘッドアテンション機構に連続性を実装することで、経時的に連続的な天気変化を学習するように設計されている。
論文 参考訳(メタデータ) (2024-02-28T01:15:30Z) - Poisson-Gamma Dynamical Systems with Non-Stationary Transition Dynamics [54.19709905569658]
非定常PGDSは、基礎となる遷移行列が時間とともに進化できるように提案されている。
後続シミュレーションを行うために, 完全共役かつ効率的なギブスサンプリング装置を開発した。
実験により,提案した非定常PGDSは,関連するモデルと比較して予測性能が向上することを示した。
論文 参考訳(メタデータ) (2024-02-26T04:39:01Z) - Attractor Memory for Long-Term Time Series Forecasting: A Chaos
Perspective [66.79255404792849]
本稿では,カオス理論を長期時系列予測(LTSF)タスクに導入する。
我々のモデルである textbftextitAttraos はカオス理論をLTSFに組み込み、未知の高次元カオス力学系からの観測として実世界の時系列を知覚する。
歴史的力学構造を記憶し、周波数を拡大した局所進化戦略によって予測する。
論文 参考訳(メタデータ) (2024-02-18T05:35:01Z) - ContiFormer: Continuous-Time Transformer for Irregular Time Series
Modeling [30.12824131306359]
不規則な時系列上の連続時間ダイナミクスのモデリングは、連続的に発生するデータの進化と相関を考慮するために重要である。
リカレントニューラルネットワークやTransformerモデルを含む従来の方法は、強力なニューラルネットワークを通じて誘導バイアスを利用して複雑なパターンをキャプチャする。
本稿では,バニラ変換器の関係モデリングを連続時間領域に拡張するContiFormerを提案する。
論文 参考訳(メタデータ) (2024-02-16T12:34:38Z) - The Bigger the Better? Rethinking the Effective Model Scale in Long-term
Time Series Forecasting [57.00348861248051]
時系列予測は時系列分析において重要なフロンティアである。
階層的な分解で拡張された軽量トランスフォーマーであるHDformerを紹介する。
HDformerは既存のLTSFモデルよりも優れており、パラメータは99%以上少ない。
論文 参考訳(メタデータ) (2024-01-22T13:15:40Z) - Convolutional State Space Models for Long-Range Spatiotemporal Modeling [65.0993000439043]
ConvS5は、長距離時間モデリングのための効率的な変種である。
トランスフォーマーとConvNISTTMは、長い水平移動実験において、ConvLSTMより3倍速く、トランスフォーマーより400倍速くサンプルを生成する一方で、大幅に性能が向上した。
論文 参考訳(メタデータ) (2023-10-30T16:11:06Z) - Evolve Smoothly, Fit Consistently: Learning Smooth Latent Dynamics For
Advection-Dominated Systems [14.553972457854517]
複雑な物理系のサロゲートモデルを学ぶための,データ駆動・時空連続フレームワークを提案する。
ネットワークの表現力と特別に設計された整合性誘導正規化を利用して,低次元かつ滑らかな潜在軌道を得る。
論文 参考訳(メタデータ) (2023-01-25T03:06:03Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳(メタデータ) (2023-01-05T13:59:29Z) - Learning stochastic dynamics and predicting emergent behavior using
transformers [0.0]
ニューラルネットワークは,システムの1つの動的軌跡を観察することにより,システムの動的規則を学習可能であることを示す。
我々はモデルの1つの軌道上でトランスフォーマーと呼ばれるニューラルネットワークを訓練する。
変換器は、速度の明示的な列挙や構成空間の粗粒化なしに観察から動的規則を学習する柔軟性を持つ。
論文 参考訳(メタデータ) (2022-02-17T15:27:21Z) - Predicting Physics in Mesh-reduced Space with Temporal Attention [15.054026802351146]
本稿では,トランス方式の時間的アテンションモデルを用いて,長期的依存関係をキャプチャする手法を提案する。
本手法は, 複雑な流体力学予測タスクにおいて, 競合するGNNベースラインよりも優れる。
我々のアプローチは、高次元複雑な物理課題の解決に注意に基づくシーケンスモデルの利点をもたらす道を開いたと信じている。
論文 参考訳(メタデータ) (2022-01-22T18:32:54Z) - Efficient Transformers in Reinforcement Learning using Actor-Learner
Distillation [91.05073136215886]
「Actor-Learner Distillation」は、大容量学習者モデルから小容量学習者モデルへ学習の進捗を移す。
Actor-Learner Distillation を用いて,トランスフォーマー学習モデルの明確なサンプル効率向上を再現する,いくつかの挑戦的なメモリ環境を実証する。
論文 参考訳(メタデータ) (2021-04-04T17:56:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。