論文の概要: Continuous Spatiotemporal Transformers

• arxiv url: http://arxiv.org/abs/2301.13338v2
• Date: Fri, 28 Jul 2023 21:38:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-01 23:46:05.607827
• Title: Continuous Spatiotemporal Transformers
• Title（参考訳）: 連続時空間変圧器
• Authors: Antonio H. de O. Fonseca, Emanuele Zappala, Josue Ortega Caro, David van Dijk
• Abstract要約: 連続時間変換器(Continuous Stemporal Transformer, CST)は, 連続系をモデル化するためのトランスフォーマアーキテクチャである。 この新しいフレームワークは、ソボレフ空間における最適化による連続的な表現と出力を保証する。 我々は従来の変圧器や他のスムーズな時相力学モデリング手法に対してCSTをベンチマークし、合成および実システムにおける多くのタスクにおいて優れた性能を達成する。
• 参考スコア（独自算出の注目度）: 2.485182034310304
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Modeling spatiotemporal dynamical systems is a fundamental challenge in machine learning. Transformer models have been very successful in NLP and computer vision where they provide interpretable representations of data. However, a limitation of transformers in modeling continuous dynamical systems is that they are fundamentally discrete time and space models and thus have no guarantees regarding continuous sampling. To address this challenge, we present the Continuous Spatiotemporal Transformer (CST), a new transformer architecture that is designed for the modeling of continuous systems. This new framework guarantees a continuous and smooth output via optimization in Sobolev space. We benchmark CST against traditional transformers as well as other spatiotemporal dynamics modeling methods and achieve superior performance in a number of tasks on synthetic and real systems, including learning brain dynamics from calcium imaging data.
• Abstract（参考訳）: 時空間力学系のモデリングは機械学習の基本的な課題である。 トランスフォーマーモデルは、データの解釈可能な表現を提供するnlpおよびコンピュータビジョンで非常に成功している。 しかし、連続力学系のモデリングにおける変圧器の制限は、基本的に離散時間と空間モデルであり、したがって連続サンプリングに関する保証がないことである。 この課題に対処するため,我々は連続システムモデリング用に設計された新しいトランスフォーマアーキテクチャである連続時空間トランスフォーマ(cst)を提案する。 この新しいフレームワークは、ソボレフ空間の最適化による連続的でスムーズな出力を保証する。 我々はCSTを従来のトランスフォーマーや時空間力学モデリング法と比較し、カルシウムイメージングデータから脳のダイナミクスを学習するなど、合成および実システムにおける多くのタスクにおいて優れた性能を発揮する。

関連論文リスト

• Amortized Control of Continuous State Space Feynman-Kac Model for Irregular Time Series [14.400596021890863]
  医療、気候、経済などの現実世界のデータセットは、しばしば不規則な時系列として収集される。 本稿では,連続状態空間モデル (ACSSM) を時系列の連続的動的モデリングに用いるためのアモータイズ制御を提案する。
  論文  参考訳（メタデータ） (2024-10-08T01:27:46Z)
• Latent Space Energy-based Neural ODEs [73.01344439786524]
  本稿では,連続時間シーケンスデータを表現するために設計された深部力学モデルの新しいファミリを紹介する。 マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。 発振システム、ビデオ、実世界の状態シーケンス(MuJoCo)の実験は、学習可能なエネルギーベース以前のODEが既存のものより優れていることを示している。
  論文  参考訳（メタデータ） (2024-09-05T18:14:22Z)
• QT-TDM: Planning With Transformer Dynamics Model and Autoregressive Q-Learning [17.914580097058106]
  強化学習(RL)におけるトランスフォーマーの利用について検討する。 分割Q-Transformerモデルを用いて自己回帰離散Q-関数を学習し、短期水平計画以上の長期的なリターンを推定する。 提案手法であるQT-TDMは,動的モデルとしてのトランスフォーマーの頑健な予測機能とモデルフリーQ-トランスフォーマーの有効性を統合し,リアルタイム計画に伴う計算負担を軽減する。
  論文  参考訳（メタデータ） (2024-07-26T16:05:26Z)
• A Poisson-Gamma Dynamic Factor Model with Time-Varying Transition Dynamics [51.147876395589925]
  非定常PGDSは、基礎となる遷移行列が時間とともに進化できるように提案されている。 後続シミュレーションを行うために, 完全共役かつ効率的なギブスサンプリング装置を開発した。 実験により,提案した非定常PGDSは,関連するモデルと比較して予測性能が向上することを示した。
  論文  参考訳（メタデータ） (2024-02-26T04:39:01Z)
• Attractor Memory for Long-Term Time Series Forecasting: A Chaos Perspective [63.60312929416228]
  textbftextitAttraosはカオス理論を長期時系列予測に取り入れている。 本研究では,AttraosがPatchTSTと比較して,パラメータの12分の1しか持たない主流データセットやカオスデータセットにおいて,LTSF法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-18T05:35:01Z)
• ContiFormer: Continuous-Time Transformer for Irregular Time Series Modeling [30.12824131306359]
  不規則な時系列上の連続時間ダイナミクスのモデリングは、連続的に発生するデータの進化と相関を考慮するために重要である。 リカレントニューラルネットワークやTransformerモデルを含む従来の方法は、強力なニューラルネットワークを通じて誘導バイアスを利用して複雑なパターンをキャプチャする。 本稿では,バニラ変換器の関係モデリングを連続時間領域に拡張するContiFormerを提案する。
  論文  参考訳（メタデータ） (2024-02-16T12:34:38Z)
• Convolutional State Space Models for Long-Range Spatiotemporal Modeling [65.0993000439043]
  ConvS5は、長距離時間モデリングのための効率的な変種である。 トランスフォーマーとConvNISTTMは、長い水平移動実験において、ConvLSTMより3倍速く、トランスフォーマーより400倍速くサンプルを生成する一方で、大幅に性能が向上した。
  論文  参考訳（メタデータ） (2023-10-30T16:11:06Z)
• Evolve Smoothly, Fit Consistently: Learning Smooth Latent Dynamics For Advection-Dominated Systems [14.553972457854517]
  複雑な物理系のサロゲートモデルを学ぶための,データ駆動・時空連続フレームワークを提案する。 ネットワークの表現力と特別に設計された整合性誘導正規化を利用して,低次元かつ滑らかな潜在軌道を得る。
  論文  参考訳（メタデータ） (2023-01-25T03:06:03Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• Learning stochastic dynamics and predicting emergent behavior using transformers [0.0]
  ニューラルネットワークは,システムの1つの動的軌跡を観察することにより,システムの動的規則を学習可能であることを示す。 我々はモデルの1つの軌道上でトランスフォーマーと呼ばれるニューラルネットワークを訓練する。 変換器は、速度の明示的な列挙や構成空間の粗粒化なしに観察から動的規則を学習する柔軟性を持つ。
  論文  参考訳（メタデータ） (2022-02-17T15:27:21Z)
• Efficient Transformers in Reinforcement Learning using Actor-Learner Distillation [91.05073136215886]
  「Actor-Learner Distillation」は、大容量学習者モデルから小容量学習者モデルへ学習の進捗を移す。 Actor-Learner Distillation を用いて,トランスフォーマー学習モデルの明確なサンプル効率向上を再現する,いくつかの挑戦的なメモリ環境を実証する。
  論文  参考訳（メタデータ） (2021-04-04T17:56:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。