論文の概要: Learning stochastic dynamics and predicting emergent behavior using
transformers
- arxiv url: http://arxiv.org/abs/2202.08708v1
- Date: Thu, 17 Feb 2022 15:27:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-18 16:35:11.516354
- Title: Learning stochastic dynamics and predicting emergent behavior using
transformers
- Title(参考訳): 変圧器を用いた確率力学の学習と創発行動予測
- Authors: Corneel Casert, Isaac Tamblyn and Stephen Whitelam
- Abstract要約: ニューラルネットワークは,システムの1つの動的軌跡を観察することにより,システムの動的規則を学習可能であることを示す。
我々はモデルの1つの軌道上でトランスフォーマーと呼ばれるニューラルネットワークを訓練する。
変換器は、速度の明示的な列挙や構成空間の粗粒化なしに観察から動的規則を学習する柔軟性を持つ。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We show that a neural network originally designed for language processing can
learn the dynamical rules of a stochastic system by observation of a single
dynamical trajectory of the system, and can accurately predict its emergent
behavior under conditions not observed during training. We consider a lattice
model of active matter undergoing continuous-time Monte Carlo dynamics,
simulated at a density at which its steady state comprises small, dispersed
clusters. We train a neural network called a transformer on a single trajectory
of the model. The transformer, which we show has the capacity to represent
dynamical rules that are numerous and nonlocal, learns that the dynamics of
this model consists of a small number of processes. Forward-propagated
trajectories of the trained transformer, at densities not encountered during
training, exhibit motility-induced phase separation and so predict the
existence of a nonequilibrium phase transition. Transformers have the
flexibility to learn dynamical rules from observation without explicit
enumeration of rates or coarse-graining of configuration space, and so the
procedure used here can be applied to a wide range of physical systems,
including those with large and complex dynamical generators.
- Abstract(参考訳): 言語処理用に設計されたニューラルネットワークは,システムの単一の動的軌道を観測することで確率システムの動的規則を学習でき,訓練中に観察されない条件下での創発的挙動を正確に予測できる。
連続時間モンテカルロ動力学による活性物質の格子モデルについて検討し,その定常状態が小さな分散クラスターからなる密度でシミュレーションした。
我々はモデルの1つの軌道上でトランスフォーマーと呼ばれるニューラルネットワークを訓練する。
変圧器は多数の非局所的な動的規則を表現できる能力を有しており、このモデルの力学が少数のプロセスから構成されていることが分かる。
訓練された変圧器の前方伝播軌道は、訓練中に見当たらない密度で運動性誘起相分離を示し、非平衡相転移の存在を予測する。
トランスフォーマは、速度の明示的な列挙や構成空間の粗粒化を伴わずに観察から動的規則を学習する柔軟性を持つため、この手順は、大規模で複雑な力学発生器を持つものを含む、幅広い物理システムに適用することができる。
関連論文リスト
- Latent State Models of Training Dynamics [51.88132043461152]
異なるランダムなシードでモデルをトレーニングし、トレーニングを通じてさまざまなメトリクスを計算します。
次に、結果のメトリクス列に隠れマルコフモデル(HMM)を適合させる。
我々はHMM表現を用いて相転移を研究し、収束を遅くする潜伏状態(detour state)を特定する。
論文 参考訳(メタデータ) (2023-08-18T13:20:08Z) - Continuous Spatiotemporal Transformers [2.485182034310304]
連続時間変換器(Continuous Stemporal Transformer, CST)は, 連続系をモデル化するためのトランスフォーマアーキテクチャである。
この新しいフレームワークは、ソボレフ空間における最適化による連続的な表現と出力を保証する。
我々は従来の変圧器や他のスムーズな時相力学モデリング手法に対してCSTをベンチマークし、合成および実システムにおける多くのタスクにおいて優れた性能を達成する。
論文 参考訳(メタデータ) (2023-01-31T00:06:56Z) - Realization of the Trajectory Propagation in the MM-SQC Dynamics by
Using Machine Learning [4.629634111796585]
本研究では,教師付き機械学習(ML)アプローチを適用し,軌道に基づく非線形力学を実現する。
提案したアイデアは、いくつかのサイト・エクシトン電子-フォノンカップリングモデルの力学シミュレーションにおいて信頼性と正確性があることが証明されている。
論文 参考訳(メタデータ) (2022-07-11T01:23:36Z) - Physics-Inspired Temporal Learning of Quadrotor Dynamics for Accurate
Model Predictive Trajectory Tracking [76.27433308688592]
クオーロタのシステムダイナミクスを正確にモデル化することは、アジャイル、安全、安定したナビゲーションを保証する上で非常に重要です。
本稿では,ロボットの経験から,四重項系の力学を純粋に学習するための新しい物理インスパイアされた時間畳み込みネットワーク(PI-TCN)を提案する。
提案手法は,スパース時間的畳み込みと高密度フィードフォワード接続の表現力を組み合わせて,正確なシステム予測を行う。
論文 参考訳(メタデータ) (2022-06-07T13:51:35Z) - Decomposed Linear Dynamical Systems (dLDS) for learning the latent
components of neural dynamics [6.829711787905569]
本稿では,時系列データの非定常および非線形の複雑なダイナミクスを表現した新しい分解力学系モデルを提案する。
我々のモデルは辞書学習によって訓練され、最近の結果を利用してスパースベクトルを時間とともに追跡する。
連続時間と離散時間の両方の指導例において、我々のモデルは元のシステムによく近似できることを示した。
論文 参考訳(メタデータ) (2022-06-07T02:25:38Z) - Likelihood-Free Inference in State-Space Models with Unknown Dynamics [71.94716503075645]
本研究では、状態空間モデルにおいて、観測をシミュレートすることしかできず、遷移ダイナミクスが不明な潜在状態の推測と予測を行う手法を提案する。
本研究では,限られた数のシミュレーションで状態予測と状態予測を行う手法を提案する。
論文 参考訳(メタデータ) (2021-11-02T12:33:42Z) - Topographic VAEs learn Equivariant Capsules [84.33745072274942]
本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。
このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。
我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
論文 参考訳(メタデータ) (2021-09-03T09:25:57Z) - GEM: Group Enhanced Model for Learning Dynamical Control Systems [78.56159072162103]
サンプルベースの学習が可能な効果的なダイナミクスモデルを構築します。
リー代数ベクトル空間上のダイナミクスの学習は、直接状態遷移モデルを学ぶよりも効果的であることを示す。
この研究は、ダイナミクスの学習とリー群の性質の関連性を明らかにし、新たな研究の方向への扉を開く。
論文 参考訳(メタデータ) (2021-04-07T01:08:18Z) - Tensorized Transformer for Dynamical Systems Modeling [0.0]
動的システムモデリングと言語モデリングタスクの並列性を確立する。
本稿では,データの幾何学的性質を組み込んだトランスモデルを提案する。
高次元力学系の条件確率の細粒度近似を可能にする反復的学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-06-05T13:43:37Z) - Euclideanizing Flows: Diffeomorphic Reduction for Learning Stable
Dynamical Systems [74.80320120264459]
本研究では、限られた数の人間の実演からそのような動きを学ぶためのアプローチを提案する。
複素運動は安定な力学系のロールアウトとして符号化される。
このアプローチの有効性は、確立されたベンチマーク上での検証と、現実世界のロボットシステム上で収集されたデモによって実証される。
論文 参考訳(メタデータ) (2020-05-27T03:51:57Z) - Self-Supervised Learning of Generative Spin-Glasses with Normalizing
Flows [0.0]
一般的な離散問題におけるモデル相関に対する正規化フローを用いた連続スピングラス分布の開発を行う。
スピングラス位相の物理的および計算的特性をうまく学習できることを実証する。
注目すべきは、学習そのものがトレーニングされた正規化フローの層内のスピングラス相転移に対応することである。
論文 参考訳(メタデータ) (2020-01-02T19:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。