論文の概要: Learning stochastic dynamics and predicting emergent behavior using transformers

• arxiv url: http://arxiv.org/abs/2202.08708v1
• Date: Thu, 17 Feb 2022 15:27:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-18 16:35:11.516354
• Title: Learning stochastic dynamics and predicting emergent behavior using transformers
• Title（参考訳）: 変圧器を用いた確率力学の学習と創発行動予測
• Authors: Corneel Casert, Isaac Tamblyn and Stephen Whitelam
• Abstract要約: ニューラルネットワークは,システムの1つの動的軌跡を観察することにより,システムの動的規則を学習可能であることを示す。 我々はモデルの1つの軌道上でトランスフォーマーと呼ばれるニューラルネットワークを訓練する。 変換器は、速度の明示的な列挙や構成空間の粗粒化なしに観察から動的規則を学習する柔軟性を持つ。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We show that a neural network originally designed for language processing can learn the dynamical rules of a stochastic system by observation of a single dynamical trajectory of the system, and can accurately predict its emergent behavior under conditions not observed during training. We consider a lattice model of active matter undergoing continuous-time Monte Carlo dynamics, simulated at a density at which its steady state comprises small, dispersed clusters. We train a neural network called a transformer on a single trajectory of the model. The transformer, which we show has the capacity to represent dynamical rules that are numerous and nonlocal, learns that the dynamics of this model consists of a small number of processes. Forward-propagated trajectories of the trained transformer, at densities not encountered during training, exhibit motility-induced phase separation and so predict the existence of a nonequilibrium phase transition. Transformers have the flexibility to learn dynamical rules from observation without explicit enumeration of rates or coarse-graining of configuration space, and so the procedure used here can be applied to a wide range of physical systems, including those with large and complex dynamical generators.
• Abstract（参考訳）: 言語処理用に設計されたニューラルネットワークは,システムの単一の動的軌道を観測することで確率システムの動的規則を学習でき,訓練中に観察されない条件下での創発的挙動を正確に予測できる。 連続時間モンテカルロ動力学による活性物質の格子モデルについて検討し,その定常状態が小さな分散クラスターからなる密度でシミュレーションした。 我々はモデルの1つの軌道上でトランスフォーマーと呼ばれるニューラルネットワークを訓練する。 変圧器は多数の非局所的な動的規則を表現できる能力を有しており、このモデルの力学が少数のプロセスから構成されていることが分かる。 訓練された変圧器の前方伝播軌道は、訓練中に見当たらない密度で運動性誘起相分離を示し、非平衡相転移の存在を予測する。 トランスフォーマは、速度の明示的な列挙や構成空間の粗粒化を伴わずに観察から動的規則を学習する柔軟性を持つため、この手順は、大規模で複雑な力学発生器を持つものを含む、幅広い物理システムに適用することができる。

関連論文リスト

• Identification of Mean-Field Dynamics using Transformers [3.8916312075738273]
  本稿では, 粒子の挙動を示す粒子系の平均場ダイナミクスを近似するために, 変圧器アーキテクチャを用いた手法について検討する。 具体的には、有限次元変圧器が粒子系を支配する有限次元ベクトル場を効果的に近似できるなら、この変圧器の期待出力は無限次元平均場ベクトル場に対して良い近似を与える。
  論文  参考訳（メタデータ） (2024-10-06T19:47:24Z)
• Latent Space Energy-based Neural ODEs [73.01344439786524]
  本稿では,連続時間シーケンスデータを表現するために設計された深部力学モデルの新しいファミリを紹介する。 マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。 発振システム、ビデオ、実世界の状態シーケンス(MuJoCo)の実験は、学習可能なエネルギーベース以前のODEが既存のものより優れていることを示している。
  論文  参考訳（メタデータ） (2024-09-05T18:14:22Z)
• Dynamical Mean-Field Theory of Self-Attention Neural Networks [0.0]
  トランスフォーマーベースのモデルは、様々な領域で例外的な性能を示している。 動作方法や期待されるダイナミクスについてはほとんど分かっていない。 非平衡状態における非対称ホップフィールドネットワークの研究に手法を用いる。
  論文  参考訳（メタデータ） (2024-06-11T13:29:34Z)
• Latent State Models of Training Dynamics [51.88132043461152]
  異なるランダムなシードでモデルをトレーニングし、トレーニングを通じてさまざまなメトリクスを計算します。 次に、結果のメトリクス列に隠れマルコフモデル(HMM)を適合させる。 我々はHMM表現を用いて相転移を研究し、収束を遅くする潜伏状態(detour state)を特定する。
  論文  参考訳（メタデータ） (2023-08-18T13:20:08Z)
• Continuous Spatiotemporal Transformers [2.485182034310304]
  連続時間変換器(Continuous Stemporal Transformer, CST)は, 連続系をモデル化するためのトランスフォーマアーキテクチャである。 この新しいフレームワークは、ソボレフ空間における最適化による連続的な表現と出力を保証する。 我々は従来の変圧器や他のスムーズな時相力学モデリング手法に対してCSTをベンチマークし、合成および実システムにおける多くのタスクにおいて優れた性能を達成する。
  論文  参考訳（メタデータ） (2023-01-31T00:06:56Z)
• Physics-Inspired Temporal Learning of Quadrotor Dynamics for Accurate Model Predictive Trajectory Tracking [76.27433308688592]
  クオーロタのシステムダイナミクスを正確にモデル化することは、アジャイル、安全、安定したナビゲーションを保証する上で非常に重要です。 本稿では,ロボットの経験から,四重項系の力学を純粋に学習するための新しい物理インスパイアされた時間畳み込みネットワーク(PI-TCN)を提案する。 提案手法は,スパース時間的畳み込みと高密度フィードフォワード接続の表現力を組み合わせて,正確なシステム予測を行う。
  論文  参考訳（メタデータ） (2022-06-07T13:51:35Z)
• Decomposed Linear Dynamical Systems (dLDS) for learning the latent components of neural dynamics [6.829711787905569]
  本稿では,時系列データの非定常および非線形の複雑なダイナミクスを表現した新しい分解力学系モデルを提案する。 我々のモデルは辞書学習によって訓練され、最近の結果を利用してスパースベクトルを時間とともに追跡する。 連続時間と離散時間の両方の指導例において、我々のモデルは元のシステムによく近似できることを示した。
  論文  参考訳（メタデータ） (2022-06-07T02:25:38Z)
• Likelihood-Free Inference in State-Space Models with Unknown Dynamics [71.94716503075645]
  本研究では、状態空間モデルにおいて、観測をシミュレートすることしかできず、遷移ダイナミクスが不明な潜在状態の推測と予測を行う手法を提案する。 本研究では,限られた数のシミュレーションで状態予測と状態予測を行う手法を提案する。
  論文  参考訳（メタデータ） (2021-11-02T12:33:42Z)
• GEM: Group Enhanced Model for Learning Dynamical Control Systems [78.56159072162103]
  サンプルベースの学習が可能な効果的なダイナミクスモデルを構築します。 リー代数ベクトル空間上のダイナミクスの学習は、直接状態遷移モデルを学ぶよりも効果的であることを示す。 この研究は、ダイナミクスの学習とリー群の性質の関連性を明らかにし、新たな研究の方向への扉を開く。
  論文  参考訳（メタデータ） (2021-04-07T01:08:18Z)
• Euclideanizing Flows: Diffeomorphic Reduction for Learning Stable Dynamical Systems [74.80320120264459]
  本研究では、限られた数の人間の実演からそのような動きを学ぶためのアプローチを提案する。 複素運動は安定な力学系のロールアウトとして符号化される。 このアプローチの有効性は、確立されたベンチマーク上での検証と、現実世界のロボットシステム上で収集されたデモによって実証される。
  論文  参考訳（メタデータ） (2020-05-27T03:51:57Z)
• Self-Supervised Learning of Generative Spin-Glasses with Normalizing Flows [0.0]
  一般的な離散問題におけるモデル相関に対する正規化フローを用いた連続スピングラス分布の開発を行う。 スピングラス位相の物理的および計算的特性をうまく学習できることを実証する。 注目すべきは、学習そのものがトレーニングされた正規化フローの層内のスピングラス相転移に対応することである。
  論文  参考訳（メタデータ） (2020-01-02T19:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。