論文の概要: On instabilities in neural network-based physics simulators
- arxiv url: http://arxiv.org/abs/2406.13101v1
- Date: Tue, 18 Jun 2024 23:25:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-21 23:58:20.469311
- Title: On instabilities in neural network-based physics simulators
- Title（参考訳）: ニューラルネットワークに基づく物理シミュレータの不安定性について
- Authors: Daniel Floryan,
- Abstract要約: ニューラルネットワークによって生じる長時間の力学は、しばしば非物理的または不安定である。
トレーニング力学の収束速度は不均一であり, データのエネルギー分布に依存することを示す。
トレーニング中にデータに合成ノイズを注入すると、トレーニングダイナミクスが減衰し、学習したシミュレータを安定させることができる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When neural networks are trained from data to simulate the dynamics of physical systems, they encounter a persistent challenge: the long-time dynamics they produce are often unphysical or unstable. We analyze the origin of such instabilities when learning linear dynamical systems, focusing on the training dynamics. We make several analytical findings which empirical observations suggest extend to nonlinear dynamical systems. First, the rate of convergence of the training dynamics is uneven and depends on the distribution of energy in the data. As a special case, the dynamics in directions where the data have no energy cannot be learned. Second, in the unlearnable directions, the dynamics produced by the neural network depend on the weight initialization, and common weight initialization schemes can produce unstable dynamics. Third, injecting synthetic noise into the data during training adds damping to the training dynamics and can stabilize the learned simulator, though doing so undesirably biases the learned dynamics. For each contributor to instability, we suggest mitigative strategies. We also highlight important differences between learning discrete-time and continuous-time dynamics, and discuss extensions to nonlinear systems.
- Abstract（参考訳）: ニューラルネットワークが物理的システムのダイナミクスをシミュレートするためにデータからトレーニングされている場合、それらは永続的な課題に直面します。
線形力学系を学習する際のそのような不安定性の起源を,トレーニング力学に焦点をあてて解析する。
本研究では, 経験的観察が非線形力学系に拡張することを示唆するいくつかの解析的発見を行う。
まず、トレーニング力学の収束速度は不均一であり、データのエネルギー分布に依存する。
特別な場合として、データがエネルギーを持たない方向の力学は学べない。
第二に、学習不能な方向では、ニューラルネットワークによって生成されるダイナミクスはウェイト初期化に依存し、共通のウェイト初期化スキームは不安定なダイナミクスを生成する。
第三に、トレーニング中にデータに合成ノイズを注入すると、トレーニングのダイナミクスが減衰し、学習したシミュレータを安定させることができる。
不安定性への貢献者それぞれに対して、緩和戦略を提案する。
また、離散時間学習と連続時間力学の重要な違いを強調し、非線形システムの拡張について議論する。
関連論文リスト
- Learning System Dynamics without Forgetting [60.08612207170659]
未知の力学を持つ系の軌道予測は、物理学や生物学を含む様々な研究分野において重要である。
本稿では,モードスイッチンググラフODE (MS-GODE) の新たなフレームワークを提案する。
生体力学の異なる多様な系を特徴とする生体力学システムの新しいベンチマークを構築した。
論文 参考訳（メタデータ） (2024-06-30T14:55:18Z) - Learning Dissipative Neural Dynamical Systems [0.8993153817914281]
一般に、ニューラルネットワークトレーニング中に拡散性の制約を課すことは、既知のテクニックが存在しない難しい問題である。
これらの2つの摂動問題は独立して解き、散逸することが保証される神経力学モデルが得られることを示す。
論文 参考訳（メタデータ） (2023-09-27T21:25:26Z) - Leveraging Neural Koopman Operators to Learn Continuous Representations
of Dynamical Systems from Scarce Data [0.0]
我々は、本質的に連続的な方法でダイナミクスを表現する新しいディープ・クープマン・フレームワークを提案する。
このフレームワークは、限られたトレーニングデータのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2023-03-13T10:16:19Z) - Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。
臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
論文 参考訳（メタデータ） (2022-10-06T23:50:38Z) - Decomposed Linear Dynamical Systems (dLDS) for learning the latent
components of neural dynamics [6.829711787905569]
本稿では,時系列データの非定常および非線形の複雑なダイナミクスを表現した新しい分解力学系モデルを提案する。
我々のモデルは辞書学習によって訓練され、最近の結果を利用してスパースベクトルを時間とともに追跡する。
連続時間と離散時間の両方の指導例において、我々のモデルは元のシステムによく近似できることを示した。
論文 参考訳（メタデータ） (2022-06-07T02:25:38Z) - Learning Fine Scale Dynamics from Coarse Observations via Inner
Recurrence [0.0]
最近の研究は、ディープニューラルネットワーク(DNN)による未知のシステムの進化に関するデータ駆動学習に焦点を当てている。
本稿では,このような粗い観測データから微細な力学を学習するための計算手法を提案する。
論文 参考訳（メタデータ） (2022-06-03T20:28:52Z) - Capturing Actionable Dynamics with Structured Latent Ordinary
Differential Equations [68.62843292346813]
本稿では,その潜在表現内でのシステム入力の変動をキャプチャする構造付き潜在ODEモデルを提案する。
静的変数仕様に基づいて,本モデルではシステムへの入力毎の変動要因を学習し,潜在空間におけるシステム入力の影響を分離する。
論文 参考訳（メタデータ） (2022-02-25T20:00:56Z) - Constructing Neural Network-Based Models for Simulating Dynamical
Systems [59.0861954179401]
データ駆動モデリングは、真のシステムの観測からシステムの力学の近似を学ぼうとする代替パラダイムである。
本稿では,ニューラルネットワークを用いた動的システムのモデル構築方法について検討する。
基礎的な概要に加えて、関連する文献を概説し、このモデリングパラダイムが克服すべき数値シミュレーションから最も重要な課題を概説する。
論文 参考訳（メタデータ） (2021-11-02T10:51:42Z) - Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。
これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。
以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
論文 参考訳（メタデータ） (2021-02-22T17:33:51Z) - Physics-Incorporated Convolutional Recurrent Neural Networks for Source
Identification and Forecasting of Dynamical Systems [10.689157154434499]
本稿では,数値物理学に基づくモデルと深層学習を組み合わせたハイブリッドフレームワークを提案する。
我々は、我々のモデルであるPhICNetを、S時間進化を予測するためのエンドツーエンドのトレーニングが可能な畳み込みリカレントニューラルネットワーク(RNN)として定式化する。
実験結果から,提案モデルが比較的長期間にわたって力学を予測し,情報源も同定できることが示唆された。
論文 参考訳（メタデータ） (2020-04-14T00:27:18Z) - Learning Stable Deep Dynamics Models [91.90131512825504]
状態空間全体にわたって安定することが保証される力学系を学習するためのアプローチを提案する。
このような学習システムは、単純な力学系をモデル化することができ、複雑な力学を学習するために追加の深層生成モデルと組み合わせることができることを示す。
論文 参考訳（メタデータ） (2020-01-17T00:04:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。