Fugu-MT 論文翻訳(概要): Stability of implicit neural networks for long-term forecasting in dynamical systems

論文の概要: Stability of implicit neural networks for long-term forecasting in dynamical systems

arxiv url: http://arxiv.org/abs/2305.17155v1
Date: Fri, 26 May 2023 13:58:48 GMT
ステータス: 処理完了
システム内更新日: 2023-05-30 23:21:08.861757
Title: Stability of implicit neural networks for long-term forecasting in dynamical systems
Title（参考訳）: 動的システムの長期予測のための暗黙的ニューラルネットワークの安定性
Authors: Leon Migus, Julien Salomon and Patrick Gallinari
Abstract要約: 我々は,このネットワークの予測における安定性を保証するためのスキームの安定性定義に基づく理論を開発する。実験の結果, 安定性が検証され, 2つの輸送PDEの長期予測結果が得られた。
参考スコア（独自算出の注目度）: 10.74610263406029
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Forecasting physical signals in long time range is among the most challenging tasks in Partial Differential Equations (PDEs) research. To circumvent limitations of traditional solvers, many different Deep Learning methods have been proposed. They are all based on auto-regressive methods and exhibit stability issues. Drawing inspiration from the stability property of implicit numerical schemes, we introduce a stable auto-regressive implicit neural network. We develop a theory based on the stability definition of schemes to ensure the stability in forecasting of this network. It leads us to introduce hard constraints on its weights and propagate the dynamics in the latent space. Our experimental results validate our stability property, and show improved results at long-term forecasting for two transports PDEs.
Abstract（参考訳）: 物理信号の長期的予測は偏微分方程式(pdes)の研究において最も難しい課題である。従来の解法の限界を回避するため、様々なディープラーニング手法が提案されている。これらはすべて自動回帰法に基づいており、安定性の問題を示している。暗黙的数値スキームの安定性特性から着想を得て、安定な自己回帰型暗黙的ニューラルネットワークを導入する。このネットワークの予測における安定性を保証するためのスキームの安定性定義に基づく理論を開発する。重みに対する厳しい制約を導入し、潜在空間の力学を伝播させる。実験結果は安定性を検証し,2つのトランスポートpdesの長期予測結果の改善を示した。

関連論文リスト

Some Results on Neural Network Stability, Consistency, and Convergence: Insights into Non-IID Data, High-Dimensional Settings, and Physics-Informed Neural Networks [0.0]
本稿では,機械学習における重要な課題,特に非IIDデータ分散条件下での課題について述べる。我々は、動的学習率の均一な安定性ネットワークに関する結果を提供する。これらの結果は,ノイズの多い環境下でのモデル行動の理解において,大きなギャップを埋める。
論文参考訳（メタデータ） (2024-09-08T08:48:42Z)
Stable Neural Stochastic Differential Equations in Analyzing Irregular Time Series Data [3.686808512438363]
実世界の時系列データにおける不規則サンプリング間隔と欠落値は,従来の手法の課題である。本稿では,Langevin-type SDE,Linear Noise SDE,Geometric SDEの3つの安定クラスを提案する。本研究は,実世界の不規則時系列データを扱う上で,提案手法の有効性を示すものである。
論文参考訳（メタデータ） (2024-02-22T22:00:03Z)
Uncertainty Quantification for Forward and Inverse Problems of PDEs via Latent Global Evolution [110.99891169486366]
本稿では,効率的かつ高精度な不確実性定量化を深層学習に基づく代理モデルに統合する手法を提案する。本手法は,フォワード問題と逆問題の両方に対して,堅牢かつ効率的な不確実性定量化機能を備えたディープラーニングに基づく代理モデルを提案する。提案手法は, 長期予測を含むシナリオに適合し, 拡張された自己回帰ロールアウトに対する不確かさの伝播に優れる。
論文参考訳（メタデータ） (2024-02-13T11:22:59Z)
Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文参考訳（メタデータ） (2023-03-03T08:17:47Z)
A PDE-based Explanation of Extreme Numerical Sensitivities and Edge of Stability in Training Neural Networks [12.355137704908042]
勾配降下型深層ネットワーク(SGD)の現在の訓練実践における抑制的数値不安定性を示す。我々は、偏微分方程式(PDE)の数値解析を用いて理論的枠組みを提示し、畳み込みニューラルネットワーク(CNN)の勾配降下PDEを分析する。これはCNNの降下に伴う非線形PDEの結果であり、離散化のステップサイズを過度に運転すると局所線形化が変化し、安定化効果がもたらされることを示す。
論文参考訳（メタデータ） (2022-06-04T14:54:05Z)
Accurate and Reliable Forecasting using Stochastic Differential Equations [48.21369419647511]
ディープラーニングモデルにとって、現実世界の環境に浸透する不確実性を適切に特徴付けることは、非常に困難である。本論文では,HNNの予測平均と分散の相互作用を特徴づけるSDE-HNNを開発した。本手法は,予測性能と不確実性定量化の両方の観点から,最先端のベースラインを著しく上回ることを示す。
論文参考訳（メタデータ） (2021-03-28T04:18:11Z)
Almost Surely Stable Deep Dynamics [4.199844472131922]
本稿では,観測データから安定なディープニューラルネットワークに基づく動的モデルを学ぶ手法を提案する。本手法は,lyapunovニューラルネットワークを動的モデルに組み込むことにより,本質的に安定性基準を満たす。
論文参考訳（メタデータ） (2021-03-26T20:37:08Z)
Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
論文参考訳（メタデータ） (2020-10-28T15:23:49Z)
Stochastically forced ensemble dynamic mode decomposition for forecasting and analysis of near-periodic systems [65.44033635330604]
本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。電力グリッドからの負荷データを用いたテストケースの結果が提示される。
論文参考訳（メタデータ） (2020-10-08T20:25:52Z)
Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
論文参考訳（メタデータ） (2020-06-15T06:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。