論文の概要: Revising the Structure of Recurrent Neural Networks to Eliminate Numerical Derivatives in Forming Physics Informed Loss Terms with Respect to Time
- arxiv url: http://arxiv.org/abs/2409.10388v1
- Date: Mon, 16 Sep 2024 15:24:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-17 15:00:57.287212
- Title: Revising the Structure of Recurrent Neural Networks to Eliminate Numerical Derivatives in Forming Physics Informed Loss Terms with Respect to Time
- Title（参考訳）: 時間を考慮した物理インフォームド損失項の生成における数値微分の除去のためのリカレントニューラルネットワークの構造の改訂
- Authors: Mahyar Jahani-nasab, Mohamad Ali Bijarchi,
- Abstract要約: Mutual Interval RNN (MI-RNN) は、バーガーズ方程式、不規則領域における非定常熱伝導、グリーン渦問題という3つの異なるベンチマークを解くために用いられる。
以上の結果から,MI-RNNは既存のRNNモデルよりも正確な解を見つけることができることがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Solving unsteady partial differential equations (PDEs) using recurrent neural networks (RNNs) typically requires numerical derivatives between each block of the RNN to form the physics informed loss function. However, this introduces the complexities of numerical derivatives into the training process of these models. In this study, we propose modifying the structure of the traditional RNN to enable the prediction of each block over a time interval, making it possible to calculate the derivative of the output with respect to time using the backpropagation algorithm. To achieve this, the time intervals of these blocks are overlapped, defining a mutual loss function between them. Additionally, the employment of conditional hidden states enables us to achieve a unique solution for each block. The forget factor is utilized to control the influence of the conditional hidden state on the prediction of the subsequent block. This new model, termed the Mutual Interval RNN (MI-RNN), is applied to solve three different benchmarks: the Burgers equation, unsteady heat conduction in an irregular domain, and the Green vortex problem. Our results demonstrate that MI-RNN can find the exact solution more accurately compared to existing RNN models. For instance, in the second problem, MI-RNN achieved one order of magnitude less relative error compared to the RNN model with numerical derivatives.
- Abstract（参考訳）: リカレントニューラルネットワーク(RNN)を用いた非定常偏微分方程式(PDE)の解法は、典型的には、物理情報損失関数を形成するために、RNNの各ブロック間の数値微分を必要とする。
しかし、これはこれらのモデルの訓練過程に数値微分の複雑さをもたらす。
本研究では,従来のRNNの構造を変更して,各ブロックを時間間隔で予測し,バックプロパゲーションアルゴリズムを用いて出力の微分を計算することを提案する。
これを実現するために、これらのブロックの時間間隔を重なり、それら間の相互損失関数を定義する。
さらに,条件付き隠れ状態の活用により,各ブロックに対してユニークな解が得られる。
その後のブロックの予測に対する条件付き隠蔽状態の影響を制御するために、忘れ要因を利用する。
この新モデルはMutual Interval RNN (MI-RNN)と呼ばれ、バーガーズ方程式、不規則領域における非定常熱伝導、グリーン渦問題という3つの異なるベンチマークを解くために用いられる。
以上の結果から,MI-RNNは既存のRNNモデルよりも正確な解を見つけることができることがわかった。
例えば、2つ目の問題では、MI-RNNは数値微分を持つRNNモデルに比べて1桁少ない相対誤差を達成した。
関連論文リスト
- PMNN:Physical Model-driven Neural Network for solving time-fractional
differential equations [17.66402435033991]
時間差分方程式を解くために, 革新的物理モデル駆動ニューラルネットワーク (PMNN) 法を提案する。
ディープニューラルネットワーク(DNN)と分数微分の近似を効果的に組み合わせる。
論文 参考訳（メタデータ） (2023-10-07T12:43:32Z) - A predictive physics-aware hybrid reduced order model for reacting flows [65.73506571113623]
反応流問題の解法として,新しいハイブリッド型予測次数モデル (ROM) を提案する。
自由度は、数千の時間的点から、対応する時間的係数を持ついくつかのPODモードへと減少する。
時間係数を予測するために、2つの異なるディープラーニングアーキテクチャがテストされている。
論文 参考訳（メタデータ） (2023-01-24T08:39:20Z) - RBF-MGN:Solving spatiotemporal PDEs with Physics-informed Graph Neural
Network [4.425915683879297]
グラフニューラルネットワーク(GNN)とラジアル基底関数有限差分(RBF-FD)に基づく新しいフレームワークを提案する。
RBF-FDはモデルトレーニングを導くために微分方程式の高精度差分形式を構築するために用いられる。
提案アルゴリズムの一般化可能性,精度,効率性を,異なるPDEパラメータで説明する。
論文 参考訳（メタデータ） (2022-12-06T10:08:02Z) - Tunable Complexity Benchmarks for Evaluating Physics-Informed Neural
Networks on Coupled Ordinary Differential Equations [64.78260098263489]
本研究では,より複雑に結合した常微分方程式(ODE)を解く物理インフォームドニューラルネットワーク(PINN)の能力を評価する。
PINNの複雑性が増大するにつれて,これらのベンチマークに対する正しい解が得られないことが示される。
PINN損失のラプラシアンは,ネットワーク容量の不足,ODEの条件の低下,局所曲率の高さなど,いくつかの理由を明らかにした。
論文 参考訳（メタデータ） (2022-10-14T15:01:32Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - UnICORNN: A recurrent model for learning very long time dependencies [0.0]
2次常微分方程式のハミルトン系の離散性を保つ構造に基づく新しいRNNアーキテクチャを提案する。
結果として得られるrnnは高速で可逆(時間)で、メモリ効率が良く、隠れた状態勾配の厳密な境界を導出して、爆発と消滅の勾配問題の緩和を証明する。
論文 参考訳（メタデータ） (2021-03-09T15:19:59Z) - Coupled Oscillatory Recurrent Neural Network (coRNN): An accurate and
(gradient) stable architecture for learning long time dependencies [15.2292571922932]
本稿では,リカレントニューラルネットワークのための新しいアーキテクチャを提案する。
提案するRNNは, 2次常微分方程式系の時間分解に基づく。
実験の結果,提案したRNNは,様々なベンチマークによる最先端技術に匹敵する性能を示した。
論文 参考訳（メタデータ） (2020-10-02T12:35:04Z) - Frequentist Uncertainty in Recurrent Neural Networks via Blockwise
Influence Functions [121.10450359856242]
リカレントニューラルネットワーク(RNN)は、シーケンシャルおよび時系列データのモデリングに有効である。
RNNにおける既存の不確実性定量化のアプローチは、主にベイズ法に基づいている。
a)モデルトレーニングに干渉せず、その精度を損なうことなく、(b)任意のRNNアーキテクチャに適用し、(c)推定不確かさ間隔に関する理論的カバレッジ保証を提供する。
論文 参考訳（メタデータ） (2020-06-20T22:45:32Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳（メタデータ） (2020-06-16T21:56:22Z) - Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。
暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。
これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文 参考訳（メタデータ） (2020-06-08T09:53:35Z) - Fractional Deep Neural Network via Constrained Optimization [0.0]
本稿では,ディープニューラルネットワーク(DNN)のための新しいアルゴリズムフレームワークを提案する。
Fractional-DNNは、時間非線形常微分方程式(ODE)における分数の時間差分化と見なすことができる。
論文 参考訳（メタデータ） (2020-04-01T21:58:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。