論文の概要: Recurrent Neural Operators: Stable Long-Term PDE Prediction

• arxiv url: http://arxiv.org/abs/2505.20721v1
• Date: Tue, 27 May 2025 05:04:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.413127
• Title: Recurrent Neural Operators: Stable Long-Term PDE Prediction
• Title（参考訳）: リカレントニューラル演算子:安定な長期PDE予測
• Authors: Zaijun Ye, Chen-Song Zhang, Wansheng Wang,
• Abstract要約: 本稿では、リカレント・トレーニングをニューラル・オペレーター・アーキテクチャに統合するためのリカレント・ニューラル・オペレーター(RNO)を提案する。 RNOはオペレータを時間ウィンドウ上で自身の予測に適用し、トレーニング中の推論時間ダイナミクスを効果的にシミュレートする。 繰り返し学習は, 教師が線形成長を強制する場合の, 最悪の指数的誤りの増大を低減できることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural operators have emerged as powerful tools for learning solution operators of partial differential equations. However, in time-dependent problems, standard training strategies such as teacher forcing introduce a mismatch between training and inference, leading to compounding errors in long-term autoregressive predictions. To address this issue, we propose Recurrent Neural Operators (RNOs)-a novel framework that integrates recurrent training into neural operator architectures. Instead of conditioning each training step on ground-truth inputs, RNOs recursively apply the operator to their own predictions over a temporal window, effectively simulating inference-time dynamics during training. This alignment mitigates exposure bias and enhances robustness to error accumulation. Theoretically, we show that recurrent training can reduce the worst-case exponential error growth typical of teacher forcing to linear growth. Empirically, we demonstrate that recurrently trained Multigrid Neural Operators significantly outperform their teacher-forced counterparts in long-term accuracy and stability on standard benchmarks. Our results underscore the importance of aligning training with inference dynamics for robust temporal generalization in neural operator learning.
• Abstract（参考訳）: ニューラル作用素は偏微分方程式の解作用素を学習するための強力なツールとして登場した。 しかし、時間依存的な問題では、教師の強制のような標準的な訓練戦略は、トレーニングと推論のミスマッチを導入し、長期的自己回帰予測において複合的なエラーを引き起こす。 この問題に対処するために、リカレントトレーニングをニューラルネットワークアーキテクチャに統合する新しいフレームワークであるRecurrent Neural Operators (RNOs)を提案する。 RNOは、各トレーニングステップを地道入力に条件付ける代わりに、時間ウィンドウ上で演算子を自身の予測に再帰的に適用し、トレーニング中の推論時間ダイナミクスを効果的にシミュレートする。 このアライメントは露光バイアスを緩和し、エラー蓄積に対する堅牢性を高める。 理論的には、リカレントトレーニングは、教師が線形成長を強制するのに典型的な最悪ケースの指数誤差の増大を減らすことができる。 経験的に、繰り返し訓練されたマルチグリッドニューラルネットワークは、標準ベンチマークの長期的精度と安定性において、教師が強制する演算子よりも大幅に優れていたことを実証した。 本結果は,ニューラルネットワーク学習における時間的高次化のための推論力学とトレーニングの整合性の重要性を浮き彫りにした。

関連論文リスト

• Temporal Neural Operator for Modeling Time-Dependent Physical Phenomena [0.0]
  ニューラル(英: Neural, NOs)とは、関数空間間の写像を部分的に学習することで微分方程式(PDE)を解くために設計された機械学習モデルである。 彼らは時間に依存したPDEの時間的ダイナミクスのマッピングに苦慮している。 ほとんどのNOは、特に高次元のPDEでは、トレーニングに不当にコストがかかる傾向にある。 時間依存型PDE用に設計された効率的なニューラル演算子であるテンポラルニューラル演算子(TNO)を提案する。
  論文  参考訳（メタデータ） (2025-04-28T20:40:19Z)
• Neural Operator Learning for Long-Time Integration in Dynamical Systems with Recurrent Neural Networks [1.6874375111244329]
  深層ニューラルネットワークは、推論中に計算コストを削減し、観測データから直接トレーニングすることができる。 しかし、既存の手法は正確には外挿できないため、長時間の統合ではエラーの蓄積が困難である。 ニューラル演算子とリカレントニューラルネットワークを組み合わせることでこの問題に対処し、オペレータマッピングを学習し、時間的依存関係をキャプチャするリカレント構造を提供する。
  論文  参考訳（メタデータ） (2023-03-03T22:19:23Z)
• Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic Representation [59.45669299295436]
  教師なしニューラルソルバのトレーニングのためのモンテカルロPDEソルバを提案する。 我々は、マクロ現象をランダム粒子のアンサンブルとみなすPDEの確率的表現を用いる。 対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
  論文  参考訳（メタデータ） (2023-02-10T08:05:19Z)
• Modeling Nonlinear Dynamics in Continuous Time with Inductive Biases on Decay Rates and/or Frequencies [37.795752939016225]
  本稿では, 連続時間における非線形力学のニューラルネットワークモデルを提案し, 減衰率と周波数に帰納バイアスを課すことができる。 ニューラルネットワークを用いて適切なクープマン空間を探索し、不規則にサンプリングされた時系列データを用いて、マルチステップ予測とバックキャストエラーを最小化することでトレーニングする。
  論文  参考訳（メタデータ） (2022-12-26T08:08:43Z)
• Addressing Mistake Severity in Neural Networks with Semantic Knowledge [0.0]
  ほとんどの堅牢なトレーニング技術は、摂動入力のモデル精度を改善することを目的としている。 強靭性の代替形態として、ニューラルネットワークが挑戦的な状況で犯した誤りの深刻度を低減することを目的としている。 我々は、現在の対人訓練手法を活用して、トレーニングプロセス中に標的の対人攻撃を発生させる。 その結果,本手法は,標準モデルや逆トレーニングモデルと比較して,誤り重大性に対して優れた性能を示した。
  論文  参考訳（メタデータ） (2022-11-21T22:01:36Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Stabilizing Machine Learning Prediction of Dynamics: Noise and Noise-inspired Regularization [58.720142291102135]
  近年、機械学習(ML)モデルはカオス力学系の力学を正確に予測するために訓練可能であることが示されている。 緩和技術がなければ、この技術は人工的に迅速にエラーを発生させ、不正確な予測と/または気候不安定をもたらす可能性がある。 トレーニング中にモデル入力に付加される多数の独立雑音実効化の効果を決定論的に近似する正規化手法であるLinearized Multi-Noise Training (LMNT)を導入する。
  論文  参考訳（メタデータ） (2022-11-09T23:40:52Z)
• What training reveals about neural network complexity [80.87515604428346]
  この研究は、ディープニューラルネットワーク(NN)が学習している関数の複雑さは、トレーニング中にその重みがどれほど速く変化するかによって推定できるという仮説を探求する。 我々の結果は、優れた訓練行動が良い一般化への有用なバイアスとなるという仮説を支持している。
  論文  参考訳（メタデータ） (2021-06-08T08:58:00Z)
• Age-Based Coded Computation for Bias Reduction in Distributed Learning [57.9123881133818]
  コード計算は、分散学習の高速化に使用することができる。 勾配ベクトルの部分回復は、各反復時の計算時間をさらに短縮することができる。 重なり合う行動が時間とともに相関すると、推定バイアスが特に顕著になる。
  論文  参考訳（メタデータ） (2020-06-02T17:51:11Z)
• Understanding and Mitigating the Tradeoff Between Robustness and Accuracy [88.51943635427709]
  逆行訓練は、堅牢なエラーを改善するために、摂動でトレーニングセットを増強する。 拡張摂動が最適線形予測器からノイズのない観測を行う場合であっても,標準誤差は増大する可能性がある。
  論文  参考訳（メタデータ） (2020-02-25T08:03:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。