論文の概要: Towards Stability of Autoregressive Neural Operators

• arxiv url: http://arxiv.org/abs/2306.10619v2
• Date: Sun, 10 Dec 2023 22:07:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-13 02:21:43.244644
• Title: Towards Stability of Autoregressive Neural Operators
• Title（参考訳）: 自己回帰型ニューラル演算子の安定性に向けて
• Authors: Michael McCabe, Peter Harrington, Shashank Subramanian, Jed Brown
• Abstract要約: 本研究では,Navier-Stokes流体の流れ,浅瀬の回転,高分解能な世界天気予報システムなどの科学的システムについて報告する。 設計原則をニューラル演算子に適用すると、長期予測のエラーが大幅に減少し、時間的地平線が長くなる。
• 参考スコア（独自算出の注目度）: 5.161531917413708
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural operators have proven to be a promising approach for modeling spatiotemporal systems in the physical sciences. However, training these models for large systems can be quite challenging as they incur significant computational and memory expense -- these systems are often forced to rely on autoregressive time-stepping of the neural network to predict future temporal states. While this is effective in managing costs, it can lead to uncontrolled error growth over time and eventual instability. We analyze the sources of this autoregressive error growth using prototypical neural operator models for physical systems and explore ways to mitigate it. We introduce architectural and application-specific improvements that allow for careful control of instability-inducing operations within these models without inflating the compute/memory expense. We present results on several scientific systems that include Navier-Stokes fluid flow, rotating shallow water, and a high-resolution global weather forecasting system. We demonstrate that applying our design principles to neural operators leads to significantly lower errors for long-term forecasts as well as longer time horizons without qualitative signs of divergence compared to the original models for these systems. We open-source our \href{https://github.com/mikemccabe210/stabilizing_neural_operators}{code} for reproducibility.
• Abstract（参考訳）: ニューラル演算子は、物理科学における時空間系のモデリングに有望なアプローチであることが証明されている。 しかし、これらのモデルを大規模システム向けにトレーニングすることは、計算とメモリの大幅なコストを発生させるため、非常に難しい - これらのシステムは、将来の時間状態を予測するために、ニューラルネットワークの自動回帰的タイムステッピングに頼ることを余儀なくされることが多い。 これはコスト管理に有効であるが、時間とともに制御不能なエラーの増加と最終的には不安定になる可能性がある。 この自己回帰的誤差の増大の原因を,物理システムのための先駆的ニューラルオペレータモデルを用いて解析し,その軽減法を探究する。 計算/メモリコストを膨らませることなく、これらのモデル内で不安定誘導操作を慎重に制御できるアーキテクチャとアプリケーション固有の改善を導入する。 本研究では,Navier-Stokes流体の流れ,浅瀬の回転,高分解能気象予報システムなどの科学システムについて報告する。 ニューラル演算子に設計原則を適用することで、長期的な予測や、質的な分岐の兆候のない長い時間軸に対する誤差が、これらのシステムのオリジナルのモデルよりも大幅に低減できることを実証する。 再現性のために、私たちは \href{https://github.com/mikemccabe210/stabilizing_neural_operators}{code}をオープンソースにしました。

関連論文リスト

• Real-Time Anomaly Detection and Reactive Planning with Large Language Models [18.57162998677491]
  例えば、大規模な言語モデル(LLM)は、インターネットスケールのデータに基づいて訓練され、ゼロショット機能を持つ。 本稿では,潜在的な異常に関する判断を安全な制御フレームワークに組み込む2段階の推論フレームワークを提案する。 これにより、モニターは、四輪車や自動運転車のような動的ロボットシステムの信頼性を向上させることができる。
  論文  参考訳（メタデータ） (2024-07-11T17:59:22Z)
• The Disappearance of Timestep Embedding in Modern Time-Dependent Neural Networks [11.507779310946853]
  本稿では、時間依存ニューラルネットワークの時間認識を無効にする時間ステップ埋め込みの脆弱性を報告する。 我々の分析は、この現象の詳細な説明と、根本原因に対処するいくつかの解決策を提供する。
  論文  参考訳（メタデータ） (2024-05-23T02:58:23Z)
• RefreshNet: Learning Multiscale Dynamics through Hierarchical Refreshing [0.0]
  RefreshNetの"リフレッシュ"メカニズムは、粗いブロックがより細かいブロックの入力をリセットし、エラーの蓄積を効果的に制御し緩和することを可能にする。 RefreshNetの"リフレッシュ"メカニズムは、粗いブロックがより細かいブロックの入力をリセットし、エラーの蓄積を効果的に制御し緩和することを可能にする。
  論文  参考訳（メタデータ） (2024-01-24T07:47:01Z)
• Koopman Invertible Autoencoder: Leveraging Forward and Backward Dynamics for Temporal Modeling [13.38194491846739]
  我々は、Koopman Invertible Autoencoders (KIA) と呼ぶ、Koopman演算子理論に基づく新しい機械学習モデルを提案する。 KIAは、無限次元ヒルベルト空間における前方と後方のダイナミクスをモデル化することによって、システムの固有の特性を捉えている。 これにより,低次元表現を効率よく学習し,長期システムの挙動をより正確に予測することが可能になる。
  論文  参考訳（メタデータ） (2023-09-19T03:42:55Z)
• Continuous time recurrent neural networks: overview and application to forecasting blood glucose in the intensive care unit [56.801856519460465]
  連続時間自己回帰リカレントニューラルネットワーク(Continuous Time Autoregressive Recurrent Neural Network, CTRNN)は、不規則な観測を考慮に入れたディープラーニングモデルである。 重篤なケア環境下での血糖値の確率予測へのこれらのモデルの適用を実証する。
  論文  参考訳（メタデータ） (2023-04-14T09:39:06Z)
• Physics-Inspired Temporal Learning of Quadrotor Dynamics for Accurate Model Predictive Trajectory Tracking [76.27433308688592]
  クオーロタのシステムダイナミクスを正確にモデル化することは、アジャイル、安全、安定したナビゲーションを保証する上で非常に重要です。 本稿では,ロボットの経験から,四重項系の力学を純粋に学習するための新しい物理インスパイアされた時間畳み込みネットワーク(PI-TCN)を提案する。 提案手法は,スパース時間的畳み込みと高密度フィードフォワード接続の表現力を組み合わせて,正確なシステム予測を行う。
  論文  参考訳（メタデータ） (2022-06-07T13:51:35Z)
• An advanced spatio-temporal convolutional recurrent neural network for storm surge predictions [73.4962254843935]
  本研究では, 人工ニューラルネットワークモデルを用いて, 嵐の軌跡/規模/強度履歴に基づいて, 強風をエミュレートする能力について検討する。 本研究では, 人工嵐シミュレーションのデータベースを用いて, 強風を予測できるニューラルネットワークモデルを提案する。
  論文  参考訳（メタデータ） (2022-04-18T23:42:18Z)
• Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
  トレーニングセットとその構造が長期予測の品質に与える影響を考察する。 トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-12-15T20:09:20Z)
• Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
  生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
  論文  参考訳（メタデータ） (2021-06-24T01:40:17Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)
• Industrial Forecasting with Exponentially Smoothed Recurrent Neural Networks [0.0]
  本稿では,産業応用における非定常力学系のモデル化に好適な指数的スムーズなリカレントニューラルネットワーク(RNN)のクラスを提案する。 指数スムーズなRNNの電力負荷、気象データ、株価予測への応用は、多段階時系列予測における隠れ状態の指数スムーズ化の有効性を強調している。
  論文  参考訳（メタデータ） (2020-04-09T17:53:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。