論文の概要: On the emergence of numerical instabilities in Next Generation Reservoir Computing

• arxiv url: http://arxiv.org/abs/2505.00846v1
• Date: Thu, 01 May 2025 20:16:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-05 17:21:19.825603
• Title: On the emergence of numerical instabilities in Next Generation Reservoir Computing
• Title（参考訳）: 次世代貯留層計算における数値不安定性の出現について
• Authors: Edmilson Roque dos Santos, Erik Bollt,
• Abstract要約: Next Generation Reservoir Computingは、データからカオス時系列を予測するための低コストな機械学習手法である。 本研究では,NGRC特徴量行列の数値条件付けと長期的ダイナミクスとの間の重要な関係を明らかにする。 NGRC特徴量行列は短時間のラグや高次摂動に対して不条件となる傾向にあることを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Next Generation Reservoir Computing (NGRC) is a low-cost machine learning method for forecasting chaotic time series from data. However, ensuring the dynamical stability of NGRC models during autonomous prediction remains a challenge. In this work, we uncover a key connection between the numerical conditioning of the NGRC feature matrix -- formed by polynomial evaluations on time-delay coordinates -- and the long-term NGRC dynamics. Merging tools from numerical linear algebra and ergodic theory of dynamical systems, we systematically study how the feature matrix conditioning varies across hyperparameters. We demonstrate that the NGRC feature matrix tends to be ill-conditioned for short time lags and high-degree polynomials. Ill-conditioning amplifies sensitivity to training data perturbations, which can produce unstable NGRC dynamics. We evaluate the impact of different numerical algorithms (Cholesky, SVD, and LU) for solving the regularized least-squares problem.
• Abstract（参考訳）: Next Generation Reservoir Computing (NGRC) は、データからカオス時系列を予測するための低コストな機械学習手法である。 しかし、自律予測におけるNGRCモデルの動的安定性の確保は依然として課題である。 本研究では、NGRC特徴量行列の数値条件付け(時間遅延座標上の多項式評価)と長期NGRCダイナミクスとの間の重要な関係を明らかにする。 力学系の数値線形代数とエルゴード理論からツールを融合し,特徴行列条件がハイパーパラメータ間でどのように変化するかを体系的に研究する。 NGRC特徴行列は、短時間のラグや高次多項式に対して不条件となる傾向があることを示す。 Ill-conditioningはトレーニングデータ摂動に対する感度を増幅し、不安定なNGRCダイナミクスを生成する。 正規化最小二乗問題を解くために,異なる数値アルゴリズム (Cholesky, SVD, LU) の効果を評価する。

関連論文リスト

• How more data can hurt: Instability and regularization in next-generation reservoir computing [0.0]
  我々は、この現象のより極端なバージョンが、力学系のデータ駆動モデルに現れることを示した。 トレーニングデータの多いフローマップの表現がより良くなったにもかかわらず、NGRCは不条件の積分器を採用でき、安定性を損なうことが判明した。
  論文  参考訳（メタデータ） (2024-07-11T16:22:13Z)
• AttNS: Attention-Inspired Numerical Solving For Limited Data Scenarios [51.94807626839365]
  限定データによる微分方程式の解法として,注目型数値解法(AttNS)を提案する。 AttNSは、モデル一般化とロバスト性の向上におけるResidual Neural Networks(ResNet)のアテンションモジュールの効果にインスパイアされている。
  論文  参考訳（メタデータ） (2023-02-05T01:39:21Z)
• Reduced order modeling of parametrized systems through autoencoders and SINDy approach: continuation of periodic solutions [0.0]
  本研究は,ROM構築と動的識別の低減を組み合わせたデータ駆動型非侵入型フレームワークを提案する。 提案手法は、非線形力学(SINDy)のパラメトリックスパース同定によるオートエンコーダニューラルネットワークを利用して、低次元力学モデルを構築する。 これらは、システムパラメータの関数として周期的定常応答の進化を追跡し、過渡位相の計算を避け、不安定性と分岐を検出することを目的としている。
  論文  参考訳（メタデータ） (2022-11-13T01:57:18Z)
• Euler State Networks: Non-dissipative Reservoir Computing [3.55810827129032]
  我々はEuSN(Euler State Network)と呼ばれる新しいReservoir Computing(RC)モデルを提案する。 我々の数学的解析は、結果のモデルが一元的有効スペクトル半径とゼロ局所リアプノフ指数に偏り、本質的に安定性の端近くで動作していることを示している。 時系列分類ベンチマークの結果は、EuSNがトレーニング可能なリカレントニューラルネットワークの精度と一致する(あるいは超える)ことを示唆している。
  論文  参考訳（メタデータ） (2022-03-17T15:18:34Z)
• Consistency of mechanistic causal discovery in continuous-time using Neural ODEs [85.7910042199734]
  ダイナミカルシステムの研究において,連続時間における因果的発見を検討する。 本稿では,ニューラルネットワークを用いた因果探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-06T08:48:02Z)
• Gaussian Process-based Min-norm Stabilizing Controller for Control-Affine Systems with Uncertain Input Effects and Dynamics [90.81186513537777]
  本稿では,この問題の制御・アフィン特性を捉えた新しい化合物カーネルを提案する。 この結果の最適化問題は凸であることを示し、ガウス過程に基づく制御リャプノフ関数第二次コーンプログラム(GP-CLF-SOCP)と呼ぶ。
  論文  参考訳（メタデータ） (2020-11-14T01:27:32Z)
• Stochastically forced ensemble dynamic mode decomposition for forecasting and analysis of near-periodic systems [65.44033635330604]
  本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。 固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。 電力グリッドからの負荷データを用いたテストケースの結果が提示される。
  論文  参考訳（メタデータ） (2020-10-08T20:25:52Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。