論文の概要: How more data can hurt: Instability and regularization in next-generation reservoir computing

• arxiv url: http://arxiv.org/abs/2407.08641v1
• Date: Thu, 11 Jul 2024 16:22:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-12 16:40:31.947945
• Title: How more data can hurt: Instability and regularization in next-generation reservoir computing
• Title（参考訳）: 次世代貯水池コンピューティングにおける不安定性と正規化
• Authors: Yuanzhao Zhang, Sean P. Cornelius,
• Abstract要約: 我々は、この現象のより極端なバージョンが、力学系のデータ駆動モデルに現れることを示した。 トレーニングデータの多いフローマップの表現がより良くなったにもかかわらず、NGRCは不条件の積分器を採用でき、安定性を損なうことが判明した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It has been found recently that more data can, counter-intuitively, hurt the performance of deep neural networks. Here, we show that a more extreme version of the phenomenon occurs in data-driven models of dynamical systems. To elucidate the underlying mechanism, we focus on next-generation reservoir computing (NGRC) -- a popular framework for learning dynamics from data. We find that, despite learning a better representation of the flow map with more training data, NGRC can adopt an ill-conditioned ``integrator'' and lose stability. We link this data-induced instability to the auxiliary dimensions created by the delayed states in NGRC. Based on these findings, we propose simple strategies to mitigate the instability, either by increasing regularization strength in tandem with data size, or by carefully introducing noise during training. Our results highlight the importance of proper regularization in data-driven modeling of dynamical systems.
• Abstract（参考訳）: 最近、より多くのデータが、対意に、ディープニューラルネットワークの性能を損なう可能性があることが判明した。 ここでは、この現象のより極端なバージョンが、動的システムのデータ駆動モデルに発生することを示す。 基盤となるメカニズムを解明するために、データからダイナミクスを学習するための一般的なフレームワークである次世代貯水池コンピューティング(NGRC)に注目します。 トレーニングデータでより優れたフローマップ表現を学習しても、NGRCは条件の悪い 'インテグレータ' を採用して安定性を損なうことができる。 我々は、NGRCの遅延状態によって生成された補助次元に、このデータによる不安定性を関連付ける。 これらの知見に基づいて,データサイズに比例して正規化強度を増大させるか,あるいはトレーニング中にノイズを慎重に導入することにより,不安定性を軽減するための簡単な戦略を提案する。 本結果は,動的システムのデータ駆動モデリングにおける適切な正規化の重要性を強調した。

関連論文リスト

• Self-Organizing Recurrent Stochastic Configuration Networks for Nonstationary Data Modelling [3.8719670789415925]
  リカレント・コンフィグレーション・ネットワーク(Recurrent configuration network、RSCN)は、非線形力学のモデリングにおいて有望であることを示すランダム化モデルのクラスである。 本稿では,非定常データモデリングのためのネットワークの連続学習能力を高めるために,SORSCNと呼ばれる自己組織型RCCNを開発することを目的とする。
  論文  参考訳（メタデータ） (2024-10-14T01:28:25Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Controlling dynamical systems to complex target states using machine learning: next-generation vs. classical reservoir computing [68.8204255655161]
  機械学習を用いた非線形力学系の制御は、システムを周期性のような単純な振る舞いに駆動するだけでなく、より複雑な任意の力学を駆動する。 まず, 従来の貯水池計算が優れていることを示す。 次のステップでは、これらの結果を異なるトレーニングデータに基づいて比較し、代わりに次世代貯水池コンピューティングを使用する別のセットアップと比較する。 その結果、通常のトレーニングデータに対して同等のパフォーマンスを提供する一方で、次世代RCは、非常に限られたデータしか利用できない状況において、著しくパフォーマンスが向上していることがわかった。
  論文  参考訳（メタデータ） (2023-07-14T07:05:17Z)
• Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
  オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。 本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。 多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
  論文  参考訳（メタデータ） (2023-06-14T11:41:42Z)
• Operator inference with roll outs for learning reduced models from scarce and low-quality data [0.0]
  本稿では、演算子推論によるデータ駆動モデリングと、ニューラル常微分方程式のロールアウトによる動的トレーニングを組み合わせることを提案する。 実験では,データのサンプル化やノイズの最大10%の汚染があっても,ロールアウトによる演算子推論が学習軌跡からの予測モデルを提供することを示した。
  論文  参考訳（メタデータ） (2022-12-02T19:41:31Z)
• Catch-22s of reservoir computing [0.0]
  Reservoir Computingは、データから非線形力学系の挙動を予測するための、シンプルで効率的なフレームワークである。 我々は,システムの初期状態からどのアトラクタが収束するかを決定する,流域予測の重要な問題に焦点をあてる。 元の方程式に正確な非線形性を組み込むことで、NGRCは複雑で高次元的なアトラクションの流域を正確に再構築できることを示す。
  論文  参考訳（メタデータ） (2022-10-18T23:31:15Z)
• Convolutional generative adversarial imputation networks for spatio-temporal missing data in storm surge simulations [86.5302150777089]
  GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。 提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
  論文  参考訳（メタデータ） (2021-11-03T03:50:48Z)
• KalmanNet: Neural Network Aided Kalman Filtering for Partially Known Dynamics [84.18625250574853]
  KalmanNetは、データから学習し、非線形力学の下でKalmanフィルタを実行するリアルタイム状態推定器である。 我々は、KalmanNetが非線形性とモデルミスマッチを克服し、古典的なフィルタリング手法より優れていることを数値的に示す。
  論文  参考訳（メタデータ） (2021-07-21T12:26:46Z)
• Inverse-Dirichlet Weighting Enables Reliable Training of Physics Informed Neural Networks [2.580765958706854]
  我々は、深層ニューラルネットワークのトレーニング中に、スケール不均衡を伴うマルチスケールダイナミクスから生じる障害モードを記述し、治療する。 PINNは、物理方程式モデルとデータとのシームレスな統合を可能にする、一般的な機械学習テンプレートである。 逐次トレーニングを用いた逆モデリングでは,逆ディリクレ重み付けがPINNを破滅的忘れから保護することがわかった。
  論文  参考訳（メタデータ） (2021-07-02T10:01:37Z)
• Extensive Studies of the Neutron Star Equation of State from the Deep Learning Inference with the Observational Data Augmentation [0.0]
  質量と半径の実際の観測データを用いて、状態の中性子星方程式(EoS)の深層学習推論について議論する。 観測に不確実性を組み込む深層学習法では,観測の不確実性に対応する雑音変動を伴うトレーニングデータを増強する。 このデータ拡張は,ニューラルネットワークアーキテクチャをチューニングすることなく,過剰フィッティングを回避するための有用な手法である可能性が示唆された。
  論文  参考訳（メタデータ） (2021-01-20T14:27:12Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。