論文の概要: Generalized Teacher Forcing for Learning Chaotic Dynamics

• arxiv url: http://arxiv.org/abs/2306.04406v2
• Date: Fri, 27 Oct 2023 09:30:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-30 17:42:04.144590
• Title: Generalized Teacher Forcing for Learning Chaotic Dynamics
• Title（参考訳）: カオスダイナミクス学習のための一般教師強制
• Authors: Florian Hess, Zahra Monfared, Manuel Brenner, Daniel Durstewitz
• Abstract要約: カオス力学系(DS)は自然界や社会界においてどこにでも存在しており、予測や機械的洞察のために観測された時系列からそのような系を再構築することに関心があることが多い。 これらの修正により、従来のSOTAアルゴリズムよりもずっと低い次元でDSを再構築できることを、いくつかのDSで示している。 これにより、シンプルながら強力なDS再構成アルゴリズムが実現され、同時に高い解釈が可能となった。
• 参考スコア（独自算出の注目度）: 9.841893058953625
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chaotic dynamical systems (DS) are ubiquitous in nature and society. Often we are interested in reconstructing such systems from observed time series for prediction or mechanistic insight, where by reconstruction we mean learning geometrical and invariant temporal properties of the system in question (like attractors). However, training reconstruction algorithms like recurrent neural networks (RNNs) on such systems by gradient-descent based techniques faces severe challenges. This is mainly due to exploding gradients caused by the exponential divergence of trajectories in chaotic systems. Moreover, for (scientific) interpretability we wish to have as low dimensional reconstructions as possible, preferably in a model which is mathematically tractable. Here we report that a surprisingly simple modification of teacher forcing leads to provably strictly all-time bounded gradients in training on chaotic systems, and, when paired with a simple architectural rearrangement of a tractable RNN design, piecewise-linear RNNs (PLRNNs), allows for faithful reconstruction in spaces of at most the dimensionality of the observed system. We show on several DS that with these amendments we can reconstruct DS better than current SOTA algorithms, in much lower dimensions. Performance differences were particularly compelling on real world data with which most other methods severely struggled. This work thus led to a simple yet powerful DS reconstruction algorithm which is highly interpretable at the same time.
• Abstract（参考訳）: カオス力学系(DS)は自然と社会においてユビキタスである。 しばしば、観測された時系列から予測や機械的洞察の系を再構築することに興味があり、再構築することで、問題となるシステムの幾何学的および不変な時間的特性を学習することを意味する(アトラクタなど)。 しかし,そのようなシステム上での回帰ニューラルネットワーク(recurrent neural networks, rnns)のようなリコンストラクションアルゴリズムの学習は困難である。 これは主にカオス系における軌道の指数的なばらつきによる爆発的な勾配に起因する。 さらに、(科学的)解釈可能性については、できるだけ低次元の再構成を望み、好ましくは数学的に扱いやすいモデルである。 本稿では,教師強制の驚くほど単純な修正により,カオスシステムのトレーニングにおいて,厳密な全時間有界勾配が生じることを報告する。また,抽出可能なRNN設計の簡単なアーキテクチャ再構成と組み合わせることで,観測されたシステムの大部分の空間における忠実な再構築を可能にする。 これらの修正により、従来のSOTAアルゴリズムよりもずっと低い次元でDSを再構築できることを示す。 パフォーマンスの違いは、他のほとんどのメソッドが苦労した実世界のデータに特に魅力的でした。 これにより、シンプルながら強力なDS再構成アルゴリズムが実現され、同時に高い解釈が可能となった。

関連論文リスト

• Systematic construction of continuous-time neural networks for linear dynamical systems [0.0]
  本稿では,動的システムのサブクラスをモデル化するためのニューラルネットワーク構築の体系的アプローチについて論じる。 我々は、各ニューロンの出力が1次または2次常微分方程式(ODE)の解として連続的に進化する連続時間ニューラルネットワークの変種を用いる。 データからネットワークアーキテクチャとパラメータを導出する代わりに、所定のLTIシステムから直接スパースアーキテクチャとネットワークパラメータを計算するための勾配のないアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-24T16:16:41Z)
• Symplectic Autoencoders for Model Reduction of Hamiltonian Systems [0.0]
  長期の数値安定性を確保するためには,システムに関連するシンプレクティックな構造を維持することが重要である。 本稿では,次元削減のための確立されたツールであるオートエンコーダの精神の中で,新しいニューラルネットワークアーキテクチャを提案する。 ネットワークのトレーニングには,非標準勾配降下法を適用した。
  論文  参考訳（メタデータ） (2023-12-15T18:20:25Z)
• From NeurODEs to AutoencODEs: a mean-field control framework for width-varying Neural Networks [68.8204255655161]
  本稿では,動的に駆動する制御フィールドをベースとした,AutoencODEと呼ばれる新しいタイプの連続時間制御システムを提案する。 損失関数が局所凸な領域では,多くのアーキテクチャが復元可能であることを示す。
  論文  参考訳（メタデータ） (2023-07-05T13:26:17Z)
• Tractable Dendritic RNNs for Reconstructing Nonlinear Dynamical Systems [7.045072177165241]
  線形スプラインベース展開により、片方向線形リカレントニューラルネットワーク(RNN)を増強する。 このアプローチは単純な PLRNN の理論的に魅力的な性質を全て保持するが、相対的に低次元の任意の非線形力学系を近似する能力は向上する。
  論文  参考訳（メタデータ） (2022-07-06T09:43:03Z)
• Supervised DKRC with Images for Offline System Identification [77.34726150561087]
  現代の力学系はますます非線形で複雑なものになりつつある。 予測と制御のためのコンパクトで包括的な表現でこれらのシステムをモデル化するフレームワークが必要である。 本手法は,教師付き学習手法を用いてこれらの基礎関数を学習する。
  論文  参考訳（メタデータ） (2021-09-06T04:39:06Z)
• Unsupervised Monocular Depth Learning with Integrated Intrinsics and Spatio-Temporal Constraints [61.46323213702369]
  本研究は,大規模深度マップとエゴモーションを予測可能な教師なし学習フレームワークを提案する。 本結果は,KITTI運転データセットの複数シーケンスにおける現在の最先端技術と比較して,高い性能を示す。
  論文  参考訳（メタデータ） (2020-11-02T22:26:58Z)
• Continuous-in-Depth Neural Networks [107.47887213490134]
  まず最初に、このリッチな意味では、ResNetsは意味のある動的でないことを示します。 次に、ニューラルネットワークモデルが連続力学系を表現することを実証する。 ResNetアーキテクチャの詳細な一般化としてContinuousNetを紹介します。
  論文  参考訳（メタデータ） (2020-08-05T22:54:09Z)
• Time-Reversal Symmetric ODE Network [138.02741983098454]
  時間反転対称性は古典力学や量子力学においてしばしば保持される基本的な性質である。 本稿では,通常の微分方程式(ODE)ネットワークがこの時間反転対称性にどの程度よく適合しているかを測定する新しい損失関数を提案する。 時間反転対称性を完全に持たないシステムであっても, TRS-ODEN はベースラインよりも優れた予測性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-07-22T12:19:40Z)
• Limited-angle tomographic reconstruction of dense layered objects by dynamical machine learning [68.9515120904028]
  強い散乱準透明物体の有限角トモグラフィーは困難で、非常に不適切な問題である。 このような問題の状況を改善することにより、アーティファクトの削減には、事前の定期化が必要である。 我々は,新しい分割畳み込みゲート再帰ユニット(SC-GRU)をビルディングブロックとして,リカレントニューラルネットワーク(RNN)アーキテクチャを考案した。
  論文  参考訳（メタデータ） (2020-07-21T11:48:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。