論文の概要: Almost-Linear RNNs Yield Highly Interpretable Symbolic Codes in Dynamical Systems Reconstruction

• arxiv url: http://arxiv.org/abs/2410.14240v1
• Date: Fri, 18 Oct 2024 07:44:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:25:57.707572
• Title: Almost-Linear RNNs Yield Highly Interpretable Symbolic Codes in Dynamical Systems Reconstruction
• Title（参考訳）: 力学系再構成における準線形RNNの高解釈型記号符号
• Authors: Manuel Brenner, Christoph Jürgen Hemmer, Zahra Monfared, Daniel Durstewitz,
• Abstract要約: 本稿では,時系列データから動的システム(DS)のPWL表現を自動的かつ堅牢に生成する,ニアリカレントニューラルネットワーク(AL-RNN)を提案する。 AL-RNNは、動的システム再構成(DSR)のための任意のSOTAアルゴリズムで効率的に訓練できる 我々は,ロレンツとR"オスラー系に対して,AL-RNNが純粋にデータ駆動方式で,対応するカオスアトラクションの位相的に最小のPWL表現を発見することを示す。
• 参考スコア（独自算出の注目度）: 8.473495734873872
• License:
• Abstract: Dynamical systems (DS) theory is fundamental for many areas of science and engineering. It can provide deep insights into the behavior of systems evolving in time, as typically described by differential or recursive equations. A common approach to facilitate mathematical tractability and interpretability of DS models involves decomposing nonlinear DS into multiple linear DS separated by switching manifolds, i.e. piecewise linear (PWL) systems. PWL models are popular in engineering and a frequent choice in mathematics for analyzing the topological properties of DS. However, hand-crafting such models is tedious and only possible for very low-dimensional scenarios, while inferring them from data usually gives rise to unnecessarily complex representations with very many linear subregions. Here we introduce Almost-Linear Recurrent Neural Networks (AL-RNNs) which automatically and robustly produce most parsimonious PWL representations of DS from time series data, using as few PWL nonlinearities as possible. AL-RNNs can be efficiently trained with any SOTA algorithm for dynamical systems reconstruction (DSR), and naturally give rise to a symbolic encoding of the underlying DS that provably preserves important topological properties. We show that for the Lorenz and R\"ossler systems, AL-RNNs discover, in a purely data-driven way, the known topologically minimal PWL representations of the corresponding chaotic attractors. We further illustrate on two challenging empirical datasets that interpretable symbolic encodings of the dynamics can be achieved, tremendously facilitating mathematical and computational analysis of the underlying systems.
• Abstract（参考訳）: 力学系(DS)理論は、科学と工学の多くの分野に基礎を置いている。 微分方程式や再帰方程式で説明されるような、時間とともに進化するシステムの振舞いに関する深い洞察を与えることができる。 DSモデルの数学的トラクタビリティと解釈可能性を促進するための一般的なアプローチは、非線形DSを多様体の切り換えによって分離された複数の線形DS、すなわちピースワイド線形(PWL)系に分解することである。 PWLモデルは工学において人気があり、DSの位相的性質を分析するために数学において頻繁に選択される。 しかし、そのようなモデルを手作りするのは面倒であり、非常に低次元のシナリオでのみ可能であるが、データからそれらを推論することは、通常、非常に多くの線形部分領域を持つ不要な複雑な表現を引き起こす。 本稿では、時系列データからDSの最も類似したPWL表現を、可能な限り少ないPWL非線形性を用いて自動かつ頑健に生成する、ニアリカレントニューラルネットワーク(AL-RNN)を紹介する。 AL-RNNは、動的システム再構成(DSR)のための任意のSOTAアルゴリズムで効率的に訓練することができ、重要なトポロジ的特性を確実に保持する基礎となるDSの象徴的エンコーディングを自然に生み出すことができる。 AL-RNNはロレンツ系とR\オシラー系に対して、純粋にデータ駆動的な方法で、対応するカオス的誘引子の位相的に最小のPWL表現を発見できることを示す。 さらに、力学のシンボリックエンコーディングを解釈できる、2つの挑戦的な経験的データセットについて説明し、基礎となるシステムの数学的および計算的解析を著しく促進する。

関連論文リスト

• Recurrent Neural Networks Learn to Store and Generate Sequences using Non-Linear Representations [54.17275171325324]
  線形表現仮説(LRH)に対する反例を提示する。 入力トークンシーケンスを繰り返すように訓練されると、ニューラルネットワークは、方向ではなく、特定の順序で各位置のトークンを表現することを学ぶ。 これらの結果は、解釈可能性の研究はLRHに限定されるべきでないことを強く示唆している。
  論文  参考訳（メタデータ） (2024-08-20T15:04:37Z)
• Metric-Entropy Limits on Nonlinear Dynamical System Learning [4.069144210024563]
  本稿では,リプシッツ特性を満足する非線形系を学習し,計量エントロピーの最適方法で過去の入力を十分に早く忘れることのできるリカレントニューラルネットワーク(RNN)について述べる。 私たちが考えるシーケンス・ツー・シーケンス・マップの集合は、ディープ・ニューラルネットワーク近似理論において一般的に考慮される関数クラスよりもはるかに大きいので、洗練された計量エントロピー特性が必要である。
  論文  参考訳（メタデータ） (2024-07-01T12:57:03Z)
• Generalized Teacher Forcing for Learning Chaotic Dynamics [9.841893058953625]
  カオス力学系(DS)は自然界や社会界においてどこにでも存在しており、予測や機械的洞察のために観測された時系列からそのような系を再構築することに関心があることが多い。 これらの修正により、従来のSOTAアルゴリズムよりもずっと低い次元でDSを再構築できることを、いくつかのDSで示している。 これにより、シンプルながら強力なDS再構成アルゴリズムが実現され、同時に高い解釈が可能となった。
  論文  参考訳（メタデータ） (2023-06-07T13:04:34Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Integrating Multimodal Data for Joint Generative Modeling of Complex Dynamics [6.848555909346641]
  最適復元のための様々な情報ソースを組み合わせるための効率的なフレームワークを提供する。 我々のフレームワークは完全にテキスト生成され、訓練後に、基底真理系と同じ幾何学的、時間的構造を持つ軌道を生成します。
  論文  参考訳（メタデータ） (2022-12-15T15:21:28Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Tractable Dendritic RNNs for Reconstructing Nonlinear Dynamical Systems [7.045072177165241]
  線形スプラインベース展開により、片方向線形リカレントニューラルネットワーク(RNN)を増強する。 このアプローチは単純な PLRNN の理論的に魅力的な性質を全て保持するが、相対的に低次元の任意の非線形力学系を近似する能力は向上する。
  論文  参考訳（メタデータ） (2022-07-06T09:43:03Z)
• Reverse engineering recurrent neural networks with Jacobian switching linear dynamical systems [24.0378100479104]
  リカレントニューラルネットワーク(RNN)は時系列データを処理する強力なモデルである。 トレーニングされたRNNをその固定点を中心に線形化することでリバースエンジニアリングするフレームワークは洞察を与えてきたが、アプローチには大きな課題がある。 本稿では,新しい線形力学系 (SLDS) の定式化によるRNNの協調学習により,これらの制約を克服する新しいモデルを提案する。
  論文  参考訳（メタデータ） (2021-11-01T20:49:30Z)
• Supervised DKRC with Images for Offline System Identification [77.34726150561087]
  現代の力学系はますます非線形で複雑なものになりつつある。 予測と制御のためのコンパクトで包括的な表現でこれらのシステムをモデル化するフレームワークが必要である。 本手法は,教師付き学習手法を用いてこれらの基礎関数を学習する。
  論文  参考訳（メタデータ） (2021-09-06T04:39:06Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。