論文の概要: Optimal Recurrent Network Topologies for Dynamical Systems Reconstruction
- arxiv url: http://arxiv.org/abs/2406.04934v1
- Date: Fri, 7 Jun 2024 13:41:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-10 13:51:43.664814
- Title: Optimal Recurrent Network Topologies for Dynamical Systems Reconstruction
- Title（参考訳）: 動的システム再構築のための最適リカレントネットワークトポロジー
- Authors: Christoph Jürgen Hemmer, Manuel Brenner, Florian Hess, Daniel Durstewitz,
- Abstract要約: 時系列測定から基礎となる動的過程の生成モデルを推定することを模索する。
ここでの一般的な戦略はパラメータのプルーニングであり、すべてのパラメータを小さな重みで除去する。
幾何プルーニングとは対照的に,アトラクタの幾何構造への寄与度の低いプルーニング重みを除去し,パラメータの負荷を大幅に低減できることを示す。
- 参考スコア（独自算出の注目度）: 5.498605900447094
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In dynamical systems reconstruction (DSR) we seek to infer from time series measurements a generative model of the underlying dynamical process. This is a prime objective in any scientific discipline, where we are particularly interested in parsimonious models with a low parameter load. A common strategy here is parameter pruning, removing all parameters with small weights. However, here we find this strategy does not work for DSR, where even low magnitude parameters can contribute considerably to the system dynamics. On the other hand, it is well known that many natural systems which generate complex dynamics, like the brain or ecological networks, have a sparse topology with comparatively few links. Inspired by this, we show that geometric pruning, where in contrast to magnitude-based pruning weights with a low contribution to an attractor's geometrical structure are removed, indeed manages to reduce parameter load substantially without significantly hampering DSR quality. We further find that the networks resulting from geometric pruning have a specific type of topology, and that this topology, and not the magnitude of weights, is what is most crucial to performance. We provide an algorithm that automatically generates such topologies which can be used as priors for generative modeling of dynamical systems by RNNs, and compare it to other well studied topologies like small-world or scale-free networks.
- Abstract（参考訳）: 動的システム再構成(DSR)では、時系列測定から基礎となる動的過程の生成モデルの推定を試みる。
これはどんな科学分野においても主要な目的であり、パラメータの負荷が低い同相モデルに特に関心がある。
ここでの一般的な戦略はパラメータのプルーニングであり、すべてのパラメータを小さな重みで除去する。
しかし、この戦略はDSRではうまく機能せず、低等級パラメータでさえシステムの力学に大きく貢献できる。
一方、脳や生態ネットワークのような複雑な力学を生成する多くの自然系は、比較的少ないリンクを持つ疎位相を持つことが知られている。
これに触発された幾何学的プルーニングは,アトラクタの幾何学的構造への寄与が低い等級ベースのプルーニング重みとは対照的に,DSR品質を著しく損なうことなく,パラメータ負荷を大幅に低減できることを示す。
さらに、幾何プルーニングによるネットワークは特定の種類のトポロジーを持ち、このトポロジーは重みの大きさではなく、パフォーマンスにとって最も重要なものであることを発見した。
我々は、RNNによる動的システムの生成モデリングの先駆けとして使用できるようなトポロジを自動的に生成し、それを小型世界やスケールフリーネットワークのような他のよく研究されたトポロジと比較するアルゴリズムを提案する。
関連論文リスト
- Generalized Factor Neural Network Model for High-dimensional Regression [50.554377879576066]
複素・非線形・雑音に隠れた潜在低次元構造を持つ高次元データセットをモデル化する課題に取り組む。
我々のアプローチは、非パラメトリック回帰、因子モデル、高次元回帰のためのニューラルネットワークの概念のシームレスな統合を可能にする。
論文 参考訳（メタデータ） (2025-02-16T23:13:55Z) - The Sample Complexity of Online Reinforcement Learning: A Multi-model Perspective [55.15192437680943]
連続状態と行動空間を持つ非線形力学系に対するオンライン強化学習のサンプル複雑性について検討した。
我々のアルゴリズムは、その単純さ、事前知識を組み込む能力、そして良心的な過渡的行動のために、実際に有用である可能性が高い。
論文 参考訳（メタデータ） (2025-01-27T10:01:28Z) - A hybrid numerical methodology coupling Reduced Order Modeling and Graph Neural Networks for non-parametric geometries: applications to structural dynamics problems [0.0]
本研究は、複雑な物理系を管理する時間領域偏微分方程式(PDE)の数値解析を高速化するための新しいアプローチを導入する。
この手法は、古典的低次モデリング(ROM)フレームワークと最近のパラメトリックグラフニューラルネットワーク(GNN)の組み合わせに基づいている。
論文 参考訳（メタデータ） (2024-06-03T08:51:25Z) - The Underlying Correlated Dynamics in Neural Training [6.385006149689549]
ニューラルネットワークのトレーニングは、計算集約的なタスクである。
本稿では,パラメータのダイナミクスの相関に基づくモデルを提案する。
この表現は、基礎となるトレーニングダイナミクスの理解を深め、より良い加速技術を設計するための道を開くことができる。
論文 参考訳（メタデータ） (2022-12-18T08:34:11Z) - Hyperparameter Tuning in Echo State Networks [0.0]
Echo State Networksは、リカレントニューラルネットワークの一種で、大きなランダムに生成された貯水池と、線形回帰によってトレーニングされた少数のリードアウト接続を備えている。
共分散行列適応進化戦略(CMA-ES)に基づくハイパーパラメータチューニングの代替手法を提案する。
論文 参考訳（メタデータ） (2022-07-16T16:20:01Z) - Tractable Dendritic RNNs for Reconstructing Nonlinear Dynamical Systems [7.045072177165241]
線形スプラインベース展開により、片方向線形リカレントニューラルネットワーク(RNN)を増強する。
このアプローチは単純な PLRNN の理論的に魅力的な性質を全て保持するが、相対的に低次元の任意の非線形力学系を近似する能力は向上する。
論文 参考訳（メタデータ） (2022-07-06T09:43:03Z) - Constructing Neural Network-Based Models for Simulating Dynamical
Systems [59.0861954179401]
データ駆動モデリングは、真のシステムの観測からシステムの力学の近似を学ぼうとする代替パラダイムである。
本稿では,ニューラルネットワークを用いた動的システムのモデル構築方法について検討する。
基礎的な概要に加えて、関連する文献を概説し、このモデリングパラダイムが克服すべき数値シミュレーションから最も重要な課題を概説する。
論文 参考訳（メタデータ） (2021-11-02T10:51:42Z) - Conditionally Parameterized, Discretization-Aware Neural Networks for
Mesh-Based Modeling of Physical Systems [0.0]
入力パラメータのトレーニング可能な関数を用いて条件パラメトリゼーションの考え方を一般化する。
条件パラメータ化ネットワークは従来のネットワークに比べて優れた性能を示すことを示す。
CP-GNetと呼ばれるネットワークアーキテクチャも、メッシュ上のフローのスタンドアロン予測に反応可能な最初のディープラーニングモデルとして提案されている。
論文 参考訳（メタデータ） (2021-09-15T20:21:13Z) - Limited-angle tomographic reconstruction of dense layered objects by
dynamical machine learning [68.9515120904028]
強い散乱準透明物体の有限角トモグラフィーは困難で、非常に不適切な問題である。
このような問題の状況を改善することにより、アーティファクトの削減には、事前の定期化が必要である。
我々は,新しい分割畳み込みゲート再帰ユニット(SC-GRU)をビルディングブロックとして,リカレントニューラルネットワーク(RNN)アーキテクチャを考案した。
論文 参考訳（メタデータ） (2020-07-21T11:48:22Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - Hyperbolic Neural Networks++ [66.16106727715061]
ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。
実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
論文 参考訳（メタデータ） (2020-06-15T08:23:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。