論文の概要: Backpropagation on Dynamical Networks
- arxiv url: http://arxiv.org/abs/2207.03093v1
- Date: Thu, 7 Jul 2022 05:22:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-09 02:11:22.054612
- Title: Backpropagation on Dynamical Networks
- Title（参考訳）: 動的ネットワークのバックプロパゲーション
- Authors: Eugene Tan, D\'ebora Corr\^ea, Thomas Stemler, Michael Small
- Abstract要約: 本稿では,リカレントニューラルネットワークのトレーニングによく使用されるBPTTアルゴリズムに基づくネットワーク推論手法を提案する。
局所ノードダイナミクスの近似は、まずニューラルネットワークを用いて構築される。
得られた局所モデルと重み付けによるフリーラン予測性能は、真のシステムに匹敵することがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dynamical networks are versatile models that can describe a variety of
behaviours such as synchronisation and feedback. However, applying these models
in real world contexts is difficult as prior information pertaining to the
connectivity structure or local dynamics is often unknown and must be inferred
from time series observations of network states. Additionally, the influence of
coupling interactions between nodes further complicates the isolation of local
node dynamics. Given the architectural similarities between dynamical networks
and recurrent neural networks (RNN), we propose a network inference method
based on the backpropagation through time (BPTT) algorithm commonly used to
train recurrent neural networks. This method aims to simultaneously infer both
the connectivity structure and local node dynamics purely from observation of
node states. An approximation of local node dynamics is first constructed using
a neural network. This is alternated with an adapted BPTT algorithm to regress
corresponding network weights by minimising prediction errors of the dynamical
network based on the previously constructed local models until convergence is
achieved. This method was found to be succesful in identifying the connectivity
structure for coupled networks of Lorenz, Chua and FitzHugh-Nagumo oscillators.
Freerun prediction performance with the resulting local models and weights was
found to be comparable to the true system with noisy initial conditions. The
method is also extended to non-conventional network couplings such as
asymmetric negative coupling.
- Abstract（参考訳）: 動的ネットワークは、同期やフィードバックといった様々な振る舞いを記述できる汎用モデルである。
しかしながら,ネットワーク状態の時系列観測から推定されるような接続構造や局所ダイナミクスに関する事前情報はしばしば不明であり,現実の文脈でのモデルの適用は困難である。
さらに、ノード間の相互作用の影響は、ローカルノードのダイナミクスの分離をさらに複雑にする。
動的ネットワークとリカレントニューラルネットワーク(RNN)のアーキテクチャ的類似性を考慮し、リカレントニューラルネットワークのトレーニングによく使用されるBPTTアルゴリズムに基づくネットワーク推論手法を提案する。
本手法は,ノード状態の観測から接続構造と局所ノードダイナミクスの両方を同時に推定することを目的とする。
局所ノードダイナミクスの近似はまずニューラルネットワークを用いて構築される。
これにより、予め構築した局所モデルに基づいて動的ネットワークの予測誤差を最小化し、収束を達成するまで対応するネットワーク重みを後退させるbpttアルゴリズムが代替される。
この手法は、lorenz, chua, fitzhugh-nagumo発振器の結合ネットワークの接続構造を同定することに成功した。
生成した局所モデルと重み付きフリーラン予測性能は、ノイズのある初期条件を持つ真のシステムに匹敵することがわかった。
この方法はまた、非対称負結合のような非型ネットワーク結合にも拡張される。
関連論文リスト
- Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。
我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。
本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
論文 参考訳（メタデータ） (2024-05-22T17:23:15Z) - Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust
Closed-Loop Control [63.310780486820796]
繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。
パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
論文 参考訳（メタデータ） (2023-10-05T21:44:18Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Analyzing Populations of Neural Networks via Dynamical Model Embedding [10.455447557943463]
ディープニューラルネットワークの解釈における中核的な課題は、同じタスクのためにトレーニングされた異なるネットワークによって実装された基盤となるアルゴリズム間の共通点を特定することである。
この問題に触発されたDYNAMOは,各点がニューラルネットワークモデルに対応する低次元多様体を構築するアルゴリズムであり,対応するニューラルネットワークが同様のハイレベルな計算処理を実行する場合,その近傍に2つの点が存在する。
DYNAMOは、事前訓練されたニューラルネットワークのコレクションを入力として、隠された状態のダイナミクスとコレクション内の任意のモデルの出力をエミュレートするメタモデルを出力する。
論文 参考訳（メタデータ） (2023-02-27T19:00:05Z) - Verification of Neural-Network Control Systems by Integrating Taylor
Models and Zonotopes [0.0]
ニューラルネットワークコントローラ(NNCS)を用いた閉ループ力学系の検証問題について検討する。
本稿では,Taylorモデルとzonotopesに基づくアプローチをチェーンするアルゴリズムを提案し,NNCSの精度の高い到達性アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-12-16T20:46:39Z) - Learning Autonomy in Management of Wireless Random Networks [102.02142856863563]
本稿では,任意の数のランダム接続ノードを持つ無線ネットワークにおいて,分散最適化タスクに取り組む機械学習戦略を提案する。
我々は,ネットワークトポロジとは無関係に,前方および後方に計算を行う分散メッセージパスニューラルネットワーク(DMPNN)と呼ばれる,柔軟な深層ニューラルネットワーク形式を開発した。
論文 参考訳（メタデータ） (2021-06-15T09:03:28Z) - LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。
フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
論文 参考訳（メタデータ） (2021-03-01T03:10:11Z) - Local Critic Training for Model-Parallel Learning of Deep Neural
Networks [94.69202357137452]
そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。
提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。
また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
論文 参考訳（メタデータ） (2021-02-03T09:30:45Z) - Deep Neural Networks using a Single Neuron: Folded-in-Time Architecture
using Feedback-Modulated Delay Loops [0.0]
本稿では、任意の大きさのディープニューラルネットワークを、複数の時間遅延フィードバックループを持つ単一ニューロンに折り畳む方法を提案する。
本発明の単一ニューロン深部ニューラルネットワークは、単一の非線形性のみを含み、フィードバック信号の調整を適切に調整する。
Folded-in-time DNN(Fit-DNN)と呼ばれる新しい手法は、ベンチマークタスクのセットで有望な性能を示す。
論文 参考訳（メタデータ） (2020-11-19T21:45:58Z) - Online Estimation and Community Detection of Network Point Processes for
Event Streams [12.211623200731788]
ネットワークモデリングにおける共通のゴールは、ノード間に存在する潜在コミュニティ構造を明らかにすることである。
本稿では,ネットワーク上の動的イベント到着に基づく潜在構造を推定する高速なオンライン変分推定アルゴリズムを提案する。
オンライン推論は、コミュニティリカバリの観点から、オンライン以外の変種に匹敵する性能が得られることを実証する。
論文 参考訳（メタデータ） (2020-09-03T15:39:55Z) - Modeling Dynamic Heterogeneous Network for Link Prediction using
Hierarchical Attention with Temporal RNN [16.362525151483084]
我々はDyHATRと呼ばれる新しい動的ヘテロジニアスネットワーク埋め込み法を提案する。
階層的な注意を使って異質な情報を学習し、進化パターンを捉えるために時間的注意を伴う繰り返しニューラルネットワークを組み込む。
リンク予測のための4つの実世界のデータセットに対して,本手法をベンチマークした。
論文 参考訳（メタデータ） (2020-04-01T17:16:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。