論文の概要: Spatio-Temporal Activation Function To Map Complex Dynamical Systems
- arxiv url: http://arxiv.org/abs/2009.08931v1
- Date: Sun, 6 Sep 2020 23:08:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-21 07:53:39.182448
- Title: Spatio-Temporal Activation Function To Map Complex Dynamical Systems
- Title(参考訳): 複素力学系に対する時空間活性化関数
- Authors: Parth Mahendra
- Abstract要約: リカレントニューラルネットワークのサブセットであるReservoir Computingは、複雑な力学系をシミュレートするために積極的に使用されている。
時間項を含めることで、アクティベーション関数の基本的な性質が変化し、時系列データの複雑なダイナミクスを捉えることができる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most of the real world is governed by complex and chaotic dynamical systems.
All of these dynamical systems pose a challenge in modelling them using neural
networks. Currently, reservoir computing, which is a subset of recurrent neural
networks, is actively used to simulate complex dynamical systems. In this work,
a two dimensional activation function is proposed which includes an additional
temporal term to impart dynamic behaviour on its output. The inclusion of a
temporal term alters the fundamental nature of an activation function, it
provides capability to capture the complex dynamics of time series data without
relying on recurrent neural networks.
- Abstract(参考訳): 現実世界の大半は複雑でカオス的な力学系によって支配されている。
これらの力学系はすべて、ニューラルネットワークを用いてそれらをモデル化する上で困難である。
現在、リカレントニューラルネットワークのサブセットであるリザーバコンピューティングは、複雑な力学系をシミュレートするために積極的に使われている。
本研究では,その出力に動的挙動を与えるための時間的項を含む2次元活性化関数を提案する。
時間的項の包含は、アクティベーション関数の基本的な性質を変化させ、リカレントニューラルネットワークに依存することなく、時系列データの複雑なダイナミクスをキャプチャする機能を提供する。
関連論文リスト
- Trainability, Expressivity and Interpretability in Gated Neural ODEs [0.0]
本稿では,ニューラルネットワークのキャパシティを探索して複雑なトラジェクトリを生成する,表現性の新たな尺度を提案する。
本研究は,低次元のgnODEがモデリング能力を保ちながら,解釈可能性を大幅に向上することを示す。
また,複数の実世界のタスクにおいて,NODEにおけるゲーティングの利点を示す。
論文 参考訳(メタデータ) (2023-07-12T18:29:01Z) - Contrastive-Signal-Dependent Plasticity: Forward-Forward Learning of
Spiking Neural Systems [73.18020682258606]
我々は、ニューロンの個々の層が並列に機能する、スパイキングニューロンユニットからなる神経模倣アーキテクチャを開発する。
コントラスト信号依存塑性(CSDP)と呼ばれるイベントベース前方学習の一般化を提案する。
いくつかのパターンデータセットに対する実験結果から,CSDPプロセスは分類と再構成の両方が可能な動的再帰スパイクネットワークのトレーニングに有効であることが示された。
論文 参考訳(メタデータ) (2023-03-30T02:40:28Z) - On the effectiveness of neural priors in modeling dynamical systems [28.69155113611877]
ニューラルネットワークがそのようなシステムを学ぶ際に提供するアーキテクチャの規則化について論じる。
動的システムをモデル化する際の複数の問題を解決するために,レイヤ数が少ない単純な座標ネットワークが利用できることを示す。
論文 参考訳(メタデータ) (2023-03-10T06:21:24Z) - How accurate are neural approximations of complex network dynamics? [2.483819327790676]
常微分方程式のデータ駆動近似は、力学系モデルを発見する古典的な方法の代替として有望なものである。
本稿では、複雑なネットワークを介して結合されたそのような方程式の系で力学を記述する複雑なシステムに焦点をあてる。
本稿では,これらの力学系をニューラルネットワークを用いて近似するための重要な要素を提案する。
論文 参考訳(メタデータ) (2023-01-12T09:44:59Z) - Decomposed Linear Dynamical Systems (dLDS) for learning the latent
components of neural dynamics [6.829711787905569]
本稿では,時系列データの非定常および非線形の複雑なダイナミクスを表現した新しい分解力学系モデルを提案する。
我々のモデルは辞書学習によって訓練され、最近の結果を利用してスパースベクトルを時間とともに追跡する。
連続時間と離散時間の両方の指導例において、我々のモデルは元のシステムによく近似できることを示した。
論文 参考訳(メタデータ) (2022-06-07T02:25:38Z) - Continuous Learning and Adaptation with Membrane Potential and
Activation Threshold Homeostasis [91.3755431537592]
本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。
このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。
実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
論文 参考訳(メタデータ) (2021-04-22T04:01:32Z) - Neuromorphic Algorithm-hardware Codesign for Temporal Pattern Learning [11.781094547718595]
複雑な空間時間パターンを学習するためにSNNを訓練できるLeaky IntegrateとFireニューロンの効率的なトレーニングアルゴリズムを導出する。
我々は,ニューロンとシナプスのメムリスタに基づくネットワークのためのCMOS回路実装を開発した。
論文 参考訳(メタデータ) (2021-04-21T18:23:31Z) - Incremental Training of a Recurrent Neural Network Exploiting a
Multi-Scale Dynamic Memory [79.42778415729475]
本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。
隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。
新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
論文 参考訳(メタデータ) (2020-06-29T08:35:49Z) - Learn to cycle: Time-consistent feature discovery for action recognition [83.43682368129072]
時間的変動を一般化することは、ビデオにおける効果的な行動認識の前提条件である。
Squeeze Re Temporal Gates (SRTG) を導入する。
SRTPGブロックを使用する場合,GFLOの数は最小限に抑えられ,一貫した改善が見られた。
論文 参考訳(メタデータ) (2020-06-15T09:36:28Z) - Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。
暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。
これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文 参考訳(メタデータ) (2020-06-08T09:53:35Z) - Learning Stable Deep Dynamics Models [91.90131512825504]
状態空間全体にわたって安定することが保証される力学系を学習するためのアプローチを提案する。
このような学習システムは、単純な力学系をモデル化することができ、複雑な力学を学習するために追加の深層生成モデルと組み合わせることができることを示す。
論文 参考訳(メタデータ) (2020-01-17T00:04:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。