論文の概要: Temporal Weights
- arxiv url: http://arxiv.org/abs/2301.04126v1
- Date: Tue, 13 Dec 2022 23:59:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-15 23:15:00.823299
- Title: Temporal Weights
- Title（参考訳）: テンポラルウェイト
- Authors: Adam Kohan, Ed Rietman, Hava Siegelmann
- Abstract要約: 人工ニューラルネットワークでは、重みはシナプスの静的表現である。
我々は、時間とともに、神経および一般的な生物学的現象のコアメカニズムを捉えることができる同期を記述するモデルを使用する。
これらのテンポラルウェイト(TW)に適した理想は、連続的なダイナミクスと時間依存性を備えたニューラルODEである。
結果として生じるリカレントニューラルネットワークは、シーケンスの順序、時間の長さとスケールを計算することで、時間的ダイナミクスを効率的にモデル化する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In artificial neural networks, weights are a static representation of
synapses. However, synapses are not static, they have their own interacting
dynamics over time. To instill weights with interacting dynamics, we use a
model describing synchronization that is capable of capturing core mechanisms
of a range of neural and general biological phenomena over time. An ideal fit
for these Temporal Weights (TW) are Neural ODEs, with continuous dynamics and a
dependency on time. The resulting recurrent neural networks efficiently model
temporal dynamics by computing on the ordering of sequences, and the length and
scale of time. By adding temporal weights to a model, we demonstrate better
performance, smaller models, and data efficiency on sparse, irregularly sampled
time series datasets.
- Abstract（参考訳）: 人工ニューラルネットワークでは、重みはシナプスの静的表現である。
しかし、シナプスは静的ではなく、時間とともに動的に相互作用する。
相互作用力学に重みを注入するために、時間とともに神経および一般的な生物学的現象のコアメカニズムを捉えることができる同期を記述するモデルを用いる。
これらのテンポラルウェイト(TW)に適した理想は、連続的なダイナミクスと時間依存性を備えたニューラルODEである。
結果として得られたリカレントニューラルネットワークは、シーケンスの順序と時間の長さとスケールを計算し、時間ダイナミクスを効率的にモデル化する。
モデルに時間重みを加えることで、スパースで不規則にサンプリングされた時系列データセット上で、より良いパフォーマンス、より小さなモデル、データ効率を示す。
関連論文リスト
- Autaptic Synaptic Circuit Enhances Spatio-temporal Predictive Learning of Spiking Neural Networks [23.613277062707844]
Spiking Neural Networks (SNNs) は、生物学的ニューロンで見られる統合ファイアリーク機構をエミュレートする。
既存のSNNは、主にIntegrate-and-Fire Leaky(LIF)モデルに依存している。
本稿では,S-patioTemporal Circuit (STC) モデルを提案する。
論文 参考訳（メタデータ） (2024-06-01T11:17:27Z) - Equivariant Graph Neural Operator for Modeling 3D Dynamics [148.98826858078556]
我々は,次のステップの予測ではなく,ダイナミックスを直接トラジェクトリとしてモデル化するために,Equivariant Graph Neural Operator (EGNO)を提案する。
EGNOは3次元力学の時間的進化を明示的に学習し、時間とともに関数として力学を定式化し、それを近似するためにニューラル演算子を学習する。
粒子シミュレーション、人間のモーションキャプチャー、分子動力学を含む複数の領域における総合的な実験は、既存の手法と比較して、EGNOの極めて優れた性能を示す。
論文 参考訳（メタデータ） (2024-01-19T21:50:32Z) - TimeGraphs: Graph-based Temporal Reasoning [64.18083371645956]
TimeGraphsは階層的時間グラフとして動的相互作用を特徴付ける新しいアプローチである。
提案手法は,コンパクトなグラフベース表現を用いて相互作用をモデル化し,多種多様な時間スケールでの適応推論を可能にする。
我々は,サッカーシミュレータ,抵抗ゲーム,MOMA人間活動データセットなど,複雑でダイナミックなエージェントインタラクションを持つ複数のデータセット上でTimeGraphsを評価する。
論文 参考訳（メタデータ） (2024-01-06T06:26:49Z) - Decomposed Linear Dynamical Systems (dLDS) for learning the latent
components of neural dynamics [6.829711787905569]
本稿では,時系列データの非定常および非線形の複雑なダイナミクスを表現した新しい分解力学系モデルを提案する。
我々のモデルは辞書学習によって訓練され、最近の結果を利用してスパースベクトルを時間とともに追跡する。
連続時間と離散時間の両方の指導例において、我々のモデルは元のシステムによく近似できることを示した。
論文 参考訳（メタデータ） (2022-06-07T02:25:38Z) - An advanced spatio-temporal convolutional recurrent neural network for
storm surge predictions [73.4962254843935]
本研究では, 人工ニューラルネットワークモデルを用いて, 嵐の軌跡/規模/強度履歴に基づいて, 強風をエミュレートする能力について検討する。
本研究では, 人工嵐シミュレーションのデータベースを用いて, 強風を予測できるニューラルネットワークモデルを提案する。
論文 参考訳（メタデータ） (2022-04-18T23:42:18Z) - Analytically Integratable Zero-restlength Springs for Capturing Dynamic
Modes unrepresented by Quasistatic Neural Networks [6.601755525003559]
本稿では,ニューラルネットワークを用いて,ある種の動的シミュレーションをリアルタイムにモデル化するための新しいパラダイムを提案する。
準静的ニューラルネットワーク(QNN)の推論を(リアルタイム)動的シミュレーション層で拡張する。
本研究では, 驚くほど少量の動的シミュレーションデータから, スプリングパラメータを頑健に学習できることを実証した。
論文 参考訳（メタデータ） (2022-01-25T06:44:15Z) - Representation learning for neural population activity with Neural Data
Transformers [3.4376560669160394]
我々は、明示的力学モデルの非リカレントな代替品であるNeural Data Transformer (NDT)を紹介する。
NDTは3.9msの推論を可能にし、リアルタイムアプリケーションのループ時間内では、リカレントベースラインの6倍以上高速である。
論文 参考訳（メタデータ） (2021-08-02T23:36:39Z) - Continuous Learning and Adaptation with Membrane Potential and
Activation Threshold Homeostasis [91.3755431537592]
本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。
このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。
実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
論文 参考訳（メタデータ） (2021-04-22T04:01:32Z) - Neuromorphic Algorithm-hardware Codesign for Temporal Pattern Learning [11.781094547718595]
複雑な空間時間パターンを学習するためにSNNを訓練できるLeaky IntegrateとFireニューロンの効率的なトレーニングアルゴリズムを導出する。
我々は,ニューロンとシナプスのメムリスタに基づくネットワークのためのCMOS回路実装を開発した。
論文 参考訳（メタデータ） (2021-04-21T18:23:31Z) - Neural ODE Processes [64.10282200111983]
NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。
我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
論文 参考訳（メタデータ） (2021-03-23T09:32:06Z) - Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。
暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。
これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文 参考訳（メタデータ） (2020-06-08T09:53:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。