論文の概要: Distributed Representations Enable Robust Multi-Timescale Computation in Neuromorphic Hardware
- arxiv url: http://arxiv.org/abs/2405.01305v1
- Date: Thu, 2 May 2024 14:11:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-03 16:24:55.048790
- Title: Distributed Representations Enable Robust Multi-Timescale Computation in Neuromorphic Hardware
- Title（参考訳）: ニューロモルフィックハードウェアにおけるロバストなマルチスケール計算を可能にする分散表現
- Authors: Madison Cotteret, Hugh Greatorex, Alpha Renner, Junren Chen, Emre Neftci, Huaqiang Wu, Giacomo Indiveri, Martin Ziegler, Elisabetta Chicca,
- Abstract要約: 本稿では,ロバストなマルチタイムダイナミックスをアトラクタベースRSNNに組み込む方法について述べる。
対称自己解離重み行列を重畳することにより、有限状態機械をRSNN力学に組み込む。
これにより、ニューロモルフィックハードウェアにおける認知アルゴリズムのための高レベル表現不変抽象言語としてVSAが進歩する。
- 参考スコア（独自算出の注目度）: 3.961418890143814
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Programming recurrent spiking neural networks (RSNNs) to robustly perform multi-timescale computation remains a difficult challenge. To address this, we show how the distributed approach offered by vector symbolic architectures (VSAs), which uses high-dimensional random vectors as the smallest units of representation, can be leveraged to embed robust multi-timescale dynamics into attractor-based RSNNs. We embed finite state machines into the RSNN dynamics by superimposing a symmetric autoassociative weight matrix and asymmetric transition terms. The transition terms are formed by the VSA binding of an input and heteroassociative outer-products between states. Our approach is validated through simulations with highly non-ideal weights; an experimental closed-loop memristive hardware setup; and on Loihi 2, where it scales seamlessly to large state machines. This work demonstrates the effectiveness of VSA representations for embedding robust computation with recurrent dynamics into neuromorphic hardware, without requiring parameter fine-tuning or significant platform-specific optimisation. This advances VSAs as a high-level representation-invariant abstract language for cognitive algorithms in neuromorphic hardware.
- Abstract（参考訳）: マルチスケール計算を堅牢に行うために、繰り返しスパイクニューラルネットワーク(RSNN)をプログラミングすることは、依然として難しい課題である。
これを解決するために,高次元乱数ベクトルを表現の最小単位として利用するベクトル記号アーキテクチャ(VSAs)による分散手法を用いて,ロバストなマルチスケールダイナミックスをアトラクタベースRSNNに組み込む方法を示す。
対称自己解離重み行列と非対称遷移項を重畳することにより、有限状態機械をRSNN力学に組み込む。
遷移項は、状態間の入力とヘテロ結合性外積のVSA結合によって形成される。
提案手法は,高度に非理想的な重みを持つシミュレーション,実験的なクローズドループ・メムリシブ・ハードウェア・セットアップ,および大規模マシンにシームレスにスケールするLoihi 2を用いて検証する。
この研究は、パラメータの微調整やプラットフォーム固有の重要な最適化を必要とせず、リカレントダイナミクスによる堅牢な計算をニューロモルフィックハードウェアに組み込むためのVSA表現の有効性を示す。
これにより、ニューロモルフィックハードウェアにおける認知アルゴリズムのための高レベル表現不変抽象言語としてVSAが進歩する。
関連論文リスト
- Learning local equivariant representations for quantum operators [7.747597014044332]
本稿では,複数の量子演算子を予測するための新しいディープラーニングモデルSLEMを提案する。
SLEMは、計算効率を劇的に改善しながら最先端の精度を達成する。
SLEMの能力は多種多様な2次元および3次元材料にまたがって実証し,限られた訓練データでも高い精度を達成できることを示した。
論文 参考訳（メタデータ） (2024-07-08T15:55:12Z) - Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。
我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。
本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
論文 参考訳（メタデータ） (2024-05-22T17:23:15Z) - SymbolNet: Neural Symbolic Regression with Adaptive Dynamic Pruning [1.0356366043809717]
モデル重み,入力特徴,数学的演算子を1つのトレーニングプロセスで動的に刈り取ることができる新しいフレームワークにおいて,記号回帰に対するニューラルネットワークアプローチを提案する。
提案手法は,計算資源制約の厳しい環境下での高次元データセットに対して,FPGA上でのナノ秒スケールレイテンシによる高速な推論を実現する。
論文 参考訳（メタデータ） (2024-01-18T12:51:38Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳（メタデータ） (2023-10-17T01:05:28Z) - Capturing dynamical correlations using implicit neural representations [85.66456606776552]
実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。
そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
論文 参考訳（メタデータ） (2023-04-08T07:55:36Z) - REMuS-GNN: A Rotation-Equivariant Model for Simulating Continuum
Dynamics [0.0]
本稿では,連続体力学系をシミュレーションする回転同変マルチスケールモデルREMuS-GNNを紹介する。
楕円円柱まわりの非圧縮性流れについて,本手法の実証と評価を行った。
論文 参考訳（メタデータ） (2022-05-05T16:20:37Z) - Neural Implicit Flow: a mesh-agnostic dimensionality reduction paradigm
of spatio-temporal data [4.996878640124385]
大規模・パラメトリック・時空間データに対してメッシュに依存しない低ランクな表現を可能にする,NIF(Neural Implicit Flow)と呼ばれる汎用フレームワークを提案する。
NIFは、2つの修正された多層パーセプトロン(i)ShapeNetで構成されており、これは空間的複雑さ(i)ShapeNetを分離し、表現し、パラメトリック依存関係、時間、センサー測定を含む他の入力測定を考慮に入れている。
パラメトリックサロゲートモデリングにおけるNIFの有用性を実証し、複雑な時空間力学の解釈可能な表現と圧縮を可能にし、多空間時空間の効率的な一般化を実現し、スパースの性能を改善した。
論文 参考訳（メタデータ） (2022-04-07T05:02:58Z) - Equivariant Graph Mechanics Networks with Constraints [83.38709956935095]
本稿では,グラフ力学ネットワーク(GMN)を提案する。
GMNは、一般化された座標により、構造体の前方運動学情報(位置と速度)を表す。
大規模な実験は、予測精度、制約満足度、データ効率の観点から、最先端のGNNと比較してGMNの利点を支持する。
論文 参考訳（メタデータ） (2022-03-12T14:22:14Z) - Equivariant vector field network for many-body system modeling [65.22203086172019]
Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。
シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
論文 参考訳（メタデータ） (2021-10-26T14:26:25Z) - Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。
FAモデルが最大表現力を持つことを示す。
我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
論文 参考訳（メタデータ） (2021-10-07T11:05:23Z) - Theory of gating in recurrent neural networks [5.672132510411465]
リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、機械学習(ML)や神経科学で広く使われている強力な動的モデルである。
ここでは、ゲーティングが集合力学の2つの健全な特徴を柔軟に制御できることを示す。
ゲート制御の時間スケールは、ネットワークがフレキシブルインテグレータとして機能する、新しい、極端に安定な状態につながる。
論文 参考訳（メタデータ） (2020-07-29T13:20:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。