論文の概要: Traveling Waves Encode the Recent Past and Enhance Sequence Learning
- arxiv url: http://arxiv.org/abs/2309.08045v1
- Date: Sun, 3 Sep 2023 22:48:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-24 04:23:47.988299
- Title: Traveling Waves Encode the Recent Past and Enhance Sequence Learning
- Title(参考訳): トラベリングウェーブは近年の変遷とシーケンス学習をエンコードする
- Authors: T. Anderson Keller, Lyle Muller, Terrence Sejnowski, Max Welling
- Abstract要約: 神経活動の進行波は脳全体で様々な領域やスケールで観測されている。
ある物理的根拠の仮説は、皮質シートが連続的な刺激の短期記憶を保存できる波動場のように振る舞うことを示唆している。
このギャップを埋めるためのモデルを導入し、Wave-RNN(wRNN)を示す。
- 参考スコア(独自算出の注目度): 46.589165304746246
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Traveling waves of neural activity have been observed throughout the brain at
a diversity of regions and scales; however, their precise computational role is
still debated. One physically grounded hypothesis suggests that the cortical
sheet may act like a wave-field capable of storing a short-term memory of
sequential stimuli through induced waves traveling across the cortical surface.
To date, however, the computational implications of this idea have remained
hypothetical due to the lack of a simple recurrent neural network architecture
capable of exhibiting such waves. In this work, we introduce a model to fill
this gap, which we denote the Wave-RNN (wRNN), and demonstrate how both
connectivity constraints and initialization play a crucial role in the
emergence of wave-like dynamics. We then empirically show how such an
architecture indeed efficiently encodes the recent past through a suite of
synthetic memory tasks where wRNNs learn faster and perform significantly
better than wave-free counterparts. Finally, we explore the implications of
this memory storage system on more complex sequence modeling tasks such as
sequential image classification and find that wave-based models not only again
outperform comparable wave-free RNNs while using significantly fewer
parameters, but additionally perform comparably to more complex gated
architectures such as LSTMs and GRUs. We conclude with a discussion of the
implications of these results for both neuroscience and machine learning.
- Abstract(参考訳): 神経活動の進行波は脳全体で様々な領域やスケールで観測されているが、その正確な計算的役割は議論されている。
物理的に根拠のある仮説では、皮質シートは、皮質表面を横切る誘導波を通してシーケンシャルな刺激の短期記憶を記憶できる波場のように振る舞うことができる。
しかし、このアイデアの計算的意味は、そのような波を表現できる単純なリカレントニューラルネットワークアーキテクチャが欠如しているため、いまだに仮説的のままである。
本稿では、このギャップを埋めるモデルを紹介し、Wave-RNN (wRNN) を表現し、接続制約と初期化の両方が、ウェーブライクなダイナミクスの出現において重要な役割を果たすことを示す。
そして、このようなアーキテクチャが、wRNNがより速く学習し、ウェーブフリーのタスクよりもはるかに優れた性能を発揮する合成メモリタスクによって、最近の過去をいかに効率的にエンコードしているかを実証的に示す。
最後に, 逐次画像分類などの複雑なシーケンスモデリングタスクにおいて, このメモリ記憶システムが持つ意味を考察し, パラメータを著しく減らしながら, またLSTMやGRUといった複雑なゲートアーキテクチャに対して, ウェーブベースモデルが同等のウェーブフリーRNNよりも優れていることを示す。
結論として,これらの結果が神経科学と機械学習の両方に与える影響について論じた。
関連論文リスト
- Hidden Traveling Waves bind Working Memory Variables in Recurrent Neural Networks [3.686808512438363]
我々は、ニューラルネットワーク内の進行波動力学の概念を活用し、ニューラルワーキングメモリの理論モデルを定式化する。
状態履歴の表現と学習におけるモデルの能力について厳密に検討する。
我々の研究結果は、AIにおける走行波のより広い関係と、ニューラルネットワークアーキテクチャの進歩の可能性を示している。
論文 参考訳(メタデータ) (2024-02-15T18:08:58Z) - Long Short-term Memory with Two-Compartment Spiking Neuron [64.02161577259426]
LSTM-LIFとよばれる,生物学的にインスパイアされたLong Short-Term Memory Leaky Integrate-and-Fireのスパイキングニューロンモデルを提案する。
実験結果は,時間的分類タスクの多種多様な範囲において,優れた時間的分類能力,迅速な訓練収束,ネットワークの一般化性,LSTM-LIFモデルの高エネルギー化を実証した。
したがって、この研究は、新しいニューロモルフィック・コンピューティング・マシンにおいて、困難な時間的処理タスクを解決するための、無数の機会を開放する。
論文 参考訳(メタデータ) (2023-07-14T08:51:03Z) - The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。
ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。
本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
論文 参考訳(メタデータ) (2023-06-14T13:34:13Z) - Rapid Learning of Spatial Representations for Goal-Directed Navigation
Based on a Novel Model of Hippocampal Place Fields [0.0]
場所セルと再生を組み込んだ自己組織化モデルを構築した。
障害物のある非自明な環境でのワンショット学習の高速化を実証する。
論文 参考訳(メタデータ) (2022-06-05T19:50:33Z) - An advanced spatio-temporal convolutional recurrent neural network for
storm surge predictions [73.4962254843935]
本研究では, 人工ニューラルネットワークモデルを用いて, 嵐の軌跡/規模/強度履歴に基づいて, 強風をエミュレートする能力について検討する。
本研究では, 人工嵐シミュレーションのデータベースを用いて, 強風を予測できるニューラルネットワークモデルを提案する。
論文 参考訳(メタデータ) (2022-04-18T23:42:18Z) - Cross-Frequency Coupling Increases Memory Capacity in Oscillatory Neural
Networks [69.42260428921436]
クロス周波数カップリング(CFC)は、ニューロンの集団間での情報統合と関連している。
我々は,海馬および大脳皮質における観測された$theta - gamma$振動回路の計算的役割を予測するCFCのモデルを構築した。
CFCの存在は, 可塑性シナプスによって結合された神経細胞のメモリ容量を増加させることを示す。
論文 参考訳(メタデータ) (2022-04-05T17:13:36Z) - Neuromorphic Algorithm-hardware Codesign for Temporal Pattern Learning [11.781094547718595]
複雑な空間時間パターンを学習するためにSNNを訓練できるLeaky IntegrateとFireニューロンの効率的なトレーニングアルゴリズムを導出する。
我々は,ニューロンとシナプスのメムリスタに基づくネットワークのためのCMOS回路実装を開発した。
論文 参考訳(メタデータ) (2021-04-21T18:23:31Z) - Inferring, Predicting, and Denoising Causal Wave Dynamics [3.9407250051441403]
DISTANA(Distributed Artificial Neural Network Architecture)は、グラフ畳み込みニューラルネットワークである。
DISTANAは、再帰パターンが観測されるので、データストリームを飾るのに非常に適していることを示す。
安定かつ正確なクローズドループ予測を数百の時間ステップで生成する。
論文 参考訳(メタデータ) (2020-09-19T08:33:53Z) - Reservoir Memory Machines as Neural Computers [70.5993855765376]
微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。
我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
論文 参考訳(メタデータ) (2020-09-14T12:01:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。