論文の概要: Traveling Waves Encode the Recent Past and Enhance Sequence Learning

• arxiv url: http://arxiv.org/abs/2309.08045v1
• Date: Sun, 3 Sep 2023 22:48:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-24 04:23:47.988299
• Title: Traveling Waves Encode the Recent Past and Enhance Sequence Learning
• Title（参考訳）: トラベリングウェーブは近年の変遷とシーケンス学習をエンコードする
• Authors: T. Anderson Keller, Lyle Muller, Terrence Sejnowski, Max Welling
• Abstract要約: 神経活動の進行波は脳全体で様々な領域やスケールで観測されている。 ある物理的根拠の仮説は、皮質シートが連続的な刺激の短期記憶を保存できる波動場のように振る舞うことを示唆している。 このギャップを埋めるためのモデルを導入し、Wave-RNN(wRNN)を示す。
• 参考スコア（独自算出の注目度）: 46.589165304746246
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Traveling waves of neural activity have been observed throughout the brain at a diversity of regions and scales; however, their precise computational role is still debated. One physically grounded hypothesis suggests that the cortical sheet may act like a wave-field capable of storing a short-term memory of sequential stimuli through induced waves traveling across the cortical surface. To date, however, the computational implications of this idea have remained hypothetical due to the lack of a simple recurrent neural network architecture capable of exhibiting such waves. In this work, we introduce a model to fill this gap, which we denote the Wave-RNN (wRNN), and demonstrate how both connectivity constraints and initialization play a crucial role in the emergence of wave-like dynamics. We then empirically show how such an architecture indeed efficiently encodes the recent past through a suite of synthetic memory tasks where wRNNs learn faster and perform significantly better than wave-free counterparts. Finally, we explore the implications of this memory storage system on more complex sequence modeling tasks such as sequential image classification and find that wave-based models not only again outperform comparable wave-free RNNs while using significantly fewer parameters, but additionally perform comparably to more complex gated architectures such as LSTMs and GRUs. We conclude with a discussion of the implications of these results for both neuroscience and machine learning.
• Abstract（参考訳）: 神経活動の進行波は脳全体で様々な領域やスケールで観測されているが、その正確な計算的役割は議論されている。 物理的に根拠のある仮説では、皮質シートは、皮質表面を横切る誘導波を通してシーケンシャルな刺激の短期記憶を記憶できる波場のように振る舞うことができる。 しかし、このアイデアの計算的意味は、そのような波を表現できる単純なリカレントニューラルネットワークアーキテクチャが欠如しているため、いまだに仮説的のままである。 本稿では、このギャップを埋めるモデルを紹介し、Wave-RNN (wRNN) を表現し、接続制約と初期化の両方が、ウェーブライクなダイナミクスの出現において重要な役割を果たすことを示す。 そして、このようなアーキテクチャが、wRNNがより速く学習し、ウェーブフリーのタスクよりもはるかに優れた性能を発揮する合成メモリタスクによって、最近の過去をいかに効率的にエンコードしているかを実証的に示す。 最後に, 逐次画像分類などの複雑なシーケンスモデリングタスクにおいて, このメモリ記憶システムが持つ意味を考察し, パラメータを著しく減らしながら, またLSTMやGRUといった複雑なゲートアーキテクチャに対して, ウェーブベースモデルが同等のウェーブフリーRNNよりも優れていることを示す。 結論として,これらの結果が神経科学と機械学習の両方に与える影響について論じた。

関連論文リスト

• WiNet: Wavelet-based Incremental Learning for Efficient Medical Image Registration [68.25711405944239]
  深部画像登録は異常な精度と高速な推測を示した。 近年の進歩は、粗大から粗大の方法で密度変形場を推定するために、複数のカスケードまたはピラミッドアーキテクチャを採用している。 本稿では,様々なスケールにわたる変位/速度場に対して,スケールワイブレット係数を漸進的に推定するモデル駆動WiNetを提案する。
  論文  参考訳（メタデータ） (2024-07-18T11:51:01Z)
• Understanding the Convergence in Balanced Resonate-and-Fire Neurons [1.4186974630564675]
  Resonate-and-Fire(RF)ニューロンは、スパイキングニューラルネットワーク(SNN)におけるインテグレーターニューロンの興味深い補体モデルである 最近提案されたリゾネート・アンド・ファイア(BRF)ニューロンは、タスク性能、スパイク、パラメータ効率において重要な方法論的進歩を示した。 本稿は、これらの収束優位性の出現の経緯と理由について、さらなる直感を提供することを目的としている。
  論文  参考訳（メタデータ） (2024-06-01T10:04:55Z)
• ELiSe: Efficient Learning of Sequences in Structured Recurrent Networks [1.5931140598271163]
  局所的な常時オンおよび位相自由可塑性のみを用いて,効率的な学習シーケンスのモデルを構築した。 鳥の鳴き声学習のモックアップでELiSeの能力を実証し、パラメトリゼーションに関してその柔軟性を実証する。
  論文  参考訳（メタデータ） (2024-02-26T17:30:34Z)
• Hidden Traveling Waves bind Working Memory Variables in Recurrent Neural Networks [3.686808512438363]
  我々は、ニューラルネットワーク内の進行波動力学の概念を活用し、ニューラルワーキングメモリの理論モデルを定式化する。 状態履歴の表現と学習におけるモデルの能力について厳密に検討する。 我々の研究結果は、AIにおける走行波のより広い関係と、ニューラルネットワークアーキテクチャの進歩の可能性を示している。
  論文  参考訳（メタデータ） (2024-02-15T18:08:58Z)
• Long Short-term Memory with Two-Compartment Spiking Neuron [64.02161577259426]
  LSTM-LIFとよばれる,生物学的にインスパイアされたLong Short-Term Memory Leaky Integrate-and-Fireのスパイキングニューロンモデルを提案する。 実験結果は,時間的分類タスクの多種多様な範囲において,優れた時間的分類能力,迅速な訓練収束,ネットワークの一般化性,LSTM-LIFモデルの高エネルギー化を実証した。 したがって、この研究は、新しいニューロモルフィック・コンピューティング・マシンにおいて、困難な時間的処理タスクを解決するための、無数の機会を開放する。
  論文  参考訳（メタデータ） (2023-07-14T08:51:03Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• An advanced spatio-temporal convolutional recurrent neural network for storm surge predictions [73.4962254843935]
  本研究では, 人工ニューラルネットワークモデルを用いて, 嵐の軌跡/規模/強度履歴に基づいて, 強風をエミュレートする能力について検討する。 本研究では, 人工嵐シミュレーションのデータベースを用いて, 強風を予測できるニューラルネットワークモデルを提案する。
  論文  参考訳（メタデータ） (2022-04-18T23:42:18Z)
• Cross-Frequency Coupling Increases Memory Capacity in Oscillatory Neural Networks [69.42260428921436]
  クロス周波数カップリング(CFC)は、ニューロンの集団間での情報統合と関連している。 我々は,海馬および大脳皮質における観測された$theta - gamma$振動回路の計算的役割を予測するCFCのモデルを構築した。 CFCの存在は, 可塑性シナプスによって結合された神経細胞のメモリ容量を増加させることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:13:36Z)
• Inferring, Predicting, and Denoising Causal Wave Dynamics [3.9407250051441403]
  DISTANA(Distributed Artificial Neural Network Architecture)は、グラフ畳み込みニューラルネットワークである。 DISTANAは、再帰パターンが観測されるので、データストリームを飾るのに非常に適していることを示す。 安定かつ正確なクローズドループ予測を数百の時間ステップで生成する。
  論文  参考訳（メタデータ） (2020-09-19T08:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。