論文の概要: Hidden Traveling Waves bind Working Memory Variables in Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2402.10163v2
• Date: Sat, 17 Feb 2024 17:20:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 00:28:15.165189
• Title: Hidden Traveling Waves bind Working Memory Variables in Recurrent Neural Networks
• Title（参考訳）: リカレントニューラルネットワークにおけるワーキングメモリ変数に結合する隠れトラベル波
• Authors: Arjun Karuvally, Terrence J. Sejnowski, Hava T. Siegelmann
• Abstract要約: 我々は、ニューラルネットワーク内の進行波動力学の概念を活用し、ニューラルワーキングメモリの理論モデルを定式化する。 状態履歴の表現と学習におけるモデルの能力について厳密に検討する。 モデルの適用性を理解するために,線形境界条件と非線形,自己注意駆動境界条件の2つのケースを探索する。
• 参考スコア（独自算出の注目度）: 4.14360329494344
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Traveling waves are a fundamental phenomenon in the brain, playing a crucial role in short-term information storage. In this study, we leverage the concept of traveling wave dynamics within a neural lattice to formulate a theoretical model of neural working memory, study its properties, and its real world implications in AI. The proposed model diverges from traditional approaches, which assume information storage in static, register-like locations updated by interference. Instead, the model stores data as waves that is updated by the wave's boundary conditions. We rigorously examine the model's capabilities in representing and learning state histories, which are vital for learning history-dependent dynamical systems. The findings reveal that the model reliably stores external information and enhances the learning process by addressing the diminishing gradient problem. To understand the model's real-world applicability, we explore two cases: linear boundary condition and non-linear, self-attention-driven boundary condition. The experiments reveal that the linear scenario is effectively learned by Recurrent Neural Networks (RNNs) through backpropagation when modeling history-dependent dynamical systems. Conversely, the non-linear scenario parallels the autoregressive loop of an attention-only transformer. Collectively, our findings suggest the broader relevance of traveling waves in AI and its potential in advancing neural network architectures.
• Abstract（参考訳）: トラベル波は脳の基本的な現象であり、短期的な情報保存において重要な役割を果たす。 本研究では,神経格子内の進行波ダイナミクスの概念を活用し,神経作業記憶の理論モデルを構築し,その特性とaiにおける実世界への影響について検討する。 提案手法は,静的なレジスタ状位置における情報記憶を干渉によって更新する従来の手法と異なる。 代わりに、モデルは、波の境界条件によって更新される波としてデータを格納する。 歴史に依存した力学系を学習する上で欠かせない状態履歴の表現と学習におけるモデルの能力について精査する。 その結果, モデルが外部情報を確実に保存し, 勾配の減少に対処して学習プロセスを強化することがわかった。 モデルの適用性を理解するために,線形境界条件と非線形,自己注意駆動境界条件の2つのケースを探索する。 実験の結果,線形シナリオは履歴に依存した力学系をモデル化する際に,バックプロパゲーションを通じてリカレントニューラルネットワーク(RNN)によって効果的に学習されることがわかった。 逆に、非線形シナリオは注意のみのトランスの自己回帰ループと平行である。 我々の発見は、AIにおける走行波の幅広い関連性と、ニューラルネットワークアーキテクチャの進歩の可能性を示している。

関連論文リスト

• A scalable generative model for dynamical system reconstruction from neuroimaging data [5.777167013394619]
  データ駆動推論は、観測された時系列の集合に基づく生成力学の推論であり、機械学習への関心が高まっている。 動的システム再構成(DSR)に特化した状態空間モデル(SSM)のトレーニング技術における最近の進歩は、基礎となるシステムの回復を可能にする。 本稿では,この問題を解く新しいアルゴリズムを提案し,モデル次元とフィルタ長とを比較検討する。
  論文  参考訳（メタデータ） (2024-11-05T09:45:57Z)
• Demolition and Reinforcement of Memories in Spin-Glass-like Neural Networks [0.0]
  この論文の目的は、連想記憶モデルと生成モデルの両方において、アンラーニングの有効性を理解することである。 構造化データの選択により、連想記憶モデルは、相当量のアトラクションを持つニューラルダイナミクスのアトラクションとしての概念を検索することができる。 Boltzmann Machinesの新しい正規化手法が提案され、データセットから隠れ確率分布を学習する以前に開発された手法より優れていることが証明された。
  論文  参考訳（メタデータ） (2024-03-04T23:12:42Z)
• Physics-Informed Deep Learning of Rate-and-State Fault Friction [0.0]
  我々は, 前方問題と非線形欠陥摩擦パラメータの直接逆変換のためのマルチネットワークPINNを開発した。 本稿では1次元および2次元のストライク・スリップ断層に対する速度・状態摩擦を考慮した計算PINNフレームワークを提案する。 その結果, 断層におけるパラメータ逆転のネットワークは, 結合した物質変位のネットワークよりもはるかに優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-14T23:53:25Z)
• Symmetry-regularized neural ordinary differential equations [0.0]
  本稿では,隠れ状態のダイナミクスとバック伝播のダイナミクスの両方において,Lie対称性を用いたニューラルODEの新たな保存関係を提案する。 これらの保存法則は、損失関数にさらなる正規化項として組み込まれ、モデルの物理的解釈可能性や一般化可能性を高める可能性がある。 これらの保存関係から新たな損失関数を構築し、典型的なモデリングタスクにおける対称性規則化ニューラル・オードの適用性を示す。
  論文  参考訳（メタデータ） (2023-11-28T09:27:44Z)
• Neural Koopman prior for data assimilation [7.875955593012905]
  ニューラルネットワークアーキテクチャを使って、潜在空間に動的システムを埋め込む。 本研究では,このようなモデルを長期の継続的再構築のために訓練する手法を提案する。 また,変動データ同化手法の先行として,訓練された動的モデルの有望な利用を示すとともに,自己教師型学習の可能性も示された。
  論文  参考訳（メタデータ） (2023-09-11T09:04:36Z)
• Neural Abstractions [72.42530499990028]
  本稿では,ニューラルネットワークを用いた非線形力学モデルの安全性検証手法を提案する。 提案手法は,既存のベンチマーク非線形モデルにおいて,成熟度の高いFlow*と同等に動作することを示す。
  論文  参考訳（メタデータ） (2023-01-27T12:38:09Z)
• An advanced spatio-temporal convolutional recurrent neural network for storm surge predictions [73.4962254843935]
  本研究では, 人工ニューラルネットワークモデルを用いて, 嵐の軌跡/規模/強度履歴に基づいて, 強風をエミュレートする能力について検討する。 本研究では, 人工嵐シミュレーションのデータベースを用いて, 強風を予測できるニューラルネットワークモデルを提案する。
  論文  参考訳（メタデータ） (2022-04-18T23:42:18Z)
• Cross-Frequency Coupling Increases Memory Capacity in Oscillatory Neural Networks [69.42260428921436]
  クロス周波数カップリング(CFC)は、ニューロンの集団間での情報統合と関連している。 我々は,海馬および大脳皮質における観測された$theta - gamma$振動回路の計算的役割を予測するCFCのモデルを構築した。 CFCの存在は, 可塑性シナプスによって結合された神経細胞のメモリ容量を増加させることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:13:36Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。