論文の概要: Persistent learning signals and working memory without continuous attractors

• arxiv url: http://arxiv.org/abs/2308.12585v1
• Date: Thu, 24 Aug 2023 06:12:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-25 15:06:26.799290
• Title: Persistent learning signals and working memory without continuous attractors
• Title（参考訳）: 連続アトラクタのない永続学習信号と作業記憶
• Authors: Il Memming Park and \'Abel S\'agodi and Piotr Aleksander Sok\'o\l
• Abstract要約: 準周期的アトラクタは、任意に長い時間的関係の学習を支援することができることを示す。 我々の理論は、人工知能システムの設計に幅広い意味を持っている。
• 参考スコア（独自算出の注目度）: 6.135577623169029
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural dynamical systems with stable attractor structures, such as point attractors and continuous attractors, are hypothesized to underlie meaningful temporal behavior that requires working memory. However, working memory may not support useful learning signals necessary to adapt to changes in the temporal structure of the environment. We show that in addition to the continuous attractors that are widely implicated, periodic and quasi-periodic attractors can also support learning arbitrarily long temporal relationships. Unlike the continuous attractors that suffer from the fine-tuning problem, the less explored quasi-periodic attractors are uniquely qualified for learning to produce temporally structured behavior. Our theory has broad implications for the design of artificial learning systems and makes predictions about observable signatures of biological neural dynamics that can support temporal dependence learning and working memory. Based on our theory, we developed a new initialization scheme for artificial recurrent neural networks that outperforms standard methods for tasks that require learning temporal dynamics. Moreover, we propose a robust recurrent memory mechanism for integrating and maintaining head direction without a ring attractor.
• Abstract（参考訳）: ポイントアトラクタや連続アトラクタといった安定なアトラクタ構造を持つ神経力学系は、作業記憶を必要とする有意義な時間的挙動を仮定している。 しかし、作業記憶は環境の時間構造の変化に対応するのに必要な有用な学習信号をサポートしない可能性がある。 また, 周期的, 準周期的アトラクタは, 広範に意味のある連続的アトラクタに加えて, 任意の時間的関係の学習を支援することも示している。 微調整問題に苦しむ連続的なアトラクタとは異なり、あまり探索されていない準周期的アトラクタは、時間的に構造化された振る舞いを生み出すための学習に特有な資格を有する。 本理論は、人工知能システムの設計に広く影響し、時間依存学習と作業記憶を支援する生物学的神経動力学の観察可能なシグネチャに関する予測を行う。 この理論に基づいて,時間的ダイナミクスの学習を必要とするタスクの標準手法より優れた人工的リカレントニューラルネットワークの新たな初期化手法を開発した。 また,リングアトラクターを使わずにヘッド方向を統合・維持する頑健なリカレントメモリ機構を提案する。

関連論文リスト

• The Empirical Impact of Forgetting and Transfer in Continual Visual Odometry [4.704582238028159]
  本研究は, ニューラルネットワークにおける破滅的記憶の影響と知識伝達の有効性を, 具体的環境下で連続的に学習したニューラルネットワークを用いて検討した。 環境間の高い伝達性を有する初期満足度性能を観察し,その後に特殊化相を呈する。 これらの知見は、生涯のロボット工学における適応と記憶保持のバランスをとることのオープンな課題を強調している。
  論文  参考訳（メタデータ） (2024-06-03T21:32:50Z)
• Incorporating Neuro-Inspired Adaptability for Continual Learning in Artificial Intelligence [59.11038175596807]
  継続的な学習は、現実世界に強い適応性を持つ人工知能を強化することを目的としている。 既存の進歩は主に、破滅的な忘れを克服するために記憶安定性を維持することに焦点を当てている。 本稿では,学習の可塑性を改善するため,パラメータ分布の古い記憶を適切に減衰させる汎用的手法を提案する。
  論文  参考訳（メタデータ） (2023-08-29T02:43:58Z)
• On the Dynamics of Learning Time-Aware Behavior with Recurrent Neural Networks [2.294014185517203]
  隠れ時間変数に依存する教師付き学習タスクのファミリーを導入する。 我々は、長期記憶に対する時間認識の必要性を強調する時間的フリップフロップをエミュレートするためにRNNを訓練する。 これらのRNNは、遷移規則の周期を時間変調する周期軌道を切り替えることを学ぶ。
  論文  参考訳（メタデータ） (2023-06-12T14:01:30Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
  ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。 臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
  論文  参考訳（メタデータ） (2022-10-06T23:50:38Z)
• Learning reversible symplectic dynamics [0.0]
  本稿では,データから時間可逆な力学系を学習するためのニューラルネットワークアーキテクチャを提案する。 我々は、物理インフォームドラーニングの重要性から、シンプレクティックシステムへの適応に焦点を当てている。
  論文  参考訳（メタデータ） (2022-04-26T14:07:40Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Causal Navigation by Continuous-time Neural Networks [108.84958284162857]
  本研究では,連続時間ニューラルネットワークを用いた因果表現学習のための理論的,実験的枠組みを提案する。 本手法は,ドローンの視覚制御学習の文脈において,一連の複雑なタスクにおいて評価する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:32Z)
• Continuous Learning and Adaptation with Membrane Potential and Activation Threshold Homeostasis [91.3755431537592]
  本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。 このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。 実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
  論文  参考訳（メタデータ） (2021-04-22T04:01:32Z)
• Slow manifolds in recurrent networks encode working memory efficiently and robustly [0.0]
  ワーキングメモリ(working memory)は、潜在情報の保存と操作を短時間で行う認知機能である。 作業メモリのネットワークレベルメカニズムを調べるために,トップダウンモデリング手法を用いる。
  論文  参考訳（メタデータ） (2021-01-08T18:47:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。