論文の概要: Learning to Control Rapidly Changing Synaptic Connections: An Alternative Type of Memory in Sequence Processing Artificial Neural Networks

• arxiv url: http://arxiv.org/abs/2211.09440v1
• Date: Thu, 17 Nov 2022 10:03:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 15:18:21.678997
• Title: Learning to Control Rapidly Changing Synaptic Connections: An Alternative Type of Memory in Sequence Processing Artificial Neural Networks
• Title（参考訳）: 急速に変化するシナプス接続を制御するための学習 : シーケンス処理型ニューラルネットワークにおける代替記憶型
• Authors: Kazuki Irie, J\"urgen Schmidhuber
• Abstract要約: フィードフォワードNNをそのようなRNNに一般化することは数学的に単純で自然であり、歴史的でさえある。 短期記憶を「シナプス接続」に格納するという、あまり知られていない代替手法は、シーケンス処理NNにおいて別の「自然な」短期記憶をもたらす。 Fast Weight Programmers (FWPs) は近年、汎用シーケンスプロセッサとして復活し、様々なタスクで競合する性能を実現している。
• 参考スコア（独自算出の注目度）: 9.605853974038936
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Short-term memory in standard, general-purpose, sequence-processing recurrent neural networks (RNNs) is stored as activations of nodes or "neurons." Generalising feedforward NNs to such RNNs is mathematically straightforward and natural, and even historical: already in 1943, McCulloch and Pitts proposed this as a surrogate to "synaptic modifications" (in effect, generalising the Lenz-Ising model, the first non-sequence processing RNN architecture of the 1920s). A lesser known alternative approach to storing short-term memory in "synaptic connections" -- by parameterising and controlling the dynamics of a context-sensitive time-varying weight matrix through another NN -- yields another "natural" type of short-term memory in sequence processing NNs: the Fast Weight Programmers (FWPs) of the early 1990s. FWPs have seen a recent revival as generic sequence processors, achieving competitive performance across various tasks. They are formally closely related to the now popular Transformers. Here we present them in the context of artificial NNs as an abstraction of biological NNs -- a perspective that has not been stressed enough in previous FWP work. We first review aspects of FWPs for pedagogical purposes, then discuss connections to related works motivated by insights from neuroscience.
• Abstract（参考訳）: 標準、汎用、シーケンス処理リカレントニューラルネットワーク(RNN)における短期記憶は、ノードまたは「ニューロン」のアクティベーションとして記憶される。 1943年、マカロックとピットスは、これを「シナプス的な修正」の代用として提案した(事実上、1920年代の最初の非シーケンス処理RNNアーキテクチャであるレンツ・イシング・モデル(英語版)を一般化した)。 シナプス接続(synaptic connections)"に短期記憶を保存するための、あまり知られていない別のアプローチ -- 別のnnを介してコンテキストに敏感な時変重み行列のダイナミクスをパラメータ化し、制御することで -- は、シーケンス処理nnsにおける別の"自然な"短期記憶型(fast weight programmers、fwps)を生み出します。 fwpは近年、汎用シーケンスプロセッサとして復活し、様々なタスクで競合性能を達成している。 現在では一般的なトランスフォーマーと密接に関連している。 ここでは、生物学的nnの抽象化として人工nnの文脈でそれらを提示する。 我々はまず、教育目的のためにFWPの側面をレビューし、その後、神経科学からの洞察によって動機付けられた関連作品との関係について論じる。

関連論文リスト

• De-novo Chemical Reaction Generation by Means of Temporal Convolutional Neural Networks [3.357271554042638]
  本稿では、リカレントニューラルネットワーク(RNN)と一時畳み込みニューラルネットワーク(TCN)の2つの組み合わせを示す。 リカレントニューラルネットワークは自己回帰特性で知られており、SMILES生成への直接適用を伴う言語モデリングで頻繁に使用される。 比較的新しいTCNは、自然言語処理(NLP)に必要な因果性に従いながら、広い受容野を持つ類似特性を有する 異なる微調整プロトコルは、転送学習による関心のデータセットに適用した場合、モデルの生成範囲に大きな影響を与えることが示されている。
  論文  参考訳（メタデータ） (2023-10-26T12:15:56Z)
• Episodic Memory Theory for the Mechanistic Interpretation of Recurrent Neural Networks [3.683202928838613]
  本稿では,最近提案された一般逐次記憶モデルにおいて,RNNを離散時間アナログとして概念化できるという,エピソード記憶理論(EMT)を提案する。 本稿では,RNNにおける変数結合の振る舞いを探索するアルゴリズムを新たに導入する。 実験により、訓練されたRNNは可変結合回路に一貫して収束し、RNNのダイナミクスの普遍性を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2023-10-03T20:52:37Z)
• Artificial Neuronal Ensembles with Learned Context Dependent Gating [0.0]
  LXDG(Learned Context Dependent Gating)は、人工神経のアンサンブルを柔軟に割り当て、リコールする方法である。 ネットワークの隠れた層におけるアクティビティは、トレーニング中に動的に生成されるゲートによって変調される。 本稿では,この手法が連続学習ベンチマークにおける破滅的な忘れを軽減できることを示す。
  論文  参考訳（メタデータ） (2023-01-17T20:52:48Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Neural Differential Equations for Learning to Program Neural Nets Through Continuous Learning Rules [10.924226420146626]
  連続時間シーケンス処理網を構築するために,学習ルールとニューラルODEを組み合わせた新しい手法を提案する。 これにより、Fast Weight Programmers と linear Transformer の連続時間版が生成される。
  論文  参考訳（メタデータ） (2022-06-03T15:48:53Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• Skip-Connected Self-Recurrent Spiking Neural Networks with Joint Intrinsic Parameter and Synaptic Weight Training [14.992756670960008]
  我々はSkip-Connected Self-Recurrent SNNs (ScSr-SNNs) と呼ばれる新しいタイプのRSNNを提案する。 ScSr-SNNは、最先端BP法で訓練された他のタイプのRSNNと比較して、パフォーマンスを最大2.55%向上させることができる。
  論文  参考訳（メタデータ） (2020-10-23T22:27:13Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。