論文の概要: Artificial Neuronal Ensembles with Learned Context Dependent Gating
- arxiv url: http://arxiv.org/abs/2301.07187v1
- Date: Tue, 17 Jan 2023 20:52:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-19 17:20:45.857723
- Title: Artificial Neuronal Ensembles with Learned Context Dependent Gating
- Title（参考訳）: 学習文脈依存性ゲーティングを用いた人工神経アンサンブル
- Authors: Matthew James Tilley, Michelle Miller, David Freedman
- Abstract要約: LXDG(Learned Context Dependent Gating)は、人工神経のアンサンブルを柔軟に割り当て、リコールする方法である。
ネットワークの隠れた層におけるアクティビティは、トレーニング中に動的に生成されるゲートによって変調される。
本稿では,この手法が連続学習ベンチマークにおける破滅的な忘れを軽減できることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Biological neural networks are capable of recruiting different sets of
neurons to encode different memories. However, when training artificial neural
networks on a set of tasks, typically, no mechanism is employed for selectively
producing anything analogous to these neuronal ensembles. Further, artificial
neural networks suffer from catastrophic forgetting, where the network's
performance rapidly deteriorates as tasks are learned sequentially. By
contrast, sequential learning is possible for a range of biological organisms.
We introduce Learned Context Dependent Gating (LXDG), a method to flexibly
allocate and recall `artificial neuronal ensembles', using a particular network
structure and a new set of regularization terms. Activities in the hidden
layers of the network are modulated by gates, which are dynamically produced
during training. The gates are outputs of networks themselves, trained with a
sigmoid output activation. The regularization terms we have introduced
correspond to properties exhibited by biological neuronal ensembles. The first
term penalizes low gate sparsity, ensuring that only a specified fraction of
the network is used. The second term ensures that previously learned gates are
recalled when the network is presented with input from previously learned
tasks. Finally, there is a regularization term responsible for ensuring that
new tasks are encoded in gates that are as orthogonal as possible from
previously used ones. We demonstrate the ability of this method to alleviate
catastrophic forgetting on continual learning benchmarks. When the new
regularization terms are included in the model along with Elastic Weight
Consolidation (EWC) it achieves better performance on the benchmark `permuted
MNIST' than with EWC alone. The benchmark `rotated MNIST' demonstrates how
similar tasks recruit similar neurons to the artificial neuronal ensemble.
- Abstract（参考訳）: 生物学的ニューラルネットワークは、異なる記憶をエンコードするために異なるニューロンセットをリクルートすることができる。
しかしながら、一連のタスクでニューラルネットワークをトレーニングする場合、通常、これらのニューロンアンサンブルに似たものを選択的に生成するメカニズムは用いられない。
さらに、ニューラルネットワークは、タスクが順次学習されるにつれて、ネットワークのパフォーマンスが急速に低下する、破滅的な忘れに苦しむ。
対照的に、一連の学習は様々な生物に対して可能である。
学習文脈依存ゲーティング (lxdg) は, 特定のネットワーク構造と新しい正規化項を用いて, 「人工ニューロンアンサンブル」を柔軟にアロケート・リコールする手法である。
ネットワークの隠れた層におけるアクティビティは、トレーニング中に動的に生成されるゲートによって変調される。
ゲートはネットワーク自体の出力であり、シグモノイド出力の活性化で訓練される。
我々が導入した正規化用語は、生物学的神経細胞アンサンブルによって示される性質に対応する。
第1項は低ゲートスパーシティを罰し、ネットワークの特定割合のみを使用することを保証する。
第2の用語は、ネットワークが以前に学習されたタスクから入力されたときに、事前に学習されたゲートがリコールされることを保証する。
最後に、新しいタスクが以前使用されていたものから可能な限り直交するゲートにエンコードされることを保証するための正規化用語が存在する。
本手法は,連続学習ベンチマークにおける破滅的な忘れを緩和する能力を示す。
新しい正規化用語がElastic Weight Consolidation (EWC)とともにモデルに含まれると、ベンチマークの"permuted MNIST"のパフォーマンスはEWC単独よりも向上する。
ベンチマークの「rotated mnist」は、同様のタスクが人工ニューロンアンサンブルに類似したニューロンをリクルートする方法を示しています。
関連論文リスト
- Decorrelating neurons using persistence [29.25969187808722]
2つの正規化項は、クリッドの最小スパンニングツリーの重みから計算される。
ニューロン間の相関関係を最小化することで、正規化条件よりも低い精度が得られることを示す。
正規化の可微分性の証明を含むので、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。
論文 参考訳（メタデータ） (2023-08-09T11:09:14Z) - Spike-based computation using classical recurrent neural networks [1.9171404264679484]
スパイキングニューラルネットワーク(英: Spiking Neural Network)は、ニューロン間の通信が、スパイクと呼ばれるイベントのみによって構成される人工ニューラルネットワークである。
我々は、よく知られた、訓練が容易なリカレントニューラルネットワークのダイナミクスを変更して、イベントベースにする。
この新ネットワークは,MNISTベンチマークにおいて,他の種類のスパイクネットワークに匹敵する性能が得られることを示す。
論文 参考訳（メタデータ） (2023-06-06T12:19:12Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - Consistency of Neural Networks with Regularization [0.0]
本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。
双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
論文 参考訳（メタデータ） (2022-06-22T23:33:39Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳（メタデータ） (2021-02-15T08:19:05Z) - Exploiting Heterogeneity in Operational Neural Networks by Synaptic
Plasticity [87.32169414230822]
最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。
本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。
高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
論文 参考訳（メタデータ） (2020-08-21T19:03:23Z) - Finding trainable sparse networks through Neural Tangent Transfer [16.092248433189816]
深層学習において、特定のタスクでうまく機能する訓練可能なスパースネットワークは通常、ラベル依存プルーニング基準を用いて構築される。
本稿では,学習可能なスパースネットワークをラベルフリーで検出する手法であるNeural Tangent Transferを紹介する。
論文 参考訳（メタデータ） (2020-06-15T08:58:01Z) - Triple Memory Networks: a Brain-Inspired Method for Continual Learning [35.40452724755021]
ニューラルネットワークは、新しいタスクを学ぶ際にパラメータを調整するが、古いタスクをうまく実行できない。
脳は破滅的な干渉なしに新しい経験を継続的に学習する能力を持っている。
このような脳戦略に触発されて、連続学習のための三重記憶ネットワーク(TMN)という新しいアプローチを提案する。
論文 参考訳（メタデータ） (2020-03-06T11:35:24Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。