Fugu-MT 論文翻訳(概要): Synaptic metaplasticity in binarized neural networks

論文の概要: Synaptic metaplasticity in binarized neural networks

arxiv url: http://arxiv.org/abs/2101.07592v1
Date: Tue, 19 Jan 2021 12:32:07 GMT
ステータス: 処理完了
システム内更新日: 2023-04-14 18:12:16.732269
Title: Synaptic metaplasticity in binarized neural networks
Title（参考訳）: 2値化ニューラルネットワークにおけるシナプス変形
Authors: Axel Laborieux, Maxence Ernoult, Tifenn Hirtzlin and Damien Querlioz
Abstract要約: 神経科学は、生物学的シナプスがシナプス統合とメタ可塑性の過程を通じてこの問題を避けることを示唆している。本研究では,このメタ塑性の概念を,特定のタイプのディープニューラルネットワークであるバイナライズニューラルネットワークに伝達することで,破滅的な忘れを低減できることを示す。
参考スコア（独自算出の注目度）: 4.243926243206826
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Unlike the brain, artificial neural networks, including state-of-the-art deep neural networks for computer vision, are subject to "catastrophic forgetting": they rapidly forget the previous task when trained on a new one. Neuroscience suggests that biological synapses avoid this issue through the process of synaptic consolidation and metaplasticity: the plasticity itself changes upon repeated synaptic events. In this work, we show that this concept of metaplasticity can be transferred to a particular type of deep neural networks, binarized neural networks, to reduce catastrophic forgetting.
Abstract（参考訳）: 脳とは異なり、コンピュータビジョンのための最先端のディープニューラルネットワークを含む人工知能ニューラルネットワークは、"破滅的な忘れ物"の対象となる。神経科学は、生物学的シナプスがシナプス統合とメタ可塑性の過程を通じてこの問題を避けることを示唆している。本研究では,このメタ塑性の概念を,特定のタイプのディープニューラルネットワークであるバイナライズニューラルネットワークに伝達することで,破滅的な忘れを低減できることを示す。

関連論文リスト

Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文参考訳（メタデータ） (2024-09-17T04:48:45Z)
Evolving Self-Assembling Neural Networks: From Spontaneous Activity to Experience-Dependent Learning [7.479827648985631]
本稿では, 自己組織型ニューラルネットワークを, 活動と報酬に依存した方法でシナプス的, 構造的可塑性のクラスとして提案する。その結果、ランダムに接続されたネットワークや空きネットワークから、異なる制御タスクの経験からモデルが学習できることが示されている。
論文参考訳（メタデータ） (2024-06-14T07:36:21Z)
Brain-Inspired Machine Intelligence: A Survey of Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文参考訳（メタデータ） (2023-12-01T05:20:57Z)
Connected Hidden Neurons (CHNNet): An Artificial Neural Network for Rapid Convergence [0.6218519716921521]
我々は,同じ隠蔽層に隠されたニューロンが相互に相互に結合し,急速に収束する,より堅牢な人工知能ニューラルネットワークモデルを提案する。深層ネットワークにおける提案モデルの実験研究により,従来のフィードフォワードニューラルネットワークと比較して,モデルが顕著に収束率を上昇させることを示した。
論文参考訳（メタデータ） (2023-05-17T14:00:38Z)
Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文参考訳（メタデータ） (2023-03-30T02:40:28Z)
Constraints on the design of neuromorphic circuits set by the properties of neural population codes [61.15277741147157]
脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
論文参考訳（メタデータ） (2022-12-08T15:16:04Z)
Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文参考訳（メタデータ） (2022-10-06T13:04:45Z)
Condition Integration Memory Network: An Interpretation of the Meaning of the Neuronal Design [10.421465303670638]
本論文では,プリミティブニューラルネットワークの機能的性質に関する仮説的枠組みを紹介する。ニューロンとシナプスの活動が、世界の動的変化を象徴的に再現できるという考えを分析します。アルゴリズム構造に参加せずにこれを実現する。
論文参考訳（メタデータ） (2021-05-21T05:59:27Z)
Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
論文参考訳（メタデータ） (2020-11-12T06:06:33Z)
Synaptic Metaplasticity in Binarized Neural Networks [4.243926243206826]
ディープニューラルネットワークは、新しいタスクをトレーニングする際に破滅的なことを忘れがちだ。本研究では,マルチタスクとストリーム学習の状況において,これまで提示したデータを必要としない破滅的な忘れを軽減させる訓練手法を提案する。この研究は計算神経科学とディープラーニングを橋渡しし、将来の組み込みおよびニューロモルフィックシステムのための重要な資産を提示する。
論文参考訳（メタデータ） (2020-03-07T08:09:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。