論文の概要: Learning by Active Forgetting for Neural Networks
- arxiv url: http://arxiv.org/abs/2111.10831v1
- Date: Sun, 21 Nov 2021 14:55:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-24 07:16:03.050841
- Title: Learning by Active Forgetting for Neural Networks
- Title（参考訳）: ニューラルネットワークのためのアクティブフォーミングによる学習
- Authors: Jian Peng, Xian Sun, Min Deng, Chao Tao, Bo Tang, Wenbo Li, Guohua Wu,
QingZhu, Yu Liu, Tao Lin, Haifeng Li
- Abstract要約: 記憶と忘れのメカニズムは、人間の学習記憶システムにおいて、同じコインの2つの側面である。
現代の機械学習システムは、記憶を良くすることで、生涯にわたる学習能力を持つ機械を育むために取り組んできた。
本稿では,ニューラルネットワークを用いた能動的記憶機構による学習モデルを提案する。
- 参考スコア（独自算出の注目度）: 36.47528616276579
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Remembering and forgetting mechanisms are two sides of the same coin in a
human learning-memory system. Inspired by human brain memory mechanisms, modern
machine learning systems have been working to endow machine with lifelong
learning capability through better remembering while pushing the forgetting as
the antagonist to overcome. Nevertheless, this idea might only see the half
picture. Up until very recently, increasing researchers argue that a brain is
born to forget, i.e., forgetting is a natural and active process for abstract,
rich, and flexible representations. This paper presents a learning model by
active forgetting mechanism with artificial neural networks. The active
forgetting mechanism (AFM) is introduced to a neural network via a
"plug-and-play" forgetting layer (P\&PF), consisting of groups of inhibitory
neurons with Internal Regulation Strategy (IRS) to adjust the extinction rate
of themselves via lateral inhibition mechanism and External Regulation Strategy
(ERS) to adjust the extinction rate of excitatory neurons via inhibition
mechanism. Experimental studies have shown that the P\&PF offers surprising
benefits: self-adaptive structure, strong generalization, long-term learning
and memory, and robustness to data and parameter perturbation. This work sheds
light on the importance of forgetting in the learning process and offers new
perspectives to understand the underlying mechanisms of neural networks.
- Abstract（参考訳）: 記憶と忘れのメカニズムは、人間の学習記憶システムにおいて、同じコインの2つの側面である。
人間の脳の記憶機構に触発されて、現代の機械学習システムは、記憶力の向上を通じて生涯学習能力を持つマシンに貢献し、忘れ物は克服するアンタゴニストとして押し付けてきた。
それでも、このアイデアは半分しか見えません。
つい最近まで、脳は生まれながらに、すなわち、忘れは抽象的で豊かで柔軟な表現のための自然で活動的なプロセスであると主張する研究者が増えている。
本稿では,ニューラルネットワークを用いた能動学習機構による学習モデルを提案する。
活性欠失機構(afm)は、内部制御戦略(irs)を有する抑制ニューロン群からなる「プラグ・アンド・プレイ」欠失層(p\&pf)を介してニューラルネットワークに導入され、側方抑制機構および外部制御戦略(ers)を介して自己の絶滅率を調節し、抑制機構を介して興奮性ニューロンの絶滅率を調整する。
P\&PFは、自己適応構造、強力な一般化、長期学習と記憶、データとパラメータの摂動に対する堅牢性など、驚くべき利益をもたらすことを示した。
この研究は、学習プロセスにおける忘れることの重要性を強調し、ニューラルネットワークの基盤となるメカニズムを理解するための新しい視点を提供する。
関連論文リスト
- Brain-like Functional Organization within Large Language Models [58.93629121400745]
人間の脳は長い間人工知能(AI)の追求にインスピレーションを与えてきた
最近のニューロイメージング研究は、人工ニューラルネットワーク(ANN)の計算的表現と、人間の脳の刺激に対する神経反応との整合性の説得力のある証拠を提供する。
本研究では、人工ニューロンのサブグループと機能的脳ネットワーク(FBN)を直接結合することで、このギャップを埋める。
このフレームワークはANサブグループをFBNにリンクし、大きな言語モデル(LLM)内で脳に似た機能的組織を記述できる。
論文 参考訳（メタデータ） (2024-10-25T13:15:17Z) - Single Neuromorphic Memristor closely Emulates Multiple Synaptic
Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。
これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
論文 参考訳（メタデータ） (2024-02-26T15:01:54Z) - Hebbian Learning based Orthogonal Projection for Continual Learning of
Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。
我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。
我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文 参考訳（メタデータ） (2024-02-19T09:29:37Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳（メタデータ） (2023-12-01T05:20:57Z) - Two-compartment neuronal spiking model expressing brain-state specific apical-amplification, -isolation and -drive regimes [0.7255608805275865]
脳状態特異的神経機構は、過去と文脈の知識を現在の、入ってくる証拠の流れと統合する上で重要な役割を担っている。
この研究の目的は、脳の状態に応じた学習を支援するのに不可欠な特徴を組み込んだ2成分のスパイクニューロンモデルを提供することである。
論文 参考訳（メタデータ） (2023-11-10T14:16:46Z) - A Study of Biologically Plausible Neural Network: The Role and
Interactions of Brain-Inspired Mechanisms in Continual Learning [13.041607703862724]
人間は絶えず変化する環境から情報を取得し、統合し、保持するのに優れていますが、人工ニューラルネットワーク(ANN)は破滅的な忘れ物を示します。
我々は、デイルの原理に従う排他的および抑制的ニューロンの集団を分離して構成する生物学的に妥当な枠組みを考察する。
次に,脳にインスパイアされた様々なメカニズムの役割と相互作用について包括的研究を行い,その内容は,疎密な非重複表現,ヘビアン学習,シナプス統合,学習イベントに伴う過去の活性化の再現などである。
論文 参考訳（メタデータ） (2023-04-13T16:34:12Z) - Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。
我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文 参考訳（メタデータ） (2023-03-30T02:40:28Z) - Control of synaptic plasticity via the fusion of reinforcement learning
and unsupervised learning in neural networks [0.0]
認知神経科学では、シナプスの可塑性が我々の驚くべき学習能力に不可欠な役割を担っていると広く受け入れられている。
このインスピレーションにより、強化学習と教師なし学習の融合により、新しい学習規則が提案される。
提案した計算モデルでは,非線形最適制御理論を誤差フィードバックループ系に類似させる。
論文 参考訳（メタデータ） (2023-03-26T12:18:03Z) - Memory-enriched computation and learning in spiking neural networks
through Hebbian plasticity [9.453554184019108]
ヘビアン可塑性は生物学的記憶において重要な役割を担っていると考えられている。
本稿では,ヘビーンのシナプス可塑性に富む新しいスパイクニューラルネットワークアーキテクチャを提案する。
ヘビーンの豊かさは、ニューラルネットワークの計算能力と学習能力の点で驚くほど多彩であることを示す。
論文 参考訳（メタデータ） (2022-05-23T12:48:37Z) - Cortico-cerebellar networks as decoupling neural interfaces [1.1879716317856945]
脳は信用代入問題を著しく解決する。
ニューラルネットワークにまたがってクレジットを割り当てるには、原則として、特定のニューラルネットワーク計算が完了するのを待つ必要がある。
ディープラーニングの手法は、フォワードとフィードバックのフェーズの両方で、同様のロックの制約に悩まされる。
そこで本研究では、大脳皮質がDNIと同様のロック問題を解くのに役立つ特化脳野である小脳を提案する。
論文 参考訳（メタデータ） (2021-10-21T22:02:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。