論文の概要: Synaptic Metaplasticity in Binarized Neural Networks

• arxiv url: http://arxiv.org/abs/2003.03533v2
• Date: Tue, 23 Mar 2021 14:56:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-25 19:05:03.512043
• Title: Synaptic Metaplasticity in Binarized Neural Networks
• Title（参考訳）: 二元化ニューラルネットワークにおけるシナプス的メタ塑性
• Authors: Axel Laborieux, Maxence Ernoult, Tifenn Hirtzlin and Damien Querlioz
• Abstract要約: ディープニューラルネットワークは、新しいタスクをトレーニングする際に破滅的なことを忘れがちだ。 本研究では,マルチタスクとストリーム学習の状況において,これまで提示したデータを必要としない破滅的な忘れを軽減させる訓練手法を提案する。 この研究は計算神経科学とディープラーニングを橋渡しし、将来の組み込みおよびニューロモルフィックシステムのための重要な資産を提示する。
• 参考スコア（独自算出の注目度）: 4.243926243206826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While deep neural networks have surpassed human performance in multiple situations, they are prone to catastrophic forgetting: upon training a new task, they rapidly forget previously learned ones. Neuroscience studies, based on idealized tasks, suggest that in the brain, synapses overcome this issue by adjusting their plasticity depending on their past history. However, such "metaplastic" behaviours do not transfer directly to mitigate catastrophic forgetting in deep neural networks. In this work, we interpret the hidden weights used by binarized neural networks, a low-precision version of deep neural networks, as metaplastic variables, and modify their training technique to alleviate forgetting. Building on this idea, we propose and demonstrate experimentally, in situations of multitask and stream learning, a training technique that reduces catastrophic forgetting without needing previously presented data, nor formal boundaries between datasets and with performance approaching more mainstream techniques with task boundaries. We support our approach with a theoretical analysis on a tractable task. This work bridges computational neuroscience and deep learning, and presents significant assets for future embedded and neuromorphic systems, especially when using novel nanodevices featuring physics analogous to metaplasticity.
• Abstract（参考訳）: ディープニューラルネットワークは、複数の状況で人間のパフォーマンスを上回ってきたが、それらは破滅的な忘れ物になりがちだ。 理想的なタスクに基づく神経科学の研究は、脳内でシナプスが過去の歴史に応じて可塑性を調整することでこの問題を克服することを示唆している。 しかし、このような「メタ可塑性」な振る舞いは、ディープニューラルネットワークにおける破滅的な忘れを緩和するために直接伝達されない。 本研究では,深層ニューラルネットワークの低精度版である二元化ニューラルネットワークが使用する隠れ重みをメタ可塑性変数として解釈し,その学習技法を改良して忘れを緩和する。 このアイデアに基づいて,マルチタスクとストリーム学習の状況において,事前に提示されたデータやデータセット間の形式的境界を必要とせず,タスク境界を伴うより主流なテクニックに近づくパフォーマンスを伴って,破滅的な忘れを低減させるトレーニング手法を提案する。 抽出可能なタスクに関する理論的分析により,我々のアプローチを支援する。 この研究は計算神経科学とディープラーニングを橋渡しし、特にメタ可塑性に類似した物理を特徴とする新しいナノデバイスを使用する場合、将来の組み込みおよびニューロモルフィックシステムの重要な資産を提示する。

関連論文リスト

• Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
  この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。 これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。 それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。 本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T15:51:01Z)
• Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
  我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。 我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。 我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
  論文  参考訳（メタデータ） (2024-02-19T09:29:37Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Synaptic metaplasticity in binarized neural networks [4.243926243206826]
  神経科学は、生物学的シナプスがシナプス統合とメタ可塑性の過程を通じてこの問題を避けることを示唆している。 本研究では,このメタ塑性の概念を,特定のタイプのディープニューラルネットワークであるバイナライズニューラルネットワークに伝達することで,破滅的な忘れを低減できることを示す。
  論文  参考訳（メタデータ） (2021-01-19T12:32:07Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Understanding and mitigating gradient pathologies in physics-informed neural networks [2.1485350418225244]
  この研究は、物理システムの結果を予測し、ノイズの多いデータから隠れた物理を発見するための物理情報ニューラルネットワークの有効性に焦点を当てる。 本稿では,モデル学習中の勾配統計を利用して,複合損失関数の異なる項間の相互作用のバランスをとる学習速度アニーリングアルゴリズムを提案する。 また、そのような勾配に耐性のある新しいニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-01-13T21:23:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。