論文の概要: Perforated Backpropagation: A Neuroscience Inspired Extension to Artificial Neural Networks
- arxiv url: http://arxiv.org/abs/2501.18018v1
- Date: Wed, 29 Jan 2025 22:09:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-31 15:15:36.293065
- Title: Perforated Backpropagation: A Neuroscience Inspired Extension to Artificial Neural Networks
- Title（参考訳）: Perforated Backpropagation: 神経科学に触発されたニューラルネットワークの拡張
- Authors: Rorry Brenner, Laurent Itti,
- Abstract要約: 人工ニューラルネットワークのニューロンは、生物学的ニューロンが現在知られているよりもはるかに少ない時期に発明された。
我々の研究は、核ニューロンユニットを生物学的ニューロンとより並列にするための修正を探究する。
本稿では,深部ニューラルネットワークの人工ニューロンを有効活用し,より高性能な符号化を実現する"穿孔"バックプロパゲーションシステムについて検討する。
- 参考スコア（独自算出の注目度）: 10.346584735416089
- License:
- Abstract: The neurons of artificial neural networks were originally invented when much less was known about biological neurons than is known today. Our work explores a modification to the core neuron unit to make it more parallel to a biological neuron. The modification is made with the knowledge that biological dendrites are not simply passive activation funnels, but also compute complex non-linear functions as they transmit activation to the cell body. The paper explores a novel system of "Perforated" backpropagation empowering the artificial neurons of deep neural networks to achieve better performance coding for the same features they coded for in the original architecture. After an initial network training phase, additional "Dendrite Nodes" are added to the network and separately trained with a different objective: to correlate their output with the remaining error of the original neurons. The trained Dendrite Nodes are then frozen, and the original neurons are further trained, now taking into account the additional error signals provided by the Dendrite Nodes. The cycle of training the original neurons and then adding and training Dendrite Nodes can be repeated several times until satisfactory performance is achieved. Our algorithm was successfully added to modern state-of-the-art PyTorch networks across multiple domains, improving upon original accuracies and allowing for significant model compression without a loss in accuracy.
- Abstract（参考訳）: ニューラルネットワークのニューロンは、生物学的ニューロンが現在知られているよりもはるかに少ない時期に発明された。
我々の研究は、核ニューロンユニットを生物学的ニューロンとより並列にするための修正を探究する。
この修飾は、生物のデンドライトが単に受動的活性化核であるだけでなく、細胞体に活性化を伝達する複雑な非線形機能も計算する、という知識によってなされる。
そこで本研究では,深部ニューラルネットワークの人工ニューロンを応用して,元のアーキテクチャでコーディングしたのと同じ機能に対して,より優れた性能のコーディングを実現する"穿孔"バックプロパゲーションシステムについて検討する。
最初のネットワークトレーニングフェーズの後、追加の "Dendrite Nodes" がネットワークに追加され、異なる目的によって個別にトレーニングされる。
トレーニングされたDendriteノードは凍結され、元のニューロンはさらにトレーニングされ、Dendriteノードが提供するエラー信号も考慮されている。
元のニューロンをトレーニングし、その後にデンドライトノードを追加し、トレーニングするサイクルは、満足なパフォーマンスが達成されるまで何度も繰り返される。
提案アルゴリズムは,複数の領域にまたがる最新のPyTorchネットワークに適用され,元の精度を改善し,精度を損なうことなく重要なモデル圧縮が可能となった。
関連論文リスト
- Verified Neural Compressed Sensing [58.98637799432153]
精度の高い計算タスクのために、初めて(私たちの知識を最大限に活用するために)証明可能なニューラルネットワークを開発します。
極小問題次元(最大50)では、線形および双項線形測定からスパースベクトルを確実に回復するニューラルネットワークを訓練できることを示す。
ネットワークの複雑さは問題の難易度に適応できることを示し、従来の圧縮センシング手法が証明不可能な問題を解く。
論文 参考訳（メタデータ） (2024-05-07T12:20:12Z) - Hebbian Learning based Orthogonal Projection for Continual Learning of
Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。
我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。
我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文 参考訳（メタデータ） (2024-02-19T09:29:37Z) - Fast gradient-free activation maximization for neurons in spiking neural networks [5.805438104063613]
このようなループのための効率的な設計のフレームワークを提案する。
トレーニング中の人工ニューロンの最適刺激の変化を追跡する。
この洗練された最適刺激の形成は、分類精度の増大と関連している。
論文 参考訳（メタデータ） (2023-12-28T18:30:13Z) - Synaptic Stripping: How Pruning Can Bring Dead Neurons Back To Life [0.0]
我々は、致命的な神経細胞問題に対処する手段として、シナプスストリッピングを導入する。
トレーニング中に問題のある接続を自動的に取り除くことで、死んだ神経細胞を再生することができる。
我々は,ネットワーク幅と深さの関数として,これらのダイナミクスを研究するために,いくつかのアブレーション研究を行っている。
論文 参考訳（メタデータ） (2023-02-11T23:55:50Z) - A Hybrid Training Algorithm for Continuum Deep Learning Neuro-Skin
Neural Network [0.0]
Deep Learning NeuroSkin Neural Networkは、著者らが最近発表した新しいタイプのニューラルネットワークである。
神経骨格は有限要素を用いてモデル化される。有限要素の各要素は細胞を表す。
神経骨格は望ましい反応を提示できないが、徐々に所望のレベルに改善することが示されている。
論文 参考訳（メタデータ） (2023-02-03T15:54:06Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with
Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。
提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
論文 参考訳（メタデータ） (2022-01-19T09:26:34Z) - Artificial Neural Variability for Deep Learning: On Overfitting, Noise
Memorization, and Catastrophic Forgetting [135.0863818867184]
人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。
ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。
過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
論文 参考訳（メタデータ） (2020-11-12T06:06:33Z) - Training of Deep Learning Neuro-Skin Neural Network [0.0]
Deep Learning Neuro-Skin Neural Networkは、著者らが最近発表した新しいタイプのニューラルネットワークである。
神経骨格は有限要素を用いてモデル化される。有限要素の各要素は細胞を表す。
神経骨格は望ましい反応を提示できないが、徐々に所望のレベルに改善することが示されている。
論文 参考訳（メタデータ） (2020-07-03T18:51:45Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。