論文の概要: Deep neural networks as nested dynamical systems
- arxiv url: http://arxiv.org/abs/2111.01297v1
- Date: Mon, 1 Nov 2021 23:37:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-03 15:07:49.029414
- Title: Deep neural networks as nested dynamical systems
- Title（参考訳）: ネスト力学系としてのディープニューラルネットワーク
- Authors: David I. Spivak, Timothy Hosgood
- Abstract要約: ディープニューラルネットワークと実際の脳の間では、しばしばアナロジーが作られ、命名法自体によって示唆される。
本項では、類推が違うことを主張する。
ディープニューラルネットワークの「ニューロン」は変化の重みを管理しているため、脳のシナプスに類似している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There is an analogy that is often made between deep neural networks and
actual brains, suggested by the nomenclature itself: the "neurons" in deep
neural networks should correspond to neurons (or nerve cells, to avoid
confusion) in the brain. We claim, however, that this analogy doesn't even type
check: it is structurally flawed. In agreement with the slightly glib summary
of Hebbian learning as "cells that fire together wire together", this article
makes the case that the analogy should be different. Since the "neurons" in
deep neural networks are managing the changing weights, they are more akin to
the synapses in the brain; instead, it is the wires in deep neural networks
that are more like nerve cells, in that they are what cause the information to
flow. An intuition that nerve cells seem like more than mere wires is exactly
right, and is justified by a precise category-theoretic analogy which we will
explore in this article. Throughout, we will continue to highlight the error in
equating artificial neurons with nerve cells by leaving "neuron" in quotes or
by calling them artificial neurons.
We will first explain how to view deep neural networks as nested dynamical
systems with a very restricted sort of interaction pattern, and then explain a
more general sort of interaction for dynamical systems that is useful
throughout engineering, but which fails to adapt to changing circumstances. As
mentioned, an analogy is then forced upon us by the mathematical formalism in
which they are both embedded. We call the resulting encompassing generalization
deeply interacting learning systems: they have complex interaction as in
control theory, but adaptation to circumstances as in deep neural networks.
- Abstract（参考訳）: ディープニューラルネットワークの「ニューロン」は、脳のニューロン(または神経細胞、混乱を避けるために)に対応するべきである。
しかし、私たちは、このアナロジーは型チェックさえしていないと主張しています。
ヘッビアン・ラーニングを「一緒に発火するセル」というわずかにグリムの要約と一致して、この記事ではアナロジーが異なるべきという主張を述べる。
深層ニューラルネットワークの"neuron"は重みの変化を管理しているため、それらは脳内のシナプスに似ています。
神経細胞が単なるワイヤー以上のように見えるという直感は、まさに正しいものであり、本記事では、正確なカテゴリー理論の類似によって正当化される。
全体としては、「ニューロン」を引用に残したり、人工ニューロンと呼ぶことで、人工ニューロンと神経細胞を同等にすることの誤りを強調し続ける。
まず、深層ニューラルネットワークを、非常に制限された相互作用パターンを持つネストされた動的システムとみなす方法を説明し、次に、エンジニアリング全体を通して有用だが状況の変化に適応できない、より一般的な動的システムに対する相互作用を説明する。
前述のように、類推はどちらも埋め込まれた数学的形式主義によって我々に強制される。
それらは制御理論のように複雑な相互作用を持つが、ディープニューラルネットワークのような状況に適応する。
関連論文リスト
- Hebbian Learning based Orthogonal Projection for Continual Learning of
Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。
我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。
我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文 参考訳（メタデータ） (2024-02-19T09:29:37Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳（メタデータ） (2023-12-01T05:20:57Z) - A Sparse Quantized Hopfield Network for Online-Continual Memory [0.0]
神経系は、ノイズの多いデータポイントのストリームが非独立で同一に分散された(非i.d.)方法で提示されるオンライン学習を行う。
一方、ディープネットワークは、通常非ローカルな学習アルゴリズムを使用し、オフライン、非ノイズ、すなわち設定で訓練される。
我々は、スパース量子ホップフィールドネットワーク(SQHN)と呼ばれる新しいニューラルネットワークにこの種のモデルを実装する。
論文 参考訳（メタデータ） (2023-07-27T17:46:17Z) - A Hybrid Training Algorithm for Continuum Deep Learning Neuro-Skin
Neural Network [0.0]
Deep Learning NeuroSkin Neural Networkは、著者らが最近発表した新しいタイプのニューラルネットワークである。
神経骨格は有限要素を用いてモデル化される。有限要素の各要素は細胞を表す。
神経骨格は望ましい反応を提示できないが、徐々に所望のレベルに改善することが示されている。
論文 参考訳（メタデータ） (2023-02-03T15:54:06Z) - Constraints on the design of neuromorphic circuits set by the properties
of neural population codes [61.15277741147157]
脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。
ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
論文 参考訳（メタデータ） (2022-12-08T15:16:04Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - Using noise to probe recurrent neural network structure and prune
synapses [8.37609145576126]
脳内の多くのネットワークは疎結合であり、脳は発達と学習の間にシナプスを除去する。
ノイズは神経系においてユビキタスであり、しばしば克服される刺激物質であると考えられている。
ここでは、ノイズがシナプス切断において機能的な役割を担い、脳がネットワーク構造を探索し、どのシナプスが冗長であるかを決定することができることを示唆する。
論文 参考訳（メタデータ） (2020-11-14T16:51:05Z) - Continual Learning with Deep Artificial Neurons [0.0]
本稿では,Deep Artificial Neurons (DAN)を導入し,ディープニューラルネットワークとして実現した。
ネットワーク内のすべてのDANが共有する神経表現型をダブする単一パラメータベクトルをメタ学習することが可能であることを示す。
適切な神経表現型は,最小限の忘れを伴ってシナプスを更新する能力を持つ単一ネットワークを育むことができることを示す。
論文 参考訳（メタデータ） (2020-11-13T17:50:10Z) - Artificial Neural Variability for Deep Learning: On Overfitting, Noise
Memorization, and Catastrophic Forgetting [135.0863818867184]
人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。
ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。
過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
論文 参考訳（メタデータ） (2020-11-12T06:06:33Z) - Training of Deep Learning Neuro-Skin Neural Network [0.0]
Deep Learning Neuro-Skin Neural Networkは、著者らが最近発表した新しいタイプのニューラルネットワークである。
神経骨格は有限要素を用いてモデル化される。有限要素の各要素は細胞を表す。
神経骨格は望ましい反応を提示できないが、徐々に所望のレベルに改善することが示されている。
論文 参考訳（メタデータ） (2020-07-03T18:51:45Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。