論文の概要: Formalising the Use of the Activation Function in Neural Inference
- arxiv url: http://arxiv.org/abs/2102.04896v1
- Date: Tue, 2 Feb 2021 19:42:21 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-05 00:32:45.934442
- Title: Formalising the Use of the Activation Function in Neural Inference
- Title（参考訳）: 神経推論における活性化関数の使用の形式化
- Authors: Dalton A R Sakthivadivel
- Abstract要約: 生体ニューロンのスパイクが、統計物理学における特定の位相遷移のクラスに属するかについて議論する。
人工ニューロンは生物学的神経膜力学の平均場モデルであることが数学的に示されている。
これにより、選択的神経発射を抽象的に処理し、パーセプトロン学習における活性化機能の役割を定式化する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We investigate how activation functions can be used to describe neural firing
in an abstract way, and in turn, why they work well in artificial neural
networks. We discuss how a spike in a biological neurone belongs to a
particular universality class of phase transitions in statistical physics. We
then show that the artificial neurone is, mathematically, a mean field model of
biological neural membrane dynamics, which arises from modelling spiking as a
phase transition. This allows us to treat selective neural firing in an
abstract way, and formalise the role of the activation function in perceptron
learning. Along with deriving this model and specifying the analogous neural
case, we analyse the phase transition to understand the physics of neural
network learning. Together, it is show that there is not only a biological
meaning, but a physical justification, for the emergence and performance of
canonical activation functions; implications for neural learning and inference
are also discussed.
- Abstract（参考訳）: 本研究では,神経発火を抽象的に表現するためにアクティベーション関数をどのように利用できるか,そして,それが人工ニューラルネットワークでうまく機能するかを検討する。
生物学的ニューロンのスパイクが、統計物理学における位相遷移の特定の普遍性クラスに属するかについて議論する。
すると、人工ニューロンは、数学的に生物神経膜力学の平均場モデルであり、スパイクを相転移としてモデル化することから生じる。
これにより、選択的神経発射を抽象的に処理し、パーセプトロン学習における活性化機能の役割を定式化する。
このモデルを導出し、類似のニューラルケースを特定するとともに、フェーズ遷移を分析し、ニューラルネットワーク学習の物理を理解する。
同時に,正準活性化関数の出現と性能に関する生物学的意味だけでなく,物理的正当性も示され,ニューラルラーニングや推論への影響も議論されている。
関連論文リスト
- Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳（メタデータ） (2023-12-01T05:20:57Z) - Astrocytes as a mechanism for meta-plasticity and contextually-guided
network function [2.66269503676104]
アストロサイトは、ユビキタスでエニグマティックな非神経細胞である。
アストロサイトは脳機能や神経計算においてより直接的で活発な役割を果たす。
論文 参考訳（メタデータ） (2023-11-06T20:31:01Z) - Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。
我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文 参考訳（メタデータ） (2023-03-30T02:40:28Z) - Constraints on the design of neuromorphic circuits set by the properties
of neural population codes [61.15277741147157]
脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。
ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
論文 参考訳（メタデータ） (2022-12-08T15:16:04Z) - Overcoming the Domain Gap in Contrastive Learning of Neural Action
Representations [60.47807856873544]
神経科学の基本的な目標は、神経活動と行動の関係を理解することである。
我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。
このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
論文 参考訳（メタデータ） (2021-11-29T15:27:51Z) - Condition Integration Memory Network: An Interpretation of the Meaning
of the Neuronal Design [10.421465303670638]
本論文では,プリミティブニューラルネットワークの機能的性質に関する仮説的枠組みを紹介する。
ニューロンとシナプスの活動が、世界の動的変化を象徴的に再現できるという考えを分析します。
アルゴリズム構造に参加せずにこれを実現する。
論文 参考訳（メタデータ） (2021-05-21T05:59:27Z) - Continuous Learning and Adaptation with Membrane Potential and
Activation Threshold Homeostasis [91.3755431537592]
本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。
このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。
実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
論文 参考訳（メタデータ） (2021-04-22T04:01:32Z) - A Neural Dynamic Model based on Activation Diffusion and a
Micro-Explanation for Cognitive Operations [4.416484585765028]
記憶の神経機構は、人工知能における表現の問題と非常に密接な関係を持っている。
脳内のニューロンのネットワークとその情報処理のシミュレーションを行う計算モデルが提案された。
論文 参考訳（メタデータ） (2020-11-27T01:34:08Z) - Advantages of biologically-inspired adaptive neural activation in RNNs
during learning [10.357949759642816]
生体ニューロンの入力周波数応答曲線にインスパイアされた非線形活性化関数のパラメトリックファミリーを導入する。
アクティベーション適応はタスク固有のソリューションを提供し、場合によっては学習速度と性能の両方を改善する。
論文 参考訳（メタデータ） (2020-06-22T13:49:52Z) - Recurrent Neural Network Learning of Performance and Intrinsic
Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。
提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。
注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文 参考訳（メタデータ） (2020-05-05T14:16:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。