論文の概要: Invariants for neural automata
- arxiv url: http://arxiv.org/abs/2302.02149v1
- Date: Sat, 4 Feb 2023 11:40:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-07 19:57:56.719244
- Title: Invariants for neural automata
- Title(参考訳): 神経オートマトンに対する不変量
- Authors: Jone Uria-Albizuri, Giovanni Sirio Carmantini, Peter beim Graben,
Serafim Rodrigues
- Abstract要約: 我々は,異なる符号化条件下でのニューラルオートマトンの対称性と不変性を調べるための公式な枠組みを開発する。
我々の研究は、ニューロシンボリックプロセッサを用いた実世界の実測値の回帰研究において極めて重要である可能性がある。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Computational modeling of neurodynamical systems often deploys neural
networks and symbolic dynamics. A particular way for combining these approaches
within a framework called vector symbolic architectures leads to neural
automata. An interesting research direction we have pursued under this
framework has been to consider mapping symbolic dynamics onto neurodynamics,
represented as neural automata. This representation theory, enables us to ask
questions, such as, how does the brain implement Turing computations.
Specifically, in this representation theory, neural automata result from the
assignment of symbols and symbol strings to numbers, known as G\"odel encoding.
Under this assignment symbolic computation becomes represented by trajectories
of state vectors in a real phase space, that allows for statistical correlation
analyses with real-world measurements and experimental data. However, these
assignments are usually completely arbitrary. Hence, it makes sense to address
the problem question of, which aspects of the dynamics observed under such a
representation is intrinsic to the dynamics and which are not. In this study,
we develop a formally rigorous mathematical framework for the investigation of
symmetries and invariants of neural automata under different encodings. As a
central concept we define patterns of equality for such systems. We consider
different macroscopic observables, such as the mean activation level of the
neural network, and ask for their invariance properties. Our main result shows
that only step functions that are defined over those patterns of equality are
invariant under recodings, while the mean activation is not. Our work could be
of substantial importance for related regression studies of real-world
measurements with neurosymbolic processors for avoiding confounding results
that are dependant on a particular encoding and not intrinsic to the dynamics.
- Abstract(参考訳): 神経力学系の計算モデリングは、しばしばニューラルネットワークとシンボリックダイナミクスを展開する。
ベクトル記号アーキテクチャと呼ばれるフレームワーク内でこれらのアプローチを組み合わせる特別な方法は、神経オートマトンにつながる。
私たちがこの枠組みで追求した興味深い研究の方向性は、ニューラルオートマトンとして表現される神経力学へのシンボリックダイナミクスのマッピングを検討することです。
この表現論は、脳がチューリング計算をどのように実装するのかといった質問を可能にする。
具体的には、この表現理論において、ニューラルオートマトンは、記号とシンボル文字列を数値に割り当てることによって生じる。
この代入記号計算は、実位相空間における状態ベクトルの軌跡によって表現され、実空間の測定と実験データとの統計的相関解析を可能にする。
しかし、これらの割り当ては通常、完全に任意である。
したがって、そのような表現の下で観察されるダイナミクスのどの側面がダイナミクスに固有のものであり、どれがそうではないのかという問題に対処するのは理にかなっている。
本研究では,異なる符号化条件下での神経オートマトンの対称性と不変量を調べるための形式的厳密な数学的枠組みを考案する。
中心的な概念として、そのようなシステムに対する平等のパターンを定義する。
我々は、ニューラルネットワークの平均活性化レベルなど、異なるマクロ可観測性を検討し、その不変性を求める。
この結果から, 平均アクティベーションは変化しないものの, 同一性のパターン上で定義されるステップ関数のみが再符号化の下で不変であることが示唆された。
我々の研究は、特定のエンコーディングに依存し、ダイナミクスに固有のものではないコンバウンディング結果を避けるために、ニューロシンボリックプロセッサを用いた実世界の計測の回帰研究において極めて重要である可能性がある。
関連論文リスト
- Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳(メタデータ) (2023-12-01T05:20:57Z) - Inferring Inference [7.11780383076327]
我々は,大規模神経活動パターンから標準分散計算を推定するフレームワークを開発した。
確率的グラフィカルモデルに近似推論アルゴリズムを暗黙的に実装したモデル脳のための記録をシミュレートする。
全体として、このフレームワークはニューラル記録の解釈可能な構造を発見するための新しいツールを提供する。
論文 参考訳(メタデータ) (2023-10-04T22:12:11Z) - LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and
Reasoning [73.98142349171552]
LOGICSEGは、神経誘導学習と論理推論をリッチデータとシンボリック知識の両方に統合する、全体論的視覚意味論である。
ファジィ論理に基づく連続的な緩和の間、論理式はデータとニューラルな計算グラフに基礎を置いており、論理によるネットワークトレーニングを可能にする。
これらの設計によりLOGICSEGは、既存のセグメンテーションモデルに容易に統合できる汎用的でコンパクトなニューラル論理マシンとなる。
論文 参考訳(メタデータ) (2023-09-24T05:43:19Z) - Contrastive-Signal-Dependent Plasticity: Forward-Forward Learning of
Spiking Neural Systems [73.18020682258606]
我々は、ニューロンの個々の層が並列に機能する、スパイキングニューロンユニットからなる神経模倣アーキテクチャを開発する。
コントラスト信号依存塑性(CSDP)と呼ばれるイベントベース前方学習の一般化を提案する。
いくつかのパターンデータセットに対する実験結果から,CSDPプロセスは分類と再構成の両方が可能な動的再帰スパイクネットワークのトレーニングに有効であることが示された。
論文 参考訳(メタデータ) (2023-03-30T02:40:28Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳(メタデータ) (2023-02-27T18:52:38Z) - Representational dissimilarity metric spaces for stochastic neural
networks [4.229248343585332]
神経表現の類似性を定量化することは、深層学習と神経科学研究における長年の問題である。
形状メトリクスを一般化して表現の違いを定量化する。
神経生物学的指向型視覚格子と自然主義的なシーンはそれぞれ、訓練されていない深層ネットワーク表現と訓練された深部ネットワーク表現に類似している。
論文 参考訳(メタデータ) (2022-11-21T17:32:40Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Formalising the Use of the Activation Function in Neural Inference [0.0]
生体ニューロンのスパイクが、統計物理学における特定の位相遷移のクラスに属するかについて議論する。
人工ニューロンは生物学的神経膜力学の平均場モデルであることが数学的に示されている。
これにより、選択的神経発射を抽象的に処理し、パーセプトロン学習における活性化機能の役割を定式化する。
論文 参考訳(メタデータ) (2021-02-02T19:42:21Z) - A Neural Dynamic Model based on Activation Diffusion and a
Micro-Explanation for Cognitive Operations [4.416484585765028]
記憶の神経機構は、人工知能における表現の問題と非常に密接な関係を持っている。
脳内のニューロンのネットワークとその情報処理のシミュレーションを行う計算モデルが提案された。
論文 参考訳(メタデータ) (2020-11-27T01:34:08Z) - Recurrent Neural Network Learning of Performance and Intrinsic
Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。
提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。
注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文 参考訳(メタデータ) (2020-05-05T14:16:54Z) - Mean-Field and Kinetic Descriptions of Neural Differential Equations [0.0]
この研究では、ニューラルネットワークの特定のクラス、すなわち残留ニューラルネットワークに焦点を当てる。
我々は、ネットワークのパラメータ、すなわち重みとバイアスに関する定常状態と感度を分析する。
残留ニューラルネットワークにインスパイアされた微視的ダイナミクスの修正は、ネットワークのフォッカー・プランクの定式化につながる。
論文 参考訳(メタデータ) (2020-01-07T13:41:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。