論文の概要: Explosive neural networks via higher-order interactions in curved statistical manifolds
- arxiv url: http://arxiv.org/abs/2408.02326v1
- Date: Mon, 5 Aug 2024 09:10:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-06 14:06:30.525571
- Title: Explosive neural networks via higher-order interactions in curved statistical manifolds
- Title(参考訳): 曲線統計多様体における高次相互作用による爆発的ニューラルネットワーク
- Authors: Miguel Aguilera, Pablo A. Morales, Fernando E. Rosas, Hideaki Shimazaki,
- Abstract要約: 我々は、高次現象を研究するためのプロトタイプモデルのクラスとして、曲面ニューラルネットワークを紹介した。
これらの曲線ニューラルネットワークは、メモリ検索を高速化する自己制御プロセスを実装している。
- 参考スコア(独自算出の注目度): 43.496401697112695
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Higher-order interactions underlie complex phenomena in systems such as biological and artificial neural networks, but their study is challenging due to the lack of tractable standard models. By leveraging the maximum entropy principle in curved statistical manifolds, here we introduce curved neural networks as a class of prototypical models for studying higher-order phenomena. Through exact mean-field descriptions, we show that these curved neural networks implement a self-regulating annealing process that can accelerate memory retrieval, leading to explosive order-disorder phase transitions with multi-stability and hysteresis effects. Moreover, by analytically exploring their memory capacity using the replica trick near ferromagnetic and spin-glass phase boundaries, we demonstrate that these networks enhance memory capacity over the classical associative-memory networks. Overall, the proposed framework provides parsimonious models amenable to analytical study, revealing novel higher-order phenomena in complex network systems.
- Abstract(参考訳): 高次の相互作用は、生物学的ニューラルネットワークや人工ニューラルネットワークのようなシステムにおいて複雑な現象をもたらすが、その研究は、牽引可能な標準モデルが欠如しているために困難である。
曲線統計多様体の最大エントロピー原理を利用して、高次現象を研究するための原型モデルのクラスとして曲線ニューラルネットワークを導入する。
平均フィールドの正確な記述を通して、これらの曲線ニューラルネットワークは、メモリの検索を高速化する自己制御型アニールプロセスを実装し、マルチ安定性とヒステリシス効果を持つ爆発的秩序の相転移を引き起こすことを示す。
さらに, 強磁性相とスピングラス相の境界付近の複製手法を用いてメモリ容量を解析的に探索することにより, これらのネットワークが古典的連想メモリネットワークよりもメモリ容量を向上させることを示す。
全体として、提案フレームワークは解析的な研究に相似的なモデルを提供し、複雑なネットワークシステムにおける新しい高次現象を明らかにする。
関連論文リスト
- Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。
このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
論文 参考訳(メタデータ) (2024-06-07T08:32:30Z) - Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。
本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。
本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
論文 参考訳(メタデータ) (2024-04-22T09:40:07Z) - Attention for Causal Relationship Discovery from Biological Neural
Dynamics [9.097847269529202]
本稿では,各ノードに複雑な非線形ダイナミクスを持つネットワークにおけるグランガー因果関係を学習するための変圧器モデルの可能性について検討する。
クロスアテンションモジュールはニューロン間の因果関係を効果的に把握し,最も一般的なグランガー因果関係解析法と同等かそれ以上の精度で検出することを示した。
論文 参考訳(メタデータ) (2023-11-12T18:59:42Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:04:45Z) - Cross-Frequency Coupling Increases Memory Capacity in Oscillatory Neural
Networks [69.42260428921436]
クロス周波数カップリング(CFC)は、ニューロンの集団間での情報統合と関連している。
我々は,海馬および大脳皮質における観測された$theta - gamma$振動回路の計算的役割を予測するCFCのモデルを構築した。
CFCの存在は, 可塑性シナプスによって結合された神経細胞のメモリ容量を増加させることを示す。
論文 参考訳(メタデータ) (2022-04-05T17:13:36Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Hyperbolic Neural Networks++ [66.16106727715061]
ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。
実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
論文 参考訳(メタデータ) (2020-06-15T08:23:20Z) - A new inference approach for training shallow and deep generalized
linear models of noisy interacting neurons [4.899818550820575]
我々は2段階の推論戦略を開発し、相互作用するニューロンの堅牢な一般化線形モデルを訓練する。
古典的手法と比較して、この方法で訓練されたモデルは性能が向上していることが示される。
この手法は深部畳み込みニューラルネットワークに拡張することができ、ニューロンの発火速度とその相関の予測精度の高いモデルが得られる。
論文 参考訳(メタデータ) (2020-06-11T15:09:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。