論文の概要: Explosive neural networks via higher-order interactions in curved statistical manifolds

• arxiv url: http://arxiv.org/abs/2408.02326v1
• Date: Mon, 5 Aug 2024 09:10:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 14:06:30.525571
• Title: Explosive neural networks via higher-order interactions in curved statistical manifolds
• Title（参考訳）: 曲線統計多様体における高次相互作用による爆発的ニューラルネットワーク
• Authors: Miguel Aguilera, Pablo A. Morales, Fernando E. Rosas, Hideaki Shimazaki,
• Abstract要約: 我々は、高次現象を研究するためのプロトタイプモデルのクラスとして、曲面ニューラルネットワークを紹介した。 これらの曲線ニューラルネットワークは、メモリ検索を高速化する自己制御プロセスを実装している。
• 参考スコア（独自算出の注目度）: 43.496401697112695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Higher-order interactions underlie complex phenomena in systems such as biological and artificial neural networks, but their study is challenging due to the lack of tractable standard models. By leveraging the maximum entropy principle in curved statistical manifolds, here we introduce curved neural networks as a class of prototypical models for studying higher-order phenomena. Through exact mean-field descriptions, we show that these curved neural networks implement a self-regulating annealing process that can accelerate memory retrieval, leading to explosive order-disorder phase transitions with multi-stability and hysteresis effects. Moreover, by analytically exploring their memory capacity using the replica trick near ferromagnetic and spin-glass phase boundaries, we demonstrate that these networks enhance memory capacity over the classical associative-memory networks. Overall, the proposed framework provides parsimonious models amenable to analytical study, revealing novel higher-order phenomena in complex network systems.
• Abstract（参考訳）: 高次の相互作用は、生物学的ニューラルネットワークや人工ニューラルネットワークのようなシステムにおいて複雑な現象をもたらすが、その研究は、牽引可能な標準モデルが欠如しているために困難である。 曲線統計多様体の最大エントロピー原理を利用して、高次現象を研究するための原型モデルのクラスとして曲線ニューラルネットワークを導入する。 平均フィールドの正確な記述を通して、これらの曲線ニューラルネットワークは、メモリの検索を高速化する自己制御型アニールプロセスを実装し、マルチ安定性とヒステリシス効果を持つ爆発的秩序の相転移を引き起こすことを示す。 さらに, 強磁性相とスピングラス相の境界付近の複製手法を用いてメモリ容量を解析的に探索することにより, これらのネットワークが古典的連想メモリネットワークよりもメモリ容量を向上させることを示す。 全体として、提案フレームワークは解析的な研究に相似的なモデルを提供し、複雑なネットワークシステムにおける新しい高次現象を明らかにする。

関連論文リスト

• Storing overlapping associative memories on latent manifolds in low-rank spiking networks [5.041384008847852]
  我々はスパイクベースの計算の理解の進歩を踏まえ、連想記憶問題を再考する。 大規模全阻止ネットワークのスパイク活性は,低次元,凸,片方向線形多様体上に位置することを示す。 学習ルールをいくつか提案し, 記憶容量をニューロン数で線形に拡張し, パターン完備化能力を示す。
  論文  参考訳（メタデータ） (2024-11-26T14:48:25Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Attention for Causal Relationship Discovery from Biological Neural Dynamics [9.097847269529202]
  本稿では,各ノードに複雑な非線形ダイナミクスを持つネットワークにおけるグランガー因果関係を学習するための変圧器モデルの可能性について検討する。 クロスアテンションモジュールはニューロン間の因果関係を効果的に把握し,最も一般的なグランガー因果関係解析法と同等かそれ以上の精度で検出することを示した。
  論文  参考訳（メタデータ） (2023-11-12T18:59:42Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Hyperbolic Neural Networks++ [66.16106727715061]
  ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。 実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
  論文  参考訳（メタデータ） (2020-06-15T08:23:20Z)
• A new inference approach for training shallow and deep generalized linear models of noisy interacting neurons [4.899818550820575]
  我々は2段階の推論戦略を開発し、相互作用するニューロンの堅牢な一般化線形モデルを訓練する。 古典的手法と比較して、この方法で訓練されたモデルは性能が向上していることが示される。 この手法は深部畳み込みニューラルネットワークに拡張することができ、ニューロンの発火速度とその相関の予測精度の高いモデルが得られる。
  論文  参考訳（メタデータ） (2020-06-11T15:09:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。