論文の概要: Explosive neural networks via higher-order interactions in curved statistical manifolds

• arxiv url: http://arxiv.org/abs/2408.02326v2
• Date: Tue, 04 Feb 2025 09:13:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:53:55.074961
• Title: Explosive neural networks via higher-order interactions in curved statistical manifolds
• Title（参考訳）: 曲線統計多様体における高次相互作用による爆発的ニューラルネットワーク
• Authors: Miguel Aguilera, Pablo A. Morales, Fernando E. Rosas, Hideaki Shimazaki,
• Abstract要約: 曲線ニューラルネットワークは,パラメータ数に制限のあるプロトタイプモデルのクラスとして導入する。 これらの曲線ニューラルネットワークは、メモリ検索を高速化する自己制御プロセスを実装している。 強磁性相とスピングラス相の境界付近のレプリカ手法を用いて, メモリ・検索能力の解析を行った。
• 参考スコア（独自算出の注目度）: 43.496401697112695
• License:
• Abstract: Higher-order interactions underlie complex phenomena in systems such as biological and artificial neural networks, but their study is challenging due to the scarcity of tractable models. By leveraging a generalisation of the maximum entropy principle, here we introduce curved neural networks as a class of prototypical models with a limited number of parameters that are particularly well-suited for studying higher-order phenomena. Through exact mean-field descriptions, we show that these curved neural networks implement a self-regulating annealing process that can accelerate memory retrieval, leading to explosive order-disorder phase transitions with multi-stability and hysteresis effects. Moreover, by analytically exploring their memory-retrieval capacity using the replica trick near ferromagnetic and spin-glass phase boundaries, we demonstrate that these networks can enhance memory capacity and robustness of retrieval over classical associative-memory networks. Overall, the proposed framework provides parsimonious models amenable to analytical study, revealing novel higher-order phenomena in complex networks.
• Abstract（参考訳）: 高次の相互作用は、生物学的ニューラルネットワークや人工ニューラルネットワークのようなシステムにおいて複雑な現象をもたらすが、その研究は、トラクターブルモデルの不足のために困難である。 最大エントロピー原理の一般化を生かして、高次現象の研究に特に適したパラメータの限られた原型モデルのクラスとして曲面ニューラルネットワークを導入する。 平均フィールドの正確な記述を通して、これらの曲線ニューラルネットワークは、メモリの検索を高速化する自己制御型アニールプロセスを実装し、マルチ安定性とヒステリシス効果を持つ爆発的秩序の相転移を引き起こすことを示す。 さらに, 強磁性相とスピングラス相の境界付近のレプリカ手法を用いて, 記憶-記憶容量を解析的に探索することにより, これらのネットワークが古典的連想記憶ネットワーク上でのメモリ容量とロバスト性を向上させることを実証した。 全体として、提案するフレームワークは解析的な研究に相似なモデルを提供し、複雑なネットワークにおける新しい高次現象を明らかにしている。

関連論文リスト

• Storing overlapping associative memories on latent manifolds in low-rank spiking networks [5.041384008847852]
  我々はスパイクベースの計算の理解の進歩を踏まえ、連想記憶問題を再考する。 大規模全阻止ネットワークのスパイク活性は,低次元,凸,片方向線形多様体上に位置することを示す。 学習ルールをいくつか提案し, 記憶容量をニューロン数で線形に拡張し, パターン完備化能力を示す。
  論文  参考訳（メタデータ） (2024-11-26T14:48:25Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Long Sequence Hopfield Memory [32.28395813801847]
  シーケンスメモリは、エージェントが複雑な刺激や行動のシーケンスをエンコードし、保存し、取り出すことを可能にする。 非線形相互作用項を導入し、パターン間の分離を強化する。 このモデルを拡張して、状態遷移間の変動タイミングでシーケンスを格納する。
  論文  参考訳（メタデータ） (2023-06-07T15:41:03Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Physically constrained neural networks to solve the inverse problem for neuron models [0.29005223064604074]
  システム生物学とシステム神経生理学は、生体医学科学における多くの重要な応用のための強力なツールである。 ディープニューラルネットワークの分野における最近の進歩は、非線形で普遍的な近似を定式化する可能性を示している。
  論文  参考訳（メタデータ） (2022-09-24T12:51:15Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Hyperbolic Neural Networks++ [66.16106727715061]
  ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。 実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
  論文  参考訳（メタデータ） (2020-06-15T08:23:20Z)
• A new inference approach for training shallow and deep generalized linear models of noisy interacting neurons [4.899818550820575]
  我々は2段階の推論戦略を開発し、相互作用するニューロンの堅牢な一般化線形モデルを訓練する。 古典的手法と比較して、この方法で訓練されたモデルは性能が向上していることが示される。 この手法は深部畳み込みニューラルネットワークに拡張することができ、ニューロンの発火速度とその相関の予測精度の高いモデルが得られる。
  論文  参考訳（メタデータ） (2020-06-11T15:09:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。