論文の概要: Self-orthogonalizing attractor neural networks emerging from the free energy principle

• arxiv url: http://arxiv.org/abs/2505.22749v1
• Date: Wed, 28 May 2025 18:10:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.464982
• Title: Self-orthogonalizing attractor neural networks emerging from the free energy principle
• Title（参考訳）: 自由エネルギー原理から生じる自己直交性誘引神経ネットワーク
• Authors: Tamas Spisak, Karl Friston,
• Abstract要約: 我々は、ランダムな力学系の普遍的なパーティショニングに適用される自由エネルギー原理から、アトラクターネットワークがどのように出現するかを定式化する。 私たちのアプローチでは、明示的に学習と推論の規則を課す必要がなくなる。 我々の発見は、自己組織化されたアトラクタネットワークの統一理論を提供し、AIと神経科学の新たな洞察を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attractor dynamics are a hallmark of many complex systems, including the brain. Understanding how such self-organizing dynamics emerge from first principles is crucial for advancing our understanding of neuronal computations and the design of artificial intelligence systems. Here we formalize how attractor networks emerge from the free energy principle applied to a universal partitioning of random dynamical systems. Our approach obviates the need for explicitly imposed learning and inference rules and identifies emergent, but efficient and biologically plausible inference and learning dynamics for such self-organizing systems. These result in a collective, multi-level Bayesian active inference process. Attractors on the free energy landscape encode prior beliefs; inference integrates sensory data into posterior beliefs; and learning fine-tunes couplings to minimize long-term surprise. Analytically and via simulations, we establish that the proposed networks favor approximately orthogonalized attractor representations, a consequence of simultaneously optimizing predictive accuracy and model complexity. These attractors efficiently span the input subspace, enhancing generalization and the mutual information between hidden causes and observable effects. Furthermore, while random data presentation leads to symmetric and sparse couplings, sequential data fosters asymmetric couplings and non-equilibrium steady-state dynamics, offering a natural extension to conventional Boltzmann Machines. Our findings offer a unifying theory of self-organizing attractor networks, providing novel insights for AI and neuroscience.
• Abstract（参考訳）: トラクターダイナミクスは、脳を含む多くの複雑なシステムの目印である。 このような自己組織化力学が第一原理からどのように現れるかを理解することは、神経計算の理解と人工知能システムの設計を促進するために不可欠である。 ここでは、ランダムな力学系の普遍的パーティショニングに適用される自由エネルギー原理から誘電体ネットワークがどのように出現するかを定式化する。 我々のアプローチは、学習と推論の規則を明示的に課すことの必要性を排除し、このような自己組織化システムに対して、創発的で、しかし、生物学的に妥当な推論と学習のダイナミクスを識別する。 これらの結果は、集合的、多レベルベイズ的活性推論プロセスをもたらす。 フリーエネルギーランドスケープのトラクターは、事前の信念を符号化し、推論は感覚データを後続の信念に統合し、そして長期のサプライズを最小限に抑えるために細管結合を学習する。 解析的およびシミュレーションにより,提案するネットワークは,予測精度とモデル複雑性を同時に最適化した結果,ほぼ直交したアトラクタ表現を好んだ。 これらのアトラクタは入力部分空間を効率的に分散し、一般化と隠れた原因と観測可能な影響の間の相互情報を強化する。 さらに、ランダムなデータ提示は対称結合とスパース結合をもたらすが、シーケンシャルデータは非対称結合と非平衡定常ダイナミクスを促進し、従来のボルツマンマシンへの自然な拡張を提供する。 我々の発見は、自己組織化されたアトラクタネットワークの統一理論を提供し、AIと神経科学の新たな洞察を提供する。

関連論文リスト

• Neural Manifolds and Cognitive Consistency: A New Approach to Memory Consolidation in Artificial Systems [0.0]
  本稿では, ニューラル人口動態, 海馬鋭波リップル(SpWR)生成, ハイダー理論に触発された認知的一貫性の制約を統一する新しい数学的枠組みを提案する。 我々のモデルは低次元多様体表現を利用して構造化された神経ドリフトを捕捉し、コヒーレントシナプス相互作用を強制するためにバランスエネルギー関数を組み込む。 この研究は、神経科学と人工知能を橋渡しするスケーラブルなニューロモルフィックアーキテクチャの道を開くもので、将来のインテリジェントシステムに対してより堅牢で適応的な学習メカニズムを提供する。
  論文  参考訳（メタデータ） (2025-02-25T18:28:25Z)
• Discovering Chunks in Neural Embeddings for Interpretability [53.80157905839065]
  本稿では, チャンキングの原理を応用して, 人工神経集団活動の解釈を提案する。 まず、この概念を正則性を持つ人工シーケンスを訓練したリカレントニューラルネットワーク(RNN)で実証する。 我々は、これらの状態に対する摂動が関連する概念を活性化または阻害すると共に、入力における概念に対応する同様の繰り返し埋め込み状態を特定する。
  論文  参考訳（メタデータ） (2025-02-03T20:30:46Z)
• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  神経科学とAIの両方では、ニューロン間の'バインディング'が、ネットワークの深い層においてより抽象的な概念を表現するために表現を圧縮する、競争的な学習の形式につながることが知られている。 完全に接続された畳み込みや注意機構などの任意の接続設計とともに人工的再考を導入する。 このアイデアは、教師なしオブジェクト発見、敵対的ロバスト性、不確実性、定量化、推論など、幅広いタスクにわたるパフォーマンス改善を提供する。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Stretched and measured neural predictions of complex network dynamics [2.1024950052120417]
  微分方程式のデータ駆動近似は、力学系のモデルを明らかにする従来の方法に代わる有望な方法である。 最近、ダイナミックスを研究する機械学習ツールとしてニューラルネットワークが採用されている。これは、データ駆動型ソリューションの検出や微分方程式の発見に使用できる。 従来の統計学習理論の限界を超えてモデルの一般化可能性を拡張することは可能であることを示す。
  論文  参考訳（メタデータ） (2023-01-12T09:44:59Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Neural Relational Inference with Efficient Message Passing Mechanisms [10.329082213561785]
  本稿では,これらの問題に対処するための構造的事前知識を持つグラフニューラルネットワークに,効率的なメッセージパッシング機構を導入する。 すべての関係の共存を捕捉する関係相互作用機構を提案し、エラーの蓄積を緩和するために履歴情報を用いてアテンポラルメッセージパッシング機構を提案する。
  論文  参考訳（メタデータ） (2021-01-23T11:27:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。