論文の概要: Self-orthogonalizing attractor neural networks emerging from the free energy principle

• arxiv url: http://arxiv.org/abs/2505.22749v1
• Date: Wed, 28 May 2025 18:10:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.464982
• Title: Self-orthogonalizing attractor neural networks emerging from the free energy principle
• Title（参考訳）: 自由エネルギー原理から生じる自己直交性誘引神経ネットワーク
• Authors: Tamas Spisak, Karl Friston,
• Abstract要約: 我々は、ランダムな力学系の普遍的なパーティショニングに適用される自由エネルギー原理から、アトラクターネットワークがどのように出現するかを定式化する。 私たちのアプローチでは、明示的に学習と推論の規則を課す必要がなくなる。 我々の発見は、自己組織化されたアトラクタネットワークの統一理論を提供し、AIと神経科学の新たな洞察を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attractor dynamics are a hallmark of many complex systems, including the brain. Understanding how such self-organizing dynamics emerge from first principles is crucial for advancing our understanding of neuronal computations and the design of artificial intelligence systems. Here we formalize how attractor networks emerge from the free energy principle applied to a universal partitioning of random dynamical systems. Our approach obviates the need for explicitly imposed learning and inference rules and identifies emergent, but efficient and biologically plausible inference and learning dynamics for such self-organizing systems. These result in a collective, multi-level Bayesian active inference process. Attractors on the free energy landscape encode prior beliefs; inference integrates sensory data into posterior beliefs; and learning fine-tunes couplings to minimize long-term surprise. Analytically and via simulations, we establish that the proposed networks favor approximately orthogonalized attractor representations, a consequence of simultaneously optimizing predictive accuracy and model complexity. These attractors efficiently span the input subspace, enhancing generalization and the mutual information between hidden causes and observable effects. Furthermore, while random data presentation leads to symmetric and sparse couplings, sequential data fosters asymmetric couplings and non-equilibrium steady-state dynamics, offering a natural extension to conventional Boltzmann Machines. Our findings offer a unifying theory of self-organizing attractor networks, providing novel insights for AI and neuroscience.
• Abstract（参考訳）: トラクターダイナミクスは、脳を含む多くの複雑なシステムの目印である。 このような自己組織化力学が第一原理からどのように現れるかを理解することは、神経計算の理解と人工知能システムの設計を促進するために不可欠である。 ここでは、ランダムな力学系の普遍的パーティショニングに適用される自由エネルギー原理から誘電体ネットワークがどのように出現するかを定式化する。 我々のアプローチは、学習と推論の規則を明示的に課すことの必要性を排除し、このような自己組織化システムに対して、創発的で、しかし、生物学的に妥当な推論と学習のダイナミクスを識別する。 これらの結果は、集合的、多レベルベイズ的活性推論プロセスをもたらす。 フリーエネルギーランドスケープのトラクターは、事前の信念を符号化し、推論は感覚データを後続の信念に統合し、そして長期のサプライズを最小限に抑えるために細管結合を学習する。 解析的およびシミュレーションにより,提案するネットワークは,予測精度とモデル複雑性を同時に最適化した結果,ほぼ直交したアトラクタ表現を好んだ。 これらのアトラクタは入力部分空間を効率的に分散し、一般化と隠れた原因と観測可能な影響の間の相互情報を強化する。 さらに、ランダムなデータ提示は対称結合とスパース結合をもたらすが、シーケンシャルデータは非対称結合と非平衡定常ダイナミクスを促進し、従来のボルツマンマシンへの自然な拡張を提供する。 我々の発見は、自己組織化されたアトラクタネットワークの統一理論を提供し、AIと神経科学の新たな洞察を提供する。

関連論文リスト

• Consciousness as a Jamming Phase [0.0]
  本稿では,大規模言語モデルにおける意識の出現を,高次元無秩序システムにおける重要な現象として解釈する神経ジャミング位相図を開発する。 粒状物質や他の複雑なシステムにおけるジャミング遷移の類似性を確立することにより、ニューラルネットワークの位相挙動を管理する3つの基本的な制御パラメータを同定する。
  論文  参考訳（メタデータ） (2025-07-10T22:07:06Z)
• Concept-Guided Interpretability via Neural Chunking [54.73787666584143]
  ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。 本稿では,ラベルの可利用性と次元性に基づいて,これら新たな実体を抽出する3つの手法を提案する。 私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
  論文  参考訳（メタデータ） (2025-05-16T13:49:43Z)
• The Spectral Bias of Shallow Neural Network Learning is Shaped by the Choice of Non-linearity [0.7499722271664144]
  非線形活性化関数がニューラルネットワークの暗黙バイアスの形成にどのように寄与するかを考察する。 局所的動的誘引器は、ニューロンの活性化関数への入力がゼロとなる超平面のクラスターの形成を促進することを示す。
  論文  参考訳（メタデータ） (2025-03-13T17:36:46Z)
• Neural Manifolds and Cognitive Consistency: A New Approach to Memory Consolidation in Artificial Systems [0.0]
  本稿では, ニューラル人口動態, 海馬鋭波リップル(SpWR)生成, ハイダー理論に触発された認知的一貫性の制約を統一する新しい数学的枠組みを提案する。 我々のモデルは低次元多様体表現を利用して構造化された神経ドリフトを捕捉し、コヒーレントシナプス相互作用を強制するためにバランスエネルギー関数を組み込む。 この研究は、神経科学と人工知能を橋渡しするスケーラブルなニューロモルフィックアーキテクチャの道を開くもので、将来のインテリジェントシステムに対してより堅牢で適応的な学習メカニズムを提供する。
  論文  参考訳（メタデータ） (2025-02-25T18:28:25Z)
• Discovering Chunks in Neural Embeddings for Interpretability [53.80157905839065]
  本稿では, チャンキングの原理を応用して, 人工神経集団活動の解釈を提案する。 まず、この概念を正則性を持つ人工シーケンスを訓練したリカレントニューラルネットワーク(RNN)で実証する。 我々は、これらの状態に対する摂動が関連する概念を活性化または阻害すると共に、入力における概念に対応する同様の繰り返し埋め込み状態を特定する。
  論文  参考訳（メタデータ） (2025-02-03T20:30:46Z)
• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  神経科学とAIの両方では、ニューロン間の'バインディング'が、ネットワークの深い層においてより抽象的な概念を表現するために表現を圧縮する、競争的な学習の形式につながることが知られている。 完全に接続された畳み込みや注意機構などの任意の接続設計とともに人工的再考を導入する。 このアイデアは、教師なしオブジェクト発見、敵対的ロバスト性、不確実性、定量化、推論など、幅広いタスクにわたるパフォーマンス改善を提供する。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Inferring Relational Potentials in Interacting Systems [56.498417950856904]
  このような相互作用を発見する代替手法として、ニューラル・インタラクション・推論(NIIP)を提案する。 NIIPは観測された関係制約を尊重する軌道のサブセットに低エネルギーを割り当てる。 別々に訓練されたモデル間での相互作用の型を交換するなどの軌道操作や、軌道予測を可能にする。
  論文  参考訳（メタデータ） (2023-10-23T00:44:17Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Stretched and measured neural predictions of complex network dynamics [2.1024950052120417]
  微分方程式のデータ駆動近似は、力学系のモデルを明らかにする従来の方法に代わる有望な方法である。 最近、ダイナミックスを研究する機械学習ツールとしてニューラルネットワークが採用されている。これは、データ駆動型ソリューションの検出や微分方程式の発見に使用できる。 従来の統計学習理論の限界を超えてモデルの一般化可能性を拡張することは可能であることを示す。
  論文  参考訳（メタデータ） (2023-01-12T09:44:59Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Neural Relational Inference with Efficient Message Passing Mechanisms [10.329082213561785]
  本稿では,これらの問題に対処するための構造的事前知識を持つグラフニューラルネットワークに,効率的なメッセージパッシング機構を導入する。 すべての関係の共存を捕捉する関係相互作用機構を提案し、エラーの蓄積を緩和するために履歴情報を用いてアテンポラルメッセージパッシング機構を提案する。
  論文  参考訳（メタデータ） (2021-01-23T11:27:31Z)
• Nonseparable Symplectic Neural Networks [23.77058934710737]
  我々は、新しいニューラルネットワークアーキテクチャ、非分離型シンプレクティックニューラルネットワーク(NSSNN)を提案する。 NSSNNは、限られた観測データから非分離ハミルトン系のシンプレクティック構造を発見し、埋め込む。 大規模ハミルトニアン系に対する長期的、正確で、堅牢な予測を得るためのアプローチの独特な計算上の利点を示す。
  論文  参考訳（メタデータ） (2020-10-23T19:50:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。