論文の概要: Learning by Steering the Neural Dynamics: A Statistical Mechanics Perspective
- arxiv url: http://arxiv.org/abs/2510.11984v1
- Date: Mon, 13 Oct 2025 22:28:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-15 21:19:14.965812
- Title: Learning by Steering the Neural Dynamics: A Statistical Mechanics Perspective
- Title（参考訳）: ニューラルネットワークのステアリングによる学習:統計力学の視点から
- Authors: Mattia Scardecchia,
- Abstract要約: 我々は、ニューラルネットワークが完全に局所的な分散学習をサポートする方法について研究する。
そこで本研究では,任意のバイナリ再帰ネットワークを用いた教師あり学習のための生物学的に妥当なアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the striking successes of deep neural networks trained with gradient-based optimization, these methods differ fundamentally from their biological counterparts. This gap raises key questions about how nature achieves robust, sample-efficient learning at minimal energy costs and solves the credit-assignment problem without backpropagation. We take a step toward bridging contemporary AI and computational neuroscience by studying how neural dynamics can support fully local, distributed learning that scales to simple machine-learning benchmarks. Using tools from statistical mechanics, we identify conditions for the emergence of robust dynamical attractors in random asymmetric recurrent networks. We derive a closed-form expression for the number of fixed points as a function of self-coupling strength, and we reveal a phase transition in their structure: below a critical self-coupling, isolated fixed points coexist with exponentially many narrow clusters showing the overlap-gap property; above it, subdominant yet dense and extensive clusters appear. These fixed points become accessible, including to a simple asynchronous dynamical rule, after an algorithm-dependent self-coupling threshold. Building on this analysis, we propose a biologically plausible algorithm for supervised learning with any binary recurrent network. Inputs are mapped to fixed points of the dynamics, by relaxing under transient external stimuli and stabilizing the resulting configurations via local plasticity. We show that our algorithm can learn an entangled version of MNIST, leverages depth to develop hierarchical representations and increase hetero-association capacity, and is applicable to several architectures. Finally, we highlight the strong connection between algorithm performance and the unveiled phase transition, and we suggest a cortex-inspired alternative to self-couplings for its emergence.
- Abstract（参考訳）: 勾配に基づく最適化で訓練されたディープニューラルネットワークの顕著な成功にもかかわらず、これらの手法は基本的に生物学的に異なる。
このギャップは、自然が最小のエネルギーコストで頑健でサンプル効率のよい学習をどのように達成するかという重要な疑問を提起し、バックプロパゲーションなしでクレジット割り当て問題を解決する。
我々は、ニューラルネットワークが単純な機械学習ベンチマークにスケールする完全に局所的な分散学習をサポートする方法を研究することで、現代のAIと計算神経科学をブリッジする一歩を踏み出した。
統計力学のツールを用いて、ランダムな非対称リカレントネットワークにおけるロバストな動的誘引子の出現条件を同定する。
自己カップリング強度の関数としての固定点数に対する閉形式式を導出し、その構造における位相遷移を明らかにする: 臨界自己カップリングの下、孤立固定点は、重なりギャップ特性を示す指数関数的に多くの狭いクラスターと共存し、その上に、劣支配的で密度が高く広いクラスターが現れる。
これらの固定点は、アルゴリズム依存の自己結合しきい値の後、単純な非同期動的規則を含むアクセス可能となる。
この分析に基づいて,二項繰り返しネットワークを用いた教師あり学習のための生物学的に妥当なアルゴリズムを提案する。
入力は、過渡的な外部刺激の下でリラックスし、局所的な可塑性によって得られる構成を安定化することで、ダイナミックスの固定点にマッピングされる。
提案アルゴリズムは,MNISTの絡み合ったバージョンを学習し,深度を利用して階層表現を開発し,ヘテロ結合能力を向上し,複数のアーキテクチャに適用可能であることを示す。
最後に、アルゴリズム性能と明らかにされた相転移との強い関係を強調し、その出現のために自己結合に代わる大脳皮質に着想を得た代替案を提案する。
関連論文リスト
- Emergence of hybrid computational dynamics through reinforcement learning [0.0]
強化学習と教師付き学習がニューラルネットワークを根本的に異なる計算ソリューションへと導くことを示す。
また,RL彫刻は暗黙の正則化の強力な形態を通じて,機能的にバランスのとれた神経集団を彫刻することを示した。
本結果は,創発的計算の第一決定因子として学習アルゴリズムを確立した。
論文 参考訳（メタデータ） (2025-10-13T08:53:59Z) - Dynamical Learning in Deep Asymmetric Recurrent Neural Networks [1.3421746809394772]
非対称なディープリカレントニューラルネットワークは、指数関数的に大きく、密度の高い内部表現の多様体を生み出すことを示す。
本稿では,再帰的ダイナミクスからインプット・アウトプット・アソシエーションが自然に出現する分散学習手法を提案する。
論文 参考訳（メタデータ） (2025-09-05T12:05:09Z) - Dynamical Alignment: A Principle for Adaptive Neural Computation [1.0974389213466795]
固定されたニューラルネットワーク構造は、その構造ではなく、入力信号の時間的ダイナミクスによって駆動される、根本的に異なる計算モードで動作可能であることを示す。
この計算上の優位性は、入力力学とニューロン統合の間の時間スケールのアライメントから生じる。
この原理は、安定塑性ジレンマから分離積分力学まで、神経科学における長期保存双対性に関する統一的で計算可能な視点を提供する。
論文 参考訳（メタデータ） (2025-08-13T06:35:57Z) - Auto-Compressing Networks [51.221103189527014]
本稿では,各層からの長いフィードフォワード接続が従来の短残コネクションに取って代わるアーキテクチャ変種であるAuto-compression Networks (ACNs)を紹介する。
本稿では,ACNが残差ネットワークと比較して高雑音を示すこと,低データ設定における優れた性能を示すこと,破滅的忘れを軽減できることを述べる。
これらの知見は、効率的な神経アーキテクチャを開発するための実践的なアプローチとしてACNを確立している。
論文 参考訳（メタデータ） (2025-06-11T13:26:09Z) - The Cooperative Network Architecture: Learning Structured Networks as Representation of Sensory Patterns [3.9848584845601014]
協調ネットワークアーキテクチャ(Cooperative Network Architecture, CNA)は,ニューロンの構造的, 繰り返し接続されたネットワークを用いて, 知覚信号を表すモデルである。
我々は、ネットフラグメントを監督なしに学習し、フレキシブルに組み換えることで、新しいパターンをエンコードし、フィギュア補完とノイズに対するレジリエンスを可能にすることを実証した。
論文 参考訳（メタデータ） (2024-07-08T06:22:10Z) - Learning Multiscale Consistency for Self-supervised Electron Microscopy
Instance Segmentation [48.267001230607306]
本稿では,EMボリュームのマルチスケール一貫性を高める事前学習フレームワークを提案する。
当社のアプローチでは,強力なデータ拡張と弱いデータ拡張を統合することで,Siameseネットワークアーキテクチャを活用している。
効果的にボクセルと機能の一貫性をキャプチャし、EM分析のための転送可能な表現を学習する。
論文 参考訳（メタデータ） (2023-08-19T05:49:13Z) - Intensity Profile Projection: A Framework for Continuous-Time
Representation Learning for Dynamic Networks [50.2033914945157]
本稿では、連続時間動的ネットワークデータのための表現学習フレームワークIntensity Profile Projectionを提案する。
このフレームワークは3つの段階から構成される: 対の強度関数を推定し、強度再構成誤差の概念を最小化する射影を学習する。
さらに、推定軌跡の誤差を厳密に制御する推定理論を開発し、その表現がノイズに敏感な追従解析に利用できることを示す。
論文 参考訳（メタデータ） (2023-06-09T15:38:25Z) - Identifying Equivalent Training Dynamics [3.793387630509845]
共役および非共役のトレーニングダイナミクスを識別するフレームワークを開発する。
クープマン作用素理論の進歩を利用して、クープマン固有値を比較することで、オンラインミラー降下とオンライン勾配降下の既知同値を正しく同定できることを実証する。
a)浅層ニューラルネットワークと広層ニューラルネットワークの間の非共役トレーニングダイナミクスの同定、(b)畳み込みニューラルネットワークにおけるトレーニングダイナミクスの初期段階の特徴付け、(c)グルーキングを行わないトランスフォーマーにおける非共役トレーニングダイナミクスの発見。
論文 参考訳（メタデータ） (2023-02-17T22:15:20Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2020-11-18T18:52:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。