論文の概要: Dynamical Learning in Deep Asymmetric Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2509.05041v1
• Date: Fri, 05 Sep 2025 12:05:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-08 14:27:25.584814
• Title: Dynamical Learning in Deep Asymmetric Recurrent Neural Networks
• Title（参考訳）: 深部非対称リカレントニューラルネットワークにおける動的学習
• Authors: Davide Badalotti, Carlo Baldassi, Marc Mézard, Mattia Scardecchia, Riccardo Zecchina,
• Abstract要約: 非対称なディープリカレントニューラルネットワークは、指数関数的に大きく、密度の高い内部表現の多様体を生み出すことを示す。 本稿では,再帰的ダイナミクスからインプット・アウトプット・アソシエーションが自然に出現する分散学習手法を提案する。
• 参考スコア（独自算出の注目度）: 1.3421746809394772
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We show that asymmetric deep recurrent neural networks, enhanced with additional sparse excitatory couplings, give rise to an exponentially large, dense accessible manifold of internal representations which can be found by different algorithms, including simple iterative dynamics. Building on the geometrical properties of the stable configurations, we propose a distributed learning scheme in which input-output associations emerge naturally from the recurrent dynamics, without any need of gradient evaluation. A critical feature enabling the learning process is the stability of the configurations reached at convergence, even after removal of the supervisory output signal. Extensive simulations demonstrate that this approach performs competitively on standard AI benchmarks. The model can be generalized in multiple directions, both computational and biological, potentially contributing to narrowing the gap between AI and computational neuroscience.
• Abstract（参考訳）: 非対称なディープリカレントニューラルネットワークは、余分な励起結合を加味して強化され、指数関数的に大きく、密度の高い内部表現を生じさせ、単純な反復力学を含む様々なアルゴリズムで発見できることが示される。 安定な構成の幾何学的特性に基づいて,入力出力関係を勾配評価を必要とせず,再帰的力学から自然に出現させる分散学習手法を提案する。 学習プロセスを可能にする重要な特徴は、監督出力信号の除去後も収束時に到達した構成の安定性である。 大規模なシミュレーションは、このアプローチが標準AIベンチマークで競争力を発揮することを示している。 このモデルは、計算と生物学的の両方で複数の方向に一般化することができ、AIと計算神経科学のギャップを狭めるのに寄与する可能性がある。

関連論文リスト

• Dynamical Alignment: A Principle for Adaptive Neural Computation [1.0974389213466795]
  固定されたニューラルネットワーク構造は、その構造ではなく、入力信号の時間的ダイナミクスによって駆動される、根本的に異なる計算モードで動作可能であることを示す。 この計算上の優位性は、入力力学とニューロン統合の間の時間スケールのアライメントから生じる。 この原理は、安定塑性ジレンマから分離積分力学まで、神経科学における長期保存双対性に関する統一的で計算可能な視点を提供する。
  論文  参考訳（メタデータ） (2025-08-13T06:35:57Z)
• Certified Neural Approximations of Nonlinear Dynamics [52.79163248326912]
  安全クリティカルな文脈では、神経近似の使用は、基礎となるシステムとの密接性に公式な境界を必要とする。 本稿では,認証された一階述語モデルに基づく新しい,適応的で並列化可能な検証手法を提案する。
  論文  参考訳（メタデータ） (2025-05-21T13:22:20Z)
• Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy [75.15685966213832]
  最適化トラジェクトリのリッチな方向構造をポイントワイズパラメータで解析する。 トレーニング中のスカラーバッチノルムパラメータは,ネットワーク全体のトレーニング性能と一致していることを示す。
  論文  参考訳（メタデータ） (2024-03-12T07:32:47Z)
• Complex Recurrent Spectral Network [1.0499611180329806]
  本稿では,複雑なリカレントスペクトルネットワーク(conplex Recurrent Spectral Network)(mathbbC$-RSN)の開発を通じて,人工知能(AI)を進化させる新しいアプローチを提案する。 $mathbbC$-RSNは、既存のニューラルネットワークモデルにおいて、生物学的ニューラルネットワークの複雑なプロセスをエミュレートできないという限界に対処するように設計されている。
  論文  参考訳（メタデータ） (2023-12-12T14:14:40Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Identifying Equivalent Training Dynamics [3.793387630509845]
  共役および非共役のトレーニングダイナミクスを識別するフレームワークを開発する。 クープマン作用素理論の進歩を利用して、クープマン固有値を比較することで、オンラインミラー降下とオンライン勾配降下の既知同値を正しく同定できることを実証する。 a)浅層ニューラルネットワークと広層ニューラルネットワークの間の非共役トレーニングダイナミクスの同定、(b)畳み込みニューラルネットワークにおけるトレーニングダイナミクスの初期段階の特徴付け、(c)グルーキングを行わないトランスフォーマーにおける非共役トレーニングダイナミクスの発見。
  論文  参考訳（メタデータ） (2023-02-17T22:15:20Z)
• Continuous-in-Depth Neural Networks [107.47887213490134]
  まず最初に、このリッチな意味では、ResNetsは意味のある動的でないことを示します。 次に、ニューラルネットワークモデルが連続力学系を表現することを実証する。 ResNetアーキテクチャの詳細な一般化としてContinuousNetを紹介します。
  論文  参考訳（メタデータ） (2020-08-05T22:54:09Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。