論文の概要: Dynamical Learning in Deep Asymmetric Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2509.05041v1
• Date: Fri, 05 Sep 2025 12:05:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-08 14:27:25.584814
• Title: Dynamical Learning in Deep Asymmetric Recurrent Neural Networks
• Title（参考訳）: 深部非対称リカレントニューラルネットワークにおける動的学習
• Authors: Davide Badalotti, Carlo Baldassi, Marc Mézard, Mattia Scardecchia, Riccardo Zecchina,
• Abstract要約: 非対称なディープリカレントニューラルネットワークは、指数関数的に大きく、密度の高い内部表現の多様体を生み出すことを示す。 本稿では,再帰的ダイナミクスからインプット・アウトプット・アソシエーションが自然に出現する分散学習手法を提案する。
• 参考スコア（独自算出の注目度）: 1.3421746809394772
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We show that asymmetric deep recurrent neural networks, enhanced with additional sparse excitatory couplings, give rise to an exponentially large, dense accessible manifold of internal representations which can be found by different algorithms, including simple iterative dynamics. Building on the geometrical properties of the stable configurations, we propose a distributed learning scheme in which input-output associations emerge naturally from the recurrent dynamics, without any need of gradient evaluation. A critical feature enabling the learning process is the stability of the configurations reached at convergence, even after removal of the supervisory output signal. Extensive simulations demonstrate that this approach performs competitively on standard AI benchmarks. The model can be generalized in multiple directions, both computational and biological, potentially contributing to narrowing the gap between AI and computational neuroscience.
• Abstract（参考訳）: 非対称なディープリカレントニューラルネットワークは、余分な励起結合を加味して強化され、指数関数的に大きく、密度の高い内部表現を生じさせ、単純な反復力学を含む様々なアルゴリズムで発見できることが示される。 安定な構成の幾何学的特性に基づいて,入力出力関係を勾配評価を必要とせず,再帰的力学から自然に出現させる分散学習手法を提案する。 学習プロセスを可能にする重要な特徴は、監督出力信号の除去後も収束時に到達した構成の安定性である。 大規模なシミュレーションは、このアプローチが標準AIベンチマークで競争力を発揮することを示している。 このモデルは、計算と生物学的の両方で複数の方向に一般化することができ、AIと計算神経科学のギャップを狭めるのに寄与する可能性がある。

関連論文リスト

• Drift-Diffusion Matching: Embedding dynamics in latent manifolds of asymmetric neural networks [0.8793721044482612]
  低次元潜在部分空間内の任意の力学系を表現するために、連続時間RNNを訓練するための一般的なフレームワークを導入する。 RNNは、カオス誘引子のような非線形および非平衡ダイナミクスを含む、与えられた微分方程式のドリフトと拡散を忠実に埋め込むことができることを示す。 その結果、非対称なニューラルネットワークは、低次元の動的計算を幅広いクラスに実装でき、連想記憶、非平衡統計力学、ニューラル計算のアイデアを統一できることを示した。
  論文  参考訳（メタデータ） (2026-02-16T16:15:59Z)
• Learning by Steering the Neural Dynamics: A Statistical Mechanics Perspective [0.0]
  我々は、ニューラルネットワークが完全に局所的な分散学習をサポートする方法について研究する。 そこで本研究では,任意のバイナリ再帰ネットワークを用いた教師あり学習のための生物学的に妥当なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-10-13T22:28:34Z)
• Emergence of hybrid computational dynamics through reinforcement learning [0.0]
  強化学習と教師付き学習がニューラルネットワークを根本的に異なる計算ソリューションへと導くことを示す。 また,RL彫刻は暗黙の正則化の強力な形態を通じて,機能的にバランスのとれた神経集団を彫刻することを示した。 本結果は,創発的計算の第一決定因子として学習アルゴリズムを確立した。
  論文  参考訳（メタデータ） (2025-10-13T08:53:59Z)
• Dynamical Alignment: A Principle for Adaptive Neural Computation [1.0974389213466795]
  固定されたニューラルネットワーク構造は、その構造ではなく、入力信号の時間的ダイナミクスによって駆動される、根本的に異なる計算モードで動作可能であることを示す。 この計算上の優位性は、入力力学とニューロン統合の間の時間スケールのアライメントから生じる。 この原理は、安定塑性ジレンマから分離積分力学まで、神経科学における長期保存双対性に関する統一的で計算可能な視点を提供する。
  論文  参考訳（メタデータ） (2025-08-13T06:35:57Z)
• Certified Neural Approximations of Nonlinear Dynamics [52.79163248326912]
  安全クリティカルな文脈では、神経近似の使用は、基礎となるシステムとの密接性に公式な境界を必要とする。 本稿では,認証された一階述語モデルに基づく新しい,適応的で並列化可能な検証手法を提案する。
  論文  参考訳（メタデータ） (2025-05-21T13:22:20Z)
• Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy [75.15685966213832]
  最適化トラジェクトリのリッチな方向構造をポイントワイズパラメータで解析する。 トレーニング中のスカラーバッチノルムパラメータは,ネットワーク全体のトレーニング性能と一致していることを示す。
  論文  参考訳（メタデータ） (2024-03-12T07:32:47Z)
• Complex Recurrent Spectral Network [1.0499611180329806]
  本稿では,複雑なリカレントスペクトルネットワーク(conplex Recurrent Spectral Network)(mathbbC$-RSN)の開発を通じて,人工知能(AI)を進化させる新しいアプローチを提案する。 $mathbbC$-RSNは、既存のニューラルネットワークモデルにおいて、生物学的ニューラルネットワークの複雑なプロセスをエミュレートできないという限界に対処するように設計されている。
  論文  参考訳（メタデータ） (2023-12-12T14:14:40Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Identifying Equivalent Training Dynamics [3.793387630509845]
  共役および非共役のトレーニングダイナミクスを識別するフレームワークを開発する。 クープマン作用素理論の進歩を利用して、クープマン固有値を比較することで、オンラインミラー降下とオンライン勾配降下の既知同値を正しく同定できることを実証する。 a)浅層ニューラルネットワークと広層ニューラルネットワークの間の非共役トレーニングダイナミクスの同定、(b)畳み込みニューラルネットワークにおけるトレーニングダイナミクスの初期段階の特徴付け、(c)グルーキングを行わないトランスフォーマーにおける非共役トレーニングダイナミクスの発見。
  論文  参考訳（メタデータ） (2023-02-17T22:15:20Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Continuous-in-Depth Neural Networks [107.47887213490134]
  まず最初に、このリッチな意味では、ResNetsは意味のある動的でないことを示します。 次に、ニューラルネットワークモデルが連続力学系を表現することを実証する。 ResNetアーキテクチャの詳細な一般化としてContinuousNetを紹介します。
  論文  参考訳（メタデータ） (2020-08-05T22:54:09Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。