論文の概要: Unifying Dynamical Systems and Graph Theory to Mechanistically Understand Computation in Neural Networks
- arxiv url: http://arxiv.org/abs/2605.03598v1
- Date: Tue, 05 May 2026 10:18:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-06 19:35:43.889377
- Title: Unifying Dynamical Systems and Graph Theory to Mechanistically Understand Computation in Neural Networks
- Title（参考訳）: ニューラルネットワークの機械的計算に対する力学系とグラフ理論の統合
- Authors: Jatin Sharma, Danyal Akarca, Dan F. M Goodman,
- Abstract要約: ネットワークをグラフとしてモデル化することで、繰り返しニューラルネットワークの空間的・時間的関数を復元できることを示す。
本稿では, マルチホップ経路を制約し, 標準L1正規化によって達成される時間的間隔を誘導するリゾルペント-RNN(R-RNN)を導入する。
- 参考スコア（独自算出の注目度）: 1.644043499620662
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding how biological and artificial neural networks implement computation from connectivity is a central problem in neuroscience and machine learning. In neural systems, structural and functional connectivity are known to diverge, motivating approaches that move beyond direct connections alone. Here, we show that the spatial and temporal function of recurrent neural networks (RNNs) trained on hierarchically modular tasks can be recovered by modelling the network as a graph and analysing the multi-hop pathways between input and output units. In particular, decomposing these pathways by hop length reveals how the network temporally routes information. This perspective reframes regularisation: if function is implemented through multi-hop communication, then standard penalties such as L1 regularisation, which act only on individual weights, constrain single-hop structure rather than the multi-hop pathways that support computation. Motivated by this view, we introduce resolvent-RNNs (R-RNNs), which constrain multi-hop pathways and thereby induce temporal sparsity beyond that achieved by standard L1 regularisation. Compared with L1 regularisation, R-RNNs achieve improved performance by inducing temporal sparsity that matches the task structure, even when the task signal is sparse. Moreover, R-RNNs exhibit stronger sparsity-function alignment, reflected in their increased robustness under strong regularisation. Together, our results identify multi-hop communication as a key principle linking structure to function in recurrent networks, and suggest that sparsity should be defined over functional pathways rather than individual parameters.
- Abstract（参考訳）: 生物学的および人工知能ニューラルネットワークがいかにして接続性から計算を実装するかを理解することは、神経科学と機械学習の中心的な問題である。
ニューラルシステムでは、構造的および機能的接続は、直接接続のみを超えて移動するアプローチを多様化し、動機づけることが知られている。
本稿では、階層的なモジュラータスクで訓練されたリカレントニューラルネットワーク(RNN)の空間的・時間的機能について、ネットワークをグラフとしてモデル化し、入力ユニットと出力ユニット間のマルチホップ経路を解析することにより、回復可能であることを示す。
特に、これらの経路をホップ長で分解すると、ネットワークが情報を時間的にルーティングする方法が明らかになる。
関数がマルチホップ通信によって実装された場合、L1正規化のような標準的な罰則は、計算をサポートするマルチホップ経路よりも個々の重みにのみ作用し、シングルホップ構造を制約する。
この観点から, マルチホップ経路を制約し, 標準L1正規化によって達成される時間的間隔を誘導するリゾルペント-RNN(R-RNN)を導入する。
L1正則化と比較して、R-RNNはタスク信号がスパースであっても、タスク構造にマッチする時間間隔を誘導することで、性能の向上を実現している。
さらに、R-RNNは、強い正則化下での強靭性の増加を反映して、より強いスパーシティ-ファンクションアライメントを示す。
また,本研究の結果から,マルチホップ通信を連続ネットワークにおける機能にリンクする鍵となる原理として認識し,個々のパラメータではなく機能経路上で疎結合を定義すべきであることを示唆した。
関連論文リスト
- Cannistraci-Hebb Training on Ultra-Sparse Spiking Neural Networks [10.30800655748035]
スパイキングニューラルネットワーク(SNN)は本質的に時間的アクティベーション間隔を持つ。
既存の手法では、大きな性能損失を伴わずに超スパースネットワーク構造を達成できない。
本稿では,SNN のための新規かつ一般化可能な動的スパーストレーニングフレームワークである Cannistraci-Hebb Spiking Neural Network (CH-SNN) を提案する。
論文 参考訳（メタデータ） (2025-11-05T07:59:19Z) - Hardware-Friendly Implementation of Physical Reservoir Computing with CMOS-based Time-domain Analog Spiking Neurons [0.26963330643873434]
本稿では, 相補的金属酸化物半導体(CMOS)プラットフォーム上でのハードウェアフレンドリーな物理貯水池計算のためのスパイクニューラルネットワーク(SNN)を提案する。
短期記憶と排他的ORタスクによるRCと、97.7%の精度で音声桁認識タスクを実演する。
論文 参考訳（メタデータ） (2024-09-18T00:23:00Z) - A Spiking Binary Neuron -- Detector of Causal Links [0.0]
因果関係認識は、学習行動、行動計画、外界ダイナミクスの推論を目的としたニューラルネットワークの基本的な操作である。
本研究は、単純なスパイク二元性ニューロンを用いた因果関係認識を実現するための新しいアプローチを提案する。
論文 参考訳（メタデータ） (2023-09-15T15:34:17Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳（メタデータ） (2022-05-11T17:43:54Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Theory of gating in recurrent neural networks [5.672132510411465]
リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、機械学習(ML)や神経科学で広く使われている強力な動的モデルである。
ここでは、ゲーティングが集合力学の2つの健全な特徴を柔軟に制御できることを示す。
ゲート制御の時間スケールは、ネットワークがフレキシブルインテグレータとして機能する、新しい、極端に安定な状態につながる。
論文 参考訳（メタデータ） (2020-07-29T13:20:58Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Recurrent Neural Network Learning of Performance and Intrinsic
Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。
提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。
注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文 参考訳（メタデータ） (2020-05-05T14:16:54Z) - STDPG: A Spatio-Temporal Deterministic Policy Gradient Agent for Dynamic
Routing in SDN [6.27420060051673]
ソフトウェア定義ネットワーク(SDN)における動的ルーティングは、集中的な意思決定問題と見なすことができる。
本稿では,SDNにおける動的ルーティングのための新しいモデルフリーフレームワークを提案する。
STDPGは、平均的なエンドツーエンド遅延の観点から、より良いルーティングソリューションを実現する。
論文 参考訳（メタデータ） (2020-04-21T07:19:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。