論文の概要: Topological Neural Dynamics: A Neuron-wise Framework for Sequence Modeling
- arxiv url: http://arxiv.org/abs/2606.21295v2
- Date: Tue, 23 Jun 2026 14:28:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-24 22:16:48.330457
- Title: Topological Neural Dynamics: A Neuron-wise Framework for Sequence Modeling
- Title(参考訳): トポロジカルニューラルダイナミクス:シーケンスモデリングのためのニューロンワイズフレームワーク
- Authors: Borui Cai, Yao Zhao,
- Abstract要約: トポロジカル・ニューラル・ダイナミクス(TND)は、トポロジカル・ニューラル・ダイナミクス(英語版) (TND) が階層的からニューロン的へと変化するシーケンス・モデリング・フレームワークである。
TNDは神経系を、有向ニューロングラフ、相互作用演算子、局所力学関数として表す。
我々はTNDをシングルプレイヤーPongにおける行動クローニングタスクのケーススタディとして評価した。
- 参考スコア(独自算出の注目度): 55.07411490538404
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing sequence models, including RNNs, LSTMs, continuous-time networks, and Transformers, share a common structural principle: layer-wise dynamics, where all neurons in the same layer co-evolve through a shared parameterized operator, leaving individual neurons no freedom to evolve independently. Yet in many complex dynamical systems, rich global behavior emerges precisely from locally evolving units interacting through structured connectivity. Inspired by this principle, we introduce Topological Neural Dynamics (TND), a sequence modeling framework that shifts computation from layer-wise to neuron-wise dynamics. TND represents a neural system as a directed neuron graph, an interaction operator, and a local dynamics function, where each neuron evolves independently and collective computation emerges from interactions through the explicit graph topology. We instantiate TND as a discrete-time graph-coupled dynamical system and evaluate it as a case study on a behavior cloning task in single-player Pong. Compared with Vanilla RNN, Sparse RNN, LSTM, Closed-form continuous-time neural network (CfC), and Transformer baselines, TND achieves the best catch rate and a mean of 17.47 consecutive catches per round, more than three times that of the strongest baseline. These results suggest that shifting from layer-wise to neuron-wise dynamics provides an effective inductive bias for sequence modeling.
- Abstract(参考訳): RNN、LSTM、連続時間ネットワーク、トランスフォーマーといった既存のシーケンスモデルは、共通の構造原理を共有している。
しかし、多くの複雑な力学系において、豊富なグローバルな振る舞いは、構造的接続を通して相互作用する局所的な進化単位から正確に生じる。
この原理にインスパイアされたTND(Topological Neural Dynamics)は,計算を階層的からニューロン的へとシフトさせるシーケンスモデリングフレームワークである。
TNDは神経系を有向ニューロングラフ、相互作用演算子、局所力学関数として表現し、各ニューロンは独立して進化し、集合計算は明示的なグラフトポロジーを通して相互作用から現れる。
我々はTNDを離散時間グラフ結合力学系としてインスタンス化し、シングルプレイヤーPongにおける行動クローニングタスクのケーススタディとして評価する。
Vanilla RNN, Sparse RNN, LSTM, Closed-form Continuous-time Neural Network (CfC) および Transformer baselines と比較して、TND は最高キャッチレートを達成し、1ラウンドあたり平均17.47 キャッチは最強ベースラインの3倍以上である。
これらの結果は, 階層的からニューロン的へのシフトが, シーケンスモデリングに有効な帰納的バイアスをもたらすことを示唆している。
関連論文リスト
- Mechanistic Interpretability of RNNs emulating Hidden Markov Models [2.786617687297761]
リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、神経科学において、神経集団の潜伏ダイナミクスを推論するための強力なアプローチを提供する。
RNNは、隠れマルコフモデルの放射統計を再現し、訓練されたネットワークをリバースエンジニアリングして、実装するメカニズムを明らかにすることができる。
論文 参考訳(メタデータ) (2025-10-29T16:42:07Z) - Neuronal Group Communication for Efficient Neural representation [85.36421257648294]
本稿では, 効率的な, モジュラー, 解釈可能な表現を学習する, 大規模ニューラルシステムの構築方法に関する問題に対処する。
本稿では、ニューラルネットワークを相互作用する神経群の動的システムとして再認識する理論駆動型フレームワークである神経グループ通信(NGC)を提案する。
NGCは、重みを埋め込みのようなニューロン状態間の過渡的な相互作用として扱い、神経計算はニューロン群間の反復的なコミュニケーションを通じて展開する。
論文 参考訳(メタデータ) (2025-10-19T14:23:35Z) - Fractional Spike Differential Equations Neural Network with Efficient Adjoint Parameters Training [63.3991315762955]
スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンからインスピレーションを得て、脳に似た計算の現実的なモデルを作成する。
既存のほとんどのSNNは、マルコフ特性を持つ一階常微分方程式(ODE)によってモデル化された、神経細胞膜電圧ダイナミクスの単一時間定数を仮定している。
本研究では, 膜電圧およびスパイク列車の長期依存性を分数次力学により捉えるフラクタルSPIKE微分方程式ニューラルネットワーク (fspikeDE) を提案する。
論文 参考訳(メタデータ) (2025-07-22T18:20:56Z) - Langevin Flows for Modeling Neural Latent Dynamics [81.81271685018284]
逐次変分自動エンコーダであるLangevinFlowを導入し、潜伏変数の時間的進化をアンダーダム化したLangevin方程式で制御する。
われわれのアプローチは、慣性、減衰、学習されたポテンシャル関数、力などの物理的事前を組み込んで、ニューラルネットワークにおける自律的および非自律的プロセスの両方を表現する。
本手法は,ロレンツ誘引器によって生成される合成神経集団に対する最先端のベースラインより優れる。
論文 参考訳(メタデータ) (2025-07-15T17:57:48Z) - IP$^{2}$-RSNN: Bi-level Intrinsic Plasticity Enables Learning-to-learn in Recurrent Spiking Neural Networks [20.88195975299024]
2レベル内在性可塑性を有する繰り返しスパイクニューラルネットワーク(IP$2$-RSNN)を開発した。
以上の結果から,RSNNにおけるL2Lの実現には,両レベルの内在性可塑性が重要な役割を担っていることが示唆された。
論文 参考訳(メタデータ) (2025-01-24T14:45:03Z) - Graph-Based Representation Learning of Neuronal Dynamics and Behavior [2.3859858429583665]
本稿では,時間変動ニューロン接続をモデル化する新しいフレームワークTAVRNNを紹介する。
TAVRNNは、解釈可能な集団レベルの表現を維持しながら、単一単位レベルで潜伏ダイナミクスを学習する。
TAVRNNは,(1)自由行動ラットの電気生理学的データ,(2)到達作業中の霊長類体性感覚皮質記録,(3)仮想ゲーム環境と相互作用するDishBrainプラットフォーム内の生物学的ニューロンの3つのデータセットで検証した。
論文 参考訳(メタデータ) (2024-10-01T13:19:51Z) - Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。
我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文 参考訳(メタデータ) (2023-03-30T02:40:28Z) - STNDT: Modeling Neural Population Activity with a Spatiotemporal
Transformer [19.329190789275565]
我々は、個々のニューロンの応答を明示的にモデル化するNDTベースのアーキテクチャであるSpatioTemporal Neural Data Transformer (STNDT)を紹介する。
本モデルは,4つのニューラルデータセット間での神経活動の推定において,アンサンブルレベルでの最先端性能を実現することを示す。
論文 参考訳(メタデータ) (2022-06-09T18:54:23Z) - Continuous Learning and Adaptation with Membrane Potential and
Activation Threshold Homeostasis [91.3755431537592]
本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。
このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。
実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
論文 参考訳(メタデータ) (2021-04-22T04:01:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。