論文の概要: Mechanistic Interpretability of RNNs emulating Hidden Markov Models

• arxiv url: http://arxiv.org/abs/2510.25674v1
• Date: Wed, 29 Oct 2025 16:42:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:45.803965
• Title: Mechanistic Interpretability of RNNs emulating Hidden Markov Models
• Title（参考訳）: 隠れマルコフモデルを用いたRNNの力学的解釈可能性
• Authors: Elia Torre, Michele Viscione, Lucas Pompe, Benjamin F Grewe, Valerio Mante,
• Abstract要約: リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、神経科学において、神経集団の潜伏ダイナミクスを推論するための強力なアプローチを提供する。 RNNは、隠れマルコフモデルの放射統計を再現し、訓練されたネットワークをリバースエンジニアリングして、実装するメカニズムを明らかにすることができる。
• 参考スコア（独自算出の注目度）: 2.786617687297761
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent neural networks (RNNs) provide a powerful approach in neuroscience to infer latent dynamics in neural populations and to generate hypotheses about the neural computations underlying behavior. However, past work has focused on relatively simple, input-driven, and largely deterministic behaviors - little is known about the mechanisms that would allow RNNs to generate the richer, spontaneous, and potentially stochastic behaviors observed in natural settings. Modeling with Hidden Markov Models (HMMs) has revealed a segmentation of natural behaviors into discrete latent states with stochastic transitions between them, a type of dynamics that may appear at odds with the continuous state spaces implemented by RNNs. Here we first show that RNNs can replicate HMM emission statistics and then reverse-engineer the trained networks to uncover the mechanisms they implement. In the absence of inputs, the activity of trained RNNs collapses towards a single fixed point. When driven by stochastic input, trajectories instead exhibit noise-sustained dynamics along closed orbits. Rotation along these orbits modulates the emission probabilities and is governed by transitions between regions of slow, noise-driven dynamics connected by fast, deterministic transitions. The trained RNNs develop highly structured connectivity, with a small set of "kick neurons" initiating transitions between these regions. This mechanism emerges during training as the network shifts into a regime of stochastic resonance, enabling it to perform probabilistic computations. Analyses across multiple HMM architectures - fully connected, cyclic, and linear-chain - reveal that this solution generalizes through the modular reuse of the same dynamical motif, suggesting a compositional principle by which RNNs can emulate complex discrete latent dynamics.
• Abstract（参考訳）: リカレントニューラルネットワーク(RNN)は、神経科学において、神経集団の潜伏ダイナミクスを推論し、行動に基づく神経計算に関する仮説を生成する強力なアプローチを提供する。 しかし、過去の研究は、比較的単純で、入力駆動で、主に決定論的な振る舞いに焦点を当てており、RNNが自然の環境で観察されるより豊かで、自発的で、確率的な振る舞いを生成できるメカニズムについてはほとんど知られていない。 隠れマルコフモデル (HMMs) を用いたモデリングにより、自然挙動の離散潜在状態への分節化が明らかとなった。 本稿では、まず、RNNがHMMエミッション統計を再現し、次にトレーニングされたネットワークをリバースエンジニアリングして、実装するメカニズムを明らかにすることを示す。 入力がないと、訓練されたRNNの活動は1つの固定点に向かって崩壊する。 確率的な入力によって駆動されると、軌道は閉じた軌道に沿ってノイズに持続するダイナミクスを示す。 これらの軌道に沿った回転は放出確率を変調し、高速で決定論的遷移によって接続される遅いノイズ駆動力学の領域間の遷移によって制御される。 訓練されたRNNは、これらの領域間の遷移を開始する小さな「キックニューロン」セットで、高度に構造化された接続を発達させる。 このメカニズムは、ネットワークが確率共鳴状態に移行するにつれて訓練中に現れ、確率的計算を実行することができる。 複数のHMMアーキテクチャ(完全連結、巡回、線形鎖)の解析により、この解が同じ動的モチーフのモジュラー再利用を通じて一般化されることが明らかとなり、RNNが複雑な離散潜在力学をエミュレートできる構成原理が示唆される。

関連論文リスト

• Neuronal Group Communication for Efficient Neural representation [85.36421257648294]
  本稿では, 効率的な, モジュラー, 解釈可能な表現を学習する, 大規模ニューラルシステムの構築方法に関する問題に対処する。 本稿では、ニューラルネットワークを相互作用する神経群の動的システムとして再認識する理論駆動型フレームワークである神経グループ通信(NGC)を提案する。 NGCは、重みを埋め込みのようなニューロン状態間の過渡的な相互作用として扱い、神経計算はニューロン群間の反復的なコミュニケーションを通じて展開する。
  論文  参考訳（メタデータ） (2025-10-19T14:23:35Z)
• Langevin Flows for Modeling Neural Latent Dynamics [81.81271685018284]
  逐次変分自動エンコーダであるLangevinFlowを導入し、潜伏変数の時間的進化をアンダーダム化したLangevin方程式で制御する。 われわれのアプローチは、慣性、減衰、学習されたポテンシャル関数、力などの物理的事前を組み込んで、ニューラルネットワークにおける自律的および非自律的プロセスの両方を表現する。 本手法は,ロレンツ誘引器によって生成される合成神経集団に対する最先端のベースラインより優れる。
  論文  参考訳（メタデータ） (2025-07-15T17:57:48Z)
• Generative System Dynamics in Recurrent Neural Networks [56.958984970518564]
  リカレントニューラルネットワーク(RNN)の連続時間ダイナミクスについて検討する。 線形および非線形構成の両方において安定な極限サイクルを実現するためには,スキュー対称性の重み行列が基本であることを示す。 数値シミュレーションは、非線形活性化関数が極限周期を維持するだけでなく、システム統合プロセスの数値安定性を高めることを示す。
  論文  参考訳（メタデータ） (2025-04-16T10:39:43Z)
• Inferring stochastic low-rank recurrent neural networks from neural data [5.179844449042386]
  計算神経科学における中心的な目的は、大きなニューロンの活動と基礎となる力学系を関連付けることである。 低ランクリカレントニューラルネットワーク(RNN)は、トラクタブルダイナミクスを持つことによって、そのような解釈可能性を示す。 そこで本研究では,低ランクRNNをモンテカルロ変分法に適合させる手法を提案する。
  論文  参考訳（メタデータ） (2024-06-24T15:57:49Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Theory of gating in recurrent neural networks [5.672132510411465]
  リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、機械学習(ML)や神経科学で広く使われている強力な動的モデルである。 ここでは、ゲーティングが集合力学の2つの健全な特徴を柔軟に制御できることを示す。 ゲート制御の時間スケールは、ネットワークがフレキシブルインテグレータとして機能する、新しい、極端に安定な状態につながる。
  論文  参考訳（メタデータ） (2020-07-29T13:20:58Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data [77.92736596690297]
  本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。 提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。 注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
  論文  参考訳（メタデータ） (2020-05-05T14:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。