論文の概要: Beyond Geometry: Comparing the Temporal Structure of Computation in
Neural Circuits with Dynamical Similarity Analysis
- arxiv url: http://arxiv.org/abs/2306.10168v1
- Date: Fri, 16 Jun 2023 20:11:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-21 23:54:21.029845
- Title: Beyond Geometry: Comparing the Temporal Structure of Computation in
Neural Circuits with Dynamical Similarity Analysis
- Title（参考訳）: beyond geometry: 神経回路における計算の時間構造と動的類似性解析の比較
- Authors: Mitchell Ostrow, Adam Eisen, Leo Kozachkov, Ila Fiete
- Abstract要約: 本稿では、2つの系を力学のレベルで比較する新しい類似度指標を提案する。
我々は,リカレントニューラルネットワーク(RNN)の動的構造を効果的に同定し,識別できることを実証した。
本手法は,ニューラル計算の時間構造に関する新しいデータ駆動解析への扉を開く。
- 参考スコア（独自算出の注目度）: 4.358626952482686
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: How can we tell whether two neural networks are utilizing the same internal
processes for a particular computation? This question is pertinent for multiple
subfields of both neuroscience and machine learning, including neuroAI,
mechanistic interpretability, and brain-machine interfaces. Standard approaches
for comparing neural networks focus on the spatial geometry of latent states.
Yet in recurrent networks, computations are implemented at the level of neural
dynamics, which do not have a simple one-to-one mapping with geometry. To
bridge this gap, we introduce a novel similarity metric that compares two
systems at the level of their dynamics. Our method incorporates two components:
Using recent advances in data-driven dynamical systems theory, we learn a
high-dimensional linear system that accurately captures core features of the
original nonlinear dynamics. Next, we compare these linear approximations via a
novel extension of Procrustes Analysis that accounts for how vector fields
change under orthogonal transformation. Via four case studies, we demonstrate
that our method effectively identifies and distinguishes dynamic structure in
recurrent neural networks (RNNs), whereas geometric methods fall short. We
additionally show that our method can distinguish learning rules in an
unsupervised manner. Our method therefore opens the door to novel data-driven
analyses of the temporal structure of neural computation, and to more rigorous
testing of RNNs as models of the brain.
- Abstract（参考訳）: 2つのニューラルネットワークが、特定の計算に同じ内部プロセスを使用しているかどうかをどうやって判断できるのか?
この問題は、ニューロAI、機械的解釈可能性、脳と機械のインターフェイスを含む、神経科学と機械学習の両方の複数のサブフィールドに関係している。
ニューラルネットワークの比較のための標準的アプローチは、潜在状態の空間幾何学に焦点を当てている。
しかし、リカレントネットワークでは、計算は神経動力学のレベルで実装され、幾何学と単純な1対1のマッピングを持っていない。
このギャップを埋めるために、2つの系をダイナミクスのレベルで比較する新しい類似度メトリックを導入する。
データ駆動力学系理論の最近の進歩を利用して、元の非線形力学の中核的特徴を正確に捉える高次元線形系を学習する。
次に、ベクトル場が直交変換の下でどのように変化するかを考慮した新たなプロクルス解析の拡張を通して、これらの線形近似を比較する。
4つのケーススタディを通じて,本手法はリカレントニューラルネットワーク(rnn)の動的構造を効果的に識別し識別するが,幾何学的手法は不足することを示した。
また,本手法では教師なしの学習ルールを識別できることを示した。
そこで本手法は,ニューラルネットワークの時間構造をデータ駆動で解析し,RNNを脳のモデルとしてより厳密なテストを行うための扉を開く。
関連論文リスト
- Dynamic neurons: A statistical physics approach for analyzing deep neural networks [1.9662978733004601]
我々は、ニューロンを相互作用の自由度として扱い、ディープニューラルネットワークの構造を単純化する。
翻訳対称性と再正規化群変換を利用することで、臨界現象を解析できる。
このアプローチは、統計物理学を用いてディープニューラルネットワークを研究するための新しい道を開くかもしれない。
論文 参考訳（メタデータ） (2024-10-01T04:39:04Z) - Modeling Latent Neural Dynamics with Gaussian Process Switching Linear Dynamical Systems [2.170477444239546]
ガウス過程スイッチング線形力学系(gpSLDS)の2つの目的をバランスさせるアプローチを開発する。
我々の手法は、非線形力学をガウス過程(GP-SDE)で記述した微分方程式による潜在状態の進化をモデル化した以前の研究に基づいている。
本手法は, 離散状態境界近傍の力学における人工振動など, rSLDS の重要な限界を解消するとともに, 力学の後方不確かさを推定する。
論文 参考訳（メタデータ） (2024-07-19T15:32:15Z) - Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。
我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。
本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
論文 参考訳（メタデータ） (2024-05-22T17:23:15Z) - ConCerNet: A Contrastive Learning Based Framework for Automated
Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。
本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2023-02-11T21:07:30Z) - A Recursively Recurrent Neural Network (R2N2) Architecture for Learning
Iterative Algorithms [64.3064050603721]
本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。
本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
論文 参考訳（メタデータ） (2022-11-22T16:30:33Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Connecting Weighted Automata, Tensor Networks and Recurrent Neural
Networks through Spectral Learning [58.14930566993063]
我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。
本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-10-19T15:28:00Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - Equivalence in Deep Neural Networks via Conjugate Matrix Ensembles [0.0]
ディープラーニングアーキテクチャの等価性を検出するための数値解析手法を開発した。
経験的証拠は、ニューラルアーキテクチャのスペクトル密度とそれに対応する共役円形アンサンブルの差が消えているという現象を裏付けている。
論文 参考訳（メタデータ） (2020-06-14T12:34:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。