論文の概要: Beyond Geometry: Comparing the Temporal Structure of Computation in Neural Circuits with Dynamical Similarity Analysis

• arxiv url: http://arxiv.org/abs/2306.10168v3
• Date: Sun, 29 Oct 2023 18:13:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 21:13:29.166367
• Title: Beyond Geometry: Comparing the Temporal Structure of Computation in Neural Circuits with Dynamical Similarity Analysis
• Title（参考訳）: beyond geometry: 神経回路における計算の時間構造と動的類似性解析の比較
• Authors: Mitchell Ostrow, Adam Eisen, Leo Kozachkov, Ila Fiete
• Abstract要約: 本稿では、2つの系を力学のレベルで比較する新しい類似度指標を提案する。 本手法は,ニューラルネットワークにおける計算の本質的時間構造を比較検討するための扉を開く。
• 参考スコア（独自算出の注目度）: 7.660368798066376
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: How can we tell whether two neural networks utilize the same internal processes for a particular computation? This question is pertinent for multiple subfields of neuroscience and machine learning, including neuroAI, mechanistic interpretability, and brain-machine interfaces. Standard approaches for comparing neural networks focus on the spatial geometry of latent states. Yet in recurrent networks, computations are implemented at the level of dynamics, and two networks performing the same computation with equivalent dynamics need not exhibit the same geometry. To bridge this gap, we introduce a novel similarity metric that compares two systems at the level of their dynamics, called Dynamical Similarity Analysis (DSA). Our method incorporates two components: Using recent advances in data-driven dynamical systems theory, we learn a high-dimensional linear system that accurately captures core features of the original nonlinear dynamics. Next, we compare different systems passed through this embedding using a novel extension of Procrustes Analysis that accounts for how vector fields change under orthogonal transformation. In four case studies, we demonstrate that our method disentangles conjugate and non-conjugate recurrent neural networks (RNNs), while geometric methods fall short. We additionally show that our method can distinguish learning rules in an unsupervised manner. Our method opens the door to comparative analyses of the essential temporal structure of computation in neural circuits.
• Abstract（参考訳）: 2つのニューラルネットワークが、特定の計算に同じ内部プロセスを使用するかどうかをどうやって判断できるのか? この問題は、ニューロAI、機械的解釈可能性、脳と機械のインターフェイスを含む、神経科学と機械学習の複数のサブフィールドに関係している。 ニューラルネットワークの比較のための標準的アプローチは、潜在状態の空間幾何学に焦点を当てている。 しかし、リカレントネットワークでは、計算はダイナミクスのレベルで実装され、同じダイナミクスで同じ計算を行う2つのネットワークは、同じ幾何学を示す必要はない。 このギャップを埋めるために,動的類似度解析(dynamical similarity analysis, dsa)と呼ばれる2つのシステムを比較する新しい類似度指標を導入する。 データ駆動力学系理論の最近の進歩を利用して、元の非線形力学の中核的特徴を正確に捉える高次元線形系を学習する。 次に, 直交変換下でベクトル場がどう変化するかを説明するprocrustes解析の新たな拡張を用いて, この埋め込みを通した異なるシステムを比較する。 4つのケーススタディにおいて、我々の手法は共役および非共役リカレントニューラルネットワーク(RNN)を解き、幾何学的手法は短くなることを示した。 また,本手法では教師なしの学習ルールを識別できることを示した。 本手法は,神経回路における計算の本質的時間構造を比較検討するための扉を開く。

関連論文リスト

• Dynamic neurons: A statistical physics approach for analyzing deep neural networks [1.9662978733004601]
  我々は、ニューロンを相互作用の自由度として扱い、ディープニューラルネットワークの構造を単純化する。 翻訳対称性と再正規化群変換を利用することで、臨界現象を解析できる。 このアプローチは、統計物理学を用いてディープニューラルネットワークを研究するための新しい道を開くかもしれない。
  論文  参考訳（メタデータ） (2024-10-01T04:39:04Z)
• Modeling Latent Neural Dynamics with Gaussian Process Switching Linear Dynamical Systems [2.170477444239546]
  ガウス過程スイッチング線形力学系(gpSLDS)の2つの目的をバランスさせるアプローチを開発する。 我々の手法は、非線形力学をガウス過程(GP-SDE)で記述した微分方程式による潜在状態の進化をモデル化した以前の研究に基づいている。 本手法は, 離散状態境界近傍の力学における人工振動など, rSLDS の重要な限界を解消するとともに, 力学の後方不確かさを推定する。
  論文  参考訳（メタデータ） (2024-07-19T15:32:15Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• A Recursively Recurrent Neural Network (R2N2) Architecture for Learning Iterative Algorithms [64.3064050603721]
  本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。 本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
  論文  参考訳（メタデータ） (2022-11-22T16:30:33Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Connecting Weighted Automata, Tensor Networks and Recurrent Neural Networks through Spectral Learning [58.14930566993063]
  我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。 本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-19T15:28:00Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Equivalence in Deep Neural Networks via Conjugate Matrix Ensembles [0.0]
  ディープラーニングアーキテクチャの等価性を検出するための数値解析手法を開発した。 経験的証拠は、ニューラルアーキテクチャのスペクトル密度とそれに対応する共役円形アンサンブルの差が消えているという現象を裏付けている。
  論文  参考訳（メタデータ） (2020-06-14T12:34:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。