論文の概要: Reverse engineering recurrent neural networks with Jacobian switching linear dynamical systems

• arxiv url: http://arxiv.org/abs/2111.01256v1
• Date: Mon, 1 Nov 2021 20:49:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-03 23:14:49.883503
• Title: Reverse engineering recurrent neural networks with Jacobian switching linear dynamical systems
• Title（参考訳）: ヤコビアンスイッチング線形力学系を用いたリバースエンジニアリングリカレントニューラルネットワーク
• Authors: Jimmy T.H. Smith, Scott W. Linderman, David Sussillo
• Abstract要約: リカレントニューラルネットワーク(RNN)は時系列データを処理する強力なモデルである。 トレーニングされたRNNをその固定点を中心に線形化することでリバースエンジニアリングするフレームワークは洞察を与えてきたが、アプローチには大きな課題がある。 本稿では,新しい線形力学系 (SLDS) の定式化によるRNNの協調学習により,これらの制約を克服する新しいモデルを提案する。
• 参考スコア（独自算出の注目度）: 24.0378100479104
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recurrent neural networks (RNNs) are powerful models for processing time-series data, but it remains challenging to understand how they function. Improving this understanding is of substantial interest to both the machine learning and neuroscience communities. The framework of reverse engineering a trained RNN by linearizing around its fixed points has provided insight, but the approach has significant challenges. These include difficulty choosing which fixed point to expand around when studying RNN dynamics and error accumulation when reconstructing the nonlinear dynamics with the linearized dynamics. We present a new model that overcomes these limitations by co-training an RNN with a novel switching linear dynamical system (SLDS) formulation. A first-order Taylor series expansion of the co-trained RNN and an auxiliary function trained to pick out the RNN's fixed points govern the SLDS dynamics. The results are a trained SLDS variant that closely approximates the RNN, an auxiliary function that can produce a fixed point for each point in state-space, and a trained nonlinear RNN whose dynamics have been regularized such that its first-order terms perform the computation, if possible. This model removes the post-training fixed point optimization and allows us to unambiguously study the learned dynamics of the SLDS at any point in state-space. It also generalizes SLDS models to continuous manifolds of switching points while sharing parameters across switches. We validate the utility of the model on two synthetic tasks relevant to previous work reverse engineering RNNs. We then show that our model can be used as a drop-in in more complex architectures, such as LFADS, and apply this LFADS hybrid to analyze single-trial spiking activity from the motor system of a non-human primate.
• Abstract（参考訳）: リカレントニューラルネットワーク(RNN)は時系列データを処理するための強力なモデルであるが、どのように機能するかを理解するのは難しい。 この理解を改善することは、機械学習と神経科学の両方のコミュニティにとって大きな関心事である。 トレーニングされたRNNをその固定点を中心に線形化することでリバースエンジニアリングするフレームワークは洞察を与えてきたが、アプローチには大きな課題がある。 これには、線形動力学で非線形力学を再構成する際に、rnnダイナミクスとエラー蓄積を研究する際に展開する不動点を選択することの難しさが含まれる。 本稿では,新しい線形力学系(SLDS)の定式化により,これらの制約を克服する新しいモデルを提案する。 共同訓練されたRNNのテイラー級数展開と、RNNの固定点を選ぶために訓練された補助関数がSLDSダイナミクスを制御している。 結果は、RNNを近似した訓練されたSLDS変種であり、状態空間の各点に対する固定点を生成できる補助関数であり、可能であればその1次項が計算を行うように正規化された訓練された非線形RNNである。 このモデルはトレーニング後の不動点最適化を取り除き、状態空間の任意の点におけるsldの学習されたダイナミクスを曖昧に研究できる。 また、SLDSモデルをスイッチ間のパラメータを共有しながら、スイッチポイントの連続多様体に一般化する。 従来のリバースエンジニアリングRNNに関連する2つの合成タスクにおいて,モデルの有効性を検証する。 LFADSのような複雑なアーキテクチャでは,我々のモデルがドロップインとして利用でき,このLFADSハイブリッドを用いて,非ヒト霊長類の運動系からの単一心房刺激活性を解析することができる。

関連論文リスト

• Bifurcations and loss jumps in RNN training [7.937801286897863]
  本稿では,ReLUベースのRNNにおけるすべての固定点とkサイクルとその存在と安定性領域を検出するアルゴリズムを提案する。 我々のアルゴリズムは正確な結果を提供し、驚くほど優れたスケーリング動作で固定点とサイクルを高次に返却する。
  論文  参考訳（メタデータ） (2023-10-26T16:49:44Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Regularized Sequential Latent Variable Models with Adversarial Neural Networks [33.74611654607262]
  逐次データの変動をモデル化するために,RNN で高レベル潜時確率変数を使用する方法を提案する。 変動RNNモデルの学習に逆法を用いる可能性を探る。
  論文  参考訳（メタデータ） (2021-08-10T08:05:14Z)
• Skip-Connected Self-Recurrent Spiking Neural Networks with Joint Intrinsic Parameter and Synaptic Weight Training [14.992756670960008]
  我々はSkip-Connected Self-Recurrent SNNs (ScSr-SNNs) と呼ばれる新しいタイプのRSNNを提案する。 ScSr-SNNは、最先端BP法で訓練された他のタイプのRSNNと比較して、パフォーマンスを最大2.55%向上させることができる。
  論文  参考訳（メタデータ） (2020-10-23T22:27:13Z)
• A Fully Tensorized Recurrent Neural Network [48.50376453324581]
  重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。 このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
  論文  参考訳（メタデータ） (2020-10-08T18:24:12Z)
• Coupled Oscillatory Recurrent Neural Network (coRNN): An accurate and (gradient) stable architecture for learning long time dependencies [15.2292571922932]
  本稿では,リカレントニューラルネットワークのための新しいアーキテクチャを提案する。 提案するRNNは, 2次常微分方程式系の時間分解に基づく。 実験の結果,提案したRNNは,様々なベンチマークによる最先端技術に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2020-10-02T12:35:04Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。