論文の概要: Interneurons accelerate learning dynamics in recurrent neural networks for statistical adaptation

• arxiv url: http://arxiv.org/abs/2209.10634v1
• Date: Wed, 21 Sep 2022 20:03:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 12:33:28.984107
• Title: Interneurons accelerate learning dynamics in recurrent neural networks for statistical adaptation
• Title（参考訳）: 統計的適応のための繰り返しニューラルネットワークの学習ダイナミクスを加速するインターニューロロン
• Authors: David Lipshutz, Cengiz Pehlevan, Dmitri B. Chklovskii
• Abstract要約: 本研究は, 直接的リカレント接続と比較して, ニューロンを介した再カレント通信を媒介する利点について検討する。 この結果から,入力統計の変化に迅速に適応する上で,介在ニューロンが有用であることが示唆された。
• 参考スコア（独自算出の注目度）: 21.646490546361935
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Early sensory systems in the brain rapidly adapt to fluctuating input statistics, which requires recurrent communication between neurons. Mechanistically, such recurrent communication is often indirect and mediated by local interneurons. In this work, we explore the computational benefits of mediating recurrent communication via interneurons compared with direct recurrent connections. To this end, we consider two mathematically tractable recurrent neural networks that statistically whiten their inputs -- one with direct recurrent connections and the other with interneurons that mediate recurrent communication. By analyzing the corresponding continuous synaptic dynamics and numerically simulating the networks, we show that the network with interneurons is more robust to initialization than the network with direct recurrent connections in the sense that the convergence time for the synaptic dynamics in the network with interneurons (resp. direct recurrent connections) scales logarithmically (resp. linearly) with the spectrum of their initialization. Our results suggest that interneurons are computationally useful for rapid adaptation to changing input statistics. Interestingly, the network with interneurons is an overparameterized solution of the whitening objective for the network with direct recurrent connections, so our results can be viewed as a recurrent neural network analogue of the implicit acceleration phenomenon observed in overparameterized feedforward linear networks.
• Abstract（参考訳）: 脳の初期の感覚システムは、ニューロン間の繰り返し通信を必要とする入力統計に急速に適応する。 機械的には、そのような繰り返し通信はしばしば間接的であり、局所的な介在物によって媒介される。 本研究では,リカレント通信と直接リカレント接続を比較することで,リカレント通信を仲介する計算上の利点について検討する。 この目的のために、数学的に抽出可能な2つのリカレントニューラルネットワークについて検討する。1つは直接リカレント接続を持ち、もう1つは再カレント通信を仲介するインターニューロンを持つ。 対応する連続的なシナプス力学を解析し、ネットワークを数値的にシミュレーションすることにより、相互ニューロンを持つネットワークは、その初期化のスペクトルに対数的に(線形に)スケールするネットワークにおけるシナプス力学の収束時間という観点から、直接再帰接続を持つネットワークよりも初期化に頑健であることを示す。 以上の結果から,インターニューロンは入力統計の変化に迅速に適応するために計算上有用であることが示唆された。 興味深いことに、インターニューロンのネットワークは、直接リカレント接続を持つネットワークのホワイト化目的のオーバーパラメトリズド解であり、この結果は、オーバーパラメタ化されたフィードフォワード線形ネットワークで観測される暗黙的加速度現象のリカレントニューラルネットワーク類似物と見なすことができる。

関連論文リスト

• Prospective Messaging: Learning in Networks with Communication Delays [12.63723517446906]
  物理的に実現されたニューラルネットワークでは、ニューロン間通信遅延がユビキタスである。 遅延は、最先端の継続的ニューラルネットワークが単純なタスクを学習するのを妨げていることを示す。 そこで我々は,現在利用可能な信号に基づいて通信遅延を予測し,通信遅延を補償することを提案する。
  論文  参考訳（メタデータ） (2024-07-07T20:54:14Z)
• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• Neural Operator Learning for Long-Time Integration in Dynamical Systems with Recurrent Neural Networks [1.6874375111244329]
  深層ニューラルネットワークは、推論中に計算コストを削減し、観測データから直接トレーニングすることができる。 しかし、既存の手法は正確には外挿できないため、長時間の統合ではエラーの蓄積が困難である。 ニューラル演算子とリカレントニューラルネットワークを組み合わせることでこの問題に対処し、オペレータマッピングを学習し、時間的依存関係をキャプチャするリカレント構造を提供する。
  論文  参考訳（メタデータ） (2023-03-03T22:19:23Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Cross-Frequency Coupling Increases Memory Capacity in Oscillatory Neural Networks [69.42260428921436]
  クロス周波数カップリング(CFC)は、ニューロンの集団間での情報統合と関連している。 我々は,海馬および大脳皮質における観測された$theta - gamma$振動回路の計算的役割を予測するCFCのモデルを構築した。 CFCの存在は, 可塑性シナプスによって結合された神経細胞のメモリ容量を増加させることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:13:36Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Learning in Feedforward Neural Networks Accelerated by Transfer Entropy [0.0]
  転送エントロピー(te)は当初、事象(時系列)間の統計的コヒーレンスを定量化する情報伝達尺度として導入された。 提案手法は,フィードフォワードニューラルネットワークのノード間の情報伝達を解析するための情報理論的手法である。 本稿では,TEフィードバック接続を用いたバックプロパゲーション型トレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-29T19:07:07Z)
• Implicit recurrent networks: A novel approach to stationary input processing with recurrent neural networks in deep learning [0.0]
  本研究では,ニューラルネットの新たな実装を深層学習に導入し,検証する。 繰り返しネットワークの暗黙的な実装にバックプロパゲーションアルゴリズムを実装するアルゴリズムを提案する。 シングルレイヤの暗黙的リカレントネットワークはXOR問題を解くことができ、一方、単調に活性化関数が増加するフィードフォワードネットワークは、このタスクで失敗する。
  論文  参考訳（メタデータ） (2020-10-20T18:55:32Z)
• Online neural connectivity estimation with ensemble stimulation [5.156484100374058]
  スパースネットワークにおけるこのプロセスの効率を大幅に向上させる,ノイズの多いグループテストに基づく手法を提案する。 人口規模に比例して対数的にしか成長しない多数のテストにより、二項化ネットワーク接続を回復可能であることを示す。 また、ネット上の数万のニューロンのネットワークに対して、接続性を推測する可能性も示しています。
  論文  参考訳（メタデータ） (2020-07-27T23:47:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。