論文の概要: Adaptive whitening in neural populations with gain-modulating interneurons

• arxiv url: http://arxiv.org/abs/2301.11955v2
• Date: Sat, 3 Jun 2023 07:51:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 03:15:58.023717
• Title: Adaptive whitening in neural populations with gain-modulating interneurons
• Title（参考訳）: 利得変調ニューロンを有する神経集団における適応的白化
• Authors: Lyndon R. Duong, David Lipshutz, David J. Heeger, Dmitri B. Chklovskii, Eero P. Simoncelli
• Abstract要約: 本稿では,個々のニューロンの利得を調節して応答を適応的に緩和するオンラインアルゴリズムを提案する。 アルゴリズムを、固定されたシナプス重みとゲイン変調インターニューロロンを持つリカレントニューラルネットワークにマッピングする。 我々は、利得の符号制約が、不条件入力に対するネットワークの堅牢性を改善することを数値的に示す。
• 参考スコア（独自算出の注目度）: 11.059590443280726
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Statistical whitening transformations play a fundamental role in many computational systems, and may also play an important role in biological sensory systems. Existing neural circuit models of adaptive whitening operate by modifying synaptic interactions; however, such modifications would seem both too slow and insufficiently reversible. Motivated by the extensive neuroscience literature on gain modulation, we propose an alternative model that adaptively whitens its responses by modulating the gains of individual neurons. Starting from a novel whitening objective, we derive an online algorithm that whitens its outputs by adjusting the marginal variances of an overcomplete set of projections. We map the algorithm onto a recurrent neural network with fixed synaptic weights and gain-modulating interneurons. We demonstrate numerically that sign-constraining the gains improves robustness of the network to ill-conditioned inputs, and a generalization of the circuit achieves a form of local whitening in convolutional populations, such as those found throughout the visual or auditory systems.
• Abstract（参考訳）: 統計的な白化変換は多くの計算システムにおいて基本的な役割を担い、生物学的感覚システムにおいても重要な役割を果たす。 既存のアダプティブ・ホワイトニングのニューラル回路モデルはシナプス相互作用を変更することで機能するが、そのような修正は遅すぎて可逆的ではないように思える。 ゲイン変調に関する広範な神経科学文献に動機づけられ,個々のニューロンのゲインを調節することによってその応答を適応的に白化させる代替モデルを提案する。 新たなホワイトニングの目的から、過剰なプロジェクションセットの限界分散を調整することで、出力をホワイト化するオンラインアルゴリズムを導出する。 アルゴリズムを、固定されたシナプス重みと利得調節型インターニューラルンのリカレントニューラルネットワークにマッピングする。 我々は、利得の抑制により、不条件入力に対するネットワークの堅牢性が向上し、回路の一般化により、視覚系や聴覚系で見られるような畳み込み集団における局所的な白化が達成されることを示す。

関連論文リスト

• Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
  本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。 本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。 本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
  論文  参考訳（メタデータ） (2024-04-22T09:40:07Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Astrocytes as a mechanism for meta-plasticity and contextually-guided network function [2.66269503676104]
  アストロサイトは、ユビキタスでエニグマティックな非神経細胞である。 アストロサイトは脳機能や神経計算においてより直接的で活発な役割を果たす。
  論文  参考訳（メタデータ） (2023-11-06T20:31:01Z)
• Adaptive whitening with fast gain modulation and slow synaptic plasticity [18.750054720400815]
  ニューロンは、個々の応答のばらつきを正規化し、反応間の相関を小さくすることで、感覚統計の変化に迅速に適応する。 適応的白化の既存の力学モデルは、適応のための生物学的基質としてシナプス的可塑性またはゲイン変調を排他的に用いている。 本研究では,これらのアプローチを,シナプス可塑性と変調の相補的な計算的役割で適応的に応答を白くする,規範的マルチタイム・メカニスティック・モデルで統一する。
  論文  参考訳（メタデータ） (2023-08-25T18:58:53Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Learning in Deep Neural Networks Using a Biologically Inspired Optimizer [5.144809478361604]
  人工神経(ANN)とスパイクニューラルネット(SNN)にインスパイアされた新しい生物モデルを提案する。 GRAPESは、ニューラルネットワークの各ノードにおけるエラー信号の重量分布依存変調を実装している。 生物学的にインスパイアされたこのメカニズムは,ネットワークの収束率を体系的に改善し,ANNやSNNの分類精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2021-04-23T13:50:30Z)
• Constrained plasticity reserve as a natural way to control frequency and weights in spiking neural networks [0.0]
  細胞動力学は神経細胞が激しいシグナルをフィルターして、ニューロンの発火速度を安定させるのにどのように役立つかを示す。 このようなアプローチは、AIシステムの堅牢性を改善するために、機械学習領域で使用される可能性がある。
  論文  参考訳（メタデータ） (2021-03-15T05:22:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。