論文の概要: Predictive coding in balanced neural networks with noise, chaos and delays

• arxiv url: http://arxiv.org/abs/2006.14178v1
• Date: Thu, 25 Jun 2020 05:03:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 04:34:15.532004
• Title: Predictive coding in balanced neural networks with noise, chaos and delays
• Title（参考訳）: 雑音・カオス・遅延を考慮したニューラルネットワークの予測符号化
• Authors: Jonathan Kadmon, Jonathan Timcheck, and Surya Ganguli
• Abstract要約: 本稿では,バランスの度合いと重み障害の度合いを関連付けることができるバランス予測符号化モデルを提案する。 我々の研究は、神経ノイズ、シナプス障害、カオス、シナプス遅延、予測ニューラルコードの忠実さとのバランスを識別するための一般的な理論的枠組みを提供し、解決する。
• 参考スコア（独自算出の注目度）: 24.76770648963407
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Biological neural networks face a formidable task: performing reliable computations in the face of intrinsic stochasticity in individual neurons, imprecisely specified synaptic connectivity, and nonnegligible delays in synaptic transmission. A common approach to combatting such biological heterogeneity involves averaging over large redundant networks of $N$ neurons resulting in coding errors that decrease classically as $1/\sqrt{N}$. Recent work demonstrated a novel mechanism whereby recurrent spiking networks could efficiently encode dynamic stimuli, achieving a superclassical scaling in which coding errors decrease as $1/N$. This specific mechanism involved two key ideas: predictive coding, and a tight balance, or cancellation between strong feedforward inputs and strong recurrent feedback. However, the theoretical principles governing the efficacy of balanced predictive coding and its robustness to noise, synaptic weight heterogeneity and communication delays remain poorly understood. To discover such principles, we introduce an analytically tractable model of balanced predictive coding, in which the degree of balance and the degree of weight disorder can be dissociated unlike in previous balanced network models, and we develop a mean field theory of coding accuracy. Overall, our work provides and solves a general theoretical framework for dissecting the differential contributions neural noise, synaptic disorder, chaos, synaptic delays, and balance to the fidelity of predictive neural codes, reveals the fundamental role that balance plays in achieving superclassical scaling, and unifies previously disparate models in theoretical neuroscience.
• Abstract（参考訳）: 生物学的ニューラルネットワークは、個々のニューロンに固有の確率性に直面して信頼できる計算を実行すること、不正確に指定されたシナプス接続、シナプス伝達における無視できない遅延である。 このような生物学的異質性に対処する一般的なアプローチは、n$ニューロンの大きな冗長ネットワーク上で平均化することで、従来の1/\sqrt{n}$というコードエラーが発生する。 最近の研究は、繰り返しスパイキングネットワークが動的刺激を効率的にエンコードし、コーディングエラーを1/N$で減少させる超古典的スケーリングを実現するメカニズムを実証している。 この特定のメカニズムには、予測コーディングとタイトなバランス、強いフィードフォワード入力と強いリカレントフィードバックの間のキャンセルという2つの重要なアイデアが含まれていた。 しかし、バランスの取れた予測符号化の有効性とノイズ、シナプス重みの不均一性、通信遅延に対する頑健さを規定する理論的原理はいまだに理解されていない。 このような原理を明らかにするために、従来のバランス付きネットワークモデルと異なり、バランスの度合いと重み付け障害の度合いを分離できるバランス付き予測符号化モデルを導入し、符号化精度の平均場理論を構築した。 全体として、我々の研究は、神経ノイズ、シナプス障害、カオス、シナプス遅延、予測的ニューラルコードの忠実性へのバランスを識別するための一般的な理論的枠組みを提供し、解決し、超古典的なスケーリングを達成する上でバランスが果たす基本的な役割を明らかにし、理論的ニューロサイエンスにおいてこれまで異なるモデルを統一する。

関連論文リスト

• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  しきい値単位の動的代替として人工内蔵ニューロン(AKOrN)を導入する。 このアイデアは、幅広いタスクにまたがってパフォーマンス改善をもたらすことを示しています。 これらの経験的結果は、神経表現の最も基本的なレベルにおいて、私たちの仮定の重要性を示していると信じている。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Feedback Favors the Generalization of Neural ODEs [24.342023073252395]
  本稿では、フィードバックループがニューラル常微分方程式(ニューラルODE)の学習潜時ダイナミクスを柔軟に補正可能であることを示す。 フィードバックニューラルネットワークは、新しい2自由度ニューラルネットワークであり、前のタスクで精度が失われることなく、目に見えないシナリオで堅牢なパフォーマンスを持つ。
  論文  参考訳（メタデータ） (2024-10-14T08:09:45Z)
• Spiking Neural Networks with Consistent Mapping Relations Allow High-Accuracy Inference [9.667807887916132]
  スパイクベースのニューロモルフィックハードウェアは、低エネルギー消費と効率的な推論において大きな可能性を証明している。 ディープスパイクニューラルネットワークの直接トレーニングは困難であり、変換ベースの手法では未解決の変換エラーのため、かなりの遅延が必要になる。
  論文  参考訳（メタデータ） (2024-06-08T06:40:00Z)
• Contribute to balance, wire in accordance: Emergence of backpropagation from a simple, bio-plausible neuroplasticity rule [0.0]
  我々は,脳にBPを実装するための潜在的なメカニズムを提供する新しい神経可塑性規則を導入する。 我々は,我々の学習規則が階層型ニューラルネットワークのBPを近似なしで正確に再現できることを数学的に証明した。
  論文  参考訳（メタデータ） (2024-05-23T03:28:52Z)
• NeuralFastLAS: Fast Logic-Based Learning from Raw Data [54.938128496934695]
  シンボリック・ルール学習者は解釈可能な解を生成するが、入力を記号的に符号化する必要がある。 ニューロシンボリックアプローチは、ニューラルネットワークを使用して生データを潜在シンボリック概念にマッピングすることで、この問題を克服する。 我々は,ニューラルネットワークを記号学習者と共同でトレーニングする,スケーラブルで高速なエンドツーエンドアプローチであるNeuralFastLASを紹介する。
  論文  参考訳（メタデータ） (2023-10-08T12:33:42Z)
• Correlative Information Maximization: A Biologically Plausible Approach to Supervised Deep Neural Networks without Weight Symmetry [43.584567991256925]
  本稿では,生体神経ネットワークにおける信号伝達を前方方向と後方方向の両方で記述するための新しい規範的アプローチを提案する。 このフレームワークは、従来のニューラルネットワークとバックプロパゲーションアルゴリズムの生物学的評価可能性に関する多くの懸念に対処する。 提案手法は,前方信号伝搬路と後方信号伝搬路の重み対称性問題に対する自然な解法を提供する。
  論文  参考訳（メタデータ） (2023-06-07T22:14:33Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Formalizing Generalization and Robustness of Neural Networks to Weight Perturbations [58.731070632586594]
  非負のモノトーンアクティベーション機能を備えたフィードフォワードニューラルネットワークの重量変動に対する最初の形式解析を提供します。 また,重みの摂動に対して一般化し頑健なニューラルネットワークを訓練するための新しい理論駆動損失関数を設計した。
  論文  参考訳（メタデータ） (2021-03-03T06:17:03Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
  予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。 アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。 本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-02T15:21:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。