論文の概要: Relaxing the Constraints on Predictive Coding Models

• arxiv url: http://arxiv.org/abs/2010.01047v2
• Date: Sat, 10 Oct 2020 14:09:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 00:57:24.771809
• Title: Relaxing the Constraints on Predictive Coding Models
• Title（参考訳）: 予測符号化モデルの制約を緩和する
• Authors: Beren Millidge, Alexander Tschantz, Anil Seth, Christopher L Buckley
• Abstract要約: 予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。 アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。 本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
• 参考スコア（独自算出の注目度）: 62.997667081978825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Predictive coding is an influential theory of cortical function which posits that the principal computation the brain performs, which underlies both perception and learning, is the minimization of prediction errors. While motivated by high-level notions of variational inference, detailed neurophysiological models of cortical microcircuits which can implements its computations have been developed. Moreover, under certain conditions, predictive coding has been shown to approximate the backpropagation of error algorithm, and thus provides a relatively biologically plausible credit-assignment mechanism for training deep networks. However, standard implementations of the algorithm still involve potentially neurally implausible features such as identical forward and backward weights, backward nonlinear derivatives, and 1-1 error unit connectivity. In this paper, we show that these features are not integral to the algorithm and can be removed either directly or through learning additional sets of parameters with Hebbian update rules without noticeable harm to learning performance. Our work thus relaxes current constraints on potential microcircuit designs and hopefully opens up new regions of the design-space for neuromorphic implementations of predictive coding.
• Abstract（参考訳）: 予測符号化は、脳が行う主計算(知覚と学習の両方の基礎となる)が予測誤差の最小化であると仮定する、皮質機能の影響力のある理論である。 高レベルの変分推論の概念に動機付けられながら、その計算を実装可能な皮質微小循環の詳細な神経生理学的モデルが開発されている。 さらに、特定の条件下では、予測符号はエラーアルゴリズムのバックプロパゲーションを近似することが示されており、ディープネットワークを訓練するための比較的生物学的に妥当な信用割り当てメカニズムを提供する。 しかし、このアルゴリズムの標準的な実装には、同一の前方および後方の重み、後方の非線形微分、および1-1の誤差単位の接続など、潜在的に有望な特徴がある。 本稿では,これらの機能はアルゴリズムに不可欠なものではなく,直接的あるいは追加のパラメータセットをヒュービアン・アップデート・ルールで学習することで,学習性能を損なうことなく削除できることを示す。 これにより、マイクロ回路設計の現在の制約を緩和し、予測符号化のニューロモルフィック実装のためのデザイン空間の新たな領域を開拓することが望まれる。

関連論文リスト

• Confidence and second-order errors in cortical circuits [1.2492669241902092]
  大脳皮質予測誤差の最小化は大脳皮質の重要な計算目標と考えられている。 我々は、皮質領域が他の領域での活動を予測するだけでなく、その信頼性を共同で投影しなければならないという仮定の下で予測誤差を最小限に抑える神経力学を導出する。
  論文  参考訳（メタデータ） (2023-09-27T21:58:18Z)
• Uncovering mesa-optimization algorithms in Transformers [61.06055590704677]
  いくつかの自己回帰モデルは、入力シーケンスが処理されたときに学習でき、パラメータの変更を受けずに、それを行うように明示的に訓練されていない。 我々は,新しい入力が明らかになったときにモデルを調整するための補助学習アルゴリズムが,標準の次トーケン予測誤差最小化によって生まれることを示す。 本研究は、自己回帰損失最小化の産物としてコンテキスト内学習を説明し、新しい最適化ベースのトランスフォーマー層の設計を通知する。
  論文  参考訳（メタデータ） (2023-09-11T22:42:50Z)
• Neuro-symbolic model for cantilever beams damage detection [0.0]
  本稿では,新しい認知アーキテクチャに基づくカンチレバービームの損傷検出のためのニューロシンボリックモデルを提案する。 ハイブリッド識別モデルはLogic Convolutional Neural Regressorという名称で導入されている。
  論文  参考訳（メタデータ） (2023-05-04T13:12:39Z)
• Scalable computation of prediction intervals for neural networks via matrix sketching [79.44177623781043]
  既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。 本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-06T13:18:31Z)
• Hybrid Predictive Coding: Inferring, Fast and Slow [62.997667081978825]
  本稿では,反復型と償却型の両方を原則的に組み合わせたハイブリッド予測符号化ネットワークを提案する。 我々は,本モデルが本質的に不確実性に敏感であり,最小計算費用を用いて正確な信念を得るためにバランスを適応的にバランスさせることを実証した。
  論文  参考訳（メタデータ） (2022-04-05T12:52:45Z)
• Predictive Coding: Towards a Future of Deep Learning beyond Backpropagation? [41.58529335439799]
  ディープニューラルネットワークのトレーニングに使用されるエラーアルゴリズムのバックプロパゲーションは、ディープラーニングの成功に不可欠である。 最近の研究は、このアイデアを、局所的な計算だけでニューラルネットワークを訓練できる汎用アルゴリズムへと発展させた。 等価ディープニューラルネットワークに対する予測符号化ネットワークの柔軟性が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-02-18T22:57:03Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• A simple normative network approximates local non-Hebbian learning in the cortex [12.940770779756482]
  神経科学実験は、皮質ニューロンによる感覚入力の処理は、指示信号によって変調されることを示した。 ここでは、規範的なアプローチを採用し、フィードフォワードデータの投影を導く監督的な入力として、これらの命令信号をモデル化する。 オンラインアルゴリズムは、シナプス学習規則が大脳皮質で観察されるカルシウムプラトー電位依存的な可塑性に類似しているニューラルネットワークによって実装することができる。
  論文  参考訳（メタデータ） (2020-10-23T20:49:44Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。