論文の概要: Predictive Coding Approximates Backprop along Arbitrary Computation Graphs

• arxiv url: http://arxiv.org/abs/2006.04182v5
• Date: Mon, 5 Oct 2020 18:11:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 07:21:46.545618
• Title: Predictive Coding Approximates Backprop along Arbitrary Computation Graphs
• Title（参考訳）: 任意計算グラフによる予測符号化近似
• Authors: Beren Millidge, Alexander Tschantz, Christopher L. Buckley
• Abstract要約: 我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
• 参考スコア（独自算出の注目度）: 68.8204255655161
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Backpropagation of error (backprop) is a powerful algorithm for training machine learning architectures through end-to-end differentiation. However, backprop is often criticised for lacking biological plausibility. Recently, it has been shown that backprop in multilayer-perceptrons (MLPs) can be approximated using predictive coding, a biologically-plausible process theory of cortical computation which relies only on local and Hebbian updates. The power of backprop, however, lies not in its instantiation in MLPs, but rather in the concept of automatic differentiation which allows for the optimisation of any differentiable program expressed as a computation graph. Here, we demonstrate that predictive coding converges asymptotically (and in practice rapidly) to exact backprop gradients on arbitrary computation graphs using only local learning rules. We apply this result to develop a straightforward strategy to translate core machine learning architectures into their predictive coding equivalents. We construct predictive coding CNNs, RNNs, and the more complex LSTMs, which include a non-layer-like branching internal graph structure and multiplicative interactions. Our models perform equivalently to backprop on challenging machine learning benchmarks, while utilising only local and (mostly) Hebbian plasticity. Our method raises the potential that standard machine learning algorithms could in principle be directly implemented in neural circuitry, and may also contribute to the development of completely distributed neuromorphic architectures.
• Abstract（参考訳）: backpropagation of error(バックプロップ)は、エンドツーエンドの差別化を通じて機械学習アーキテクチャをトレーニングするための強力なアルゴリズムである。 しかし、バックプロップは生物学的な可能性に欠けるとしてしばしば批判される。 近年,多層パーセプトロン(MLP)のバックプロップは,局所的およびヘビ的更新のみに依存する皮質計算の生物学的に証明可能なプロセス理論である予測符号化を用いて近似できることが示されている。 しかしバックプロップのパワーは、mlpのインスタンス化ではなく、計算グラフとして表現された任意の微分可能プログラムの最適化を可能にする自動微分の概念にある。 ここでは、予測符号化が漸近的に(実際は)局所学習規則のみを用いて任意の計算グラフ上の正確なバックプロップ勾配に収束することを示す。 この結果を用いて、コア機械学習アーキテクチャを予測的符号化等価値に変換するための簡単な戦略を開発する。 我々は,非層状分岐グラフ構造と乗法的相互作用を含む予測符号化CNN,RNN,およびより複雑なLSTMを構築する。 私たちのモデルは、ローカルおよび(主に)ヘビアン可塑性のみを活用しながら、挑戦的な機械学習ベンチマークのバックプロップと同等に動作します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高め,また,完全に分散したニューロモルフィックアーキテクチャの開発にも寄与する可能性がある。

関連論文リスト

• pyhgf: A neural network library for predictive coding [0.2150989251218736]
  texttpyhgfは、予測コーディングのための動的ネットワークの作成、操作、サンプリングのためのPythonパッケージである。 ネットワークコンポーネントを透過的でモジュール的で、拡張可能な変数としてメッセージパッシングステップに囲み込むことで、他のフレームワークよりも改善します。 コア変数の透明性は、自己組織化の原則を活用する推論プロセスにも変換できる。
  論文  参考訳（メタデータ） (2024-10-11T19:21:38Z)
• Predictive Coding beyond Gaussian Distributions [38.51699576854394]
  予測符号化(英: Predictive coding, PC)は、階層型ガウス生成モデルに基づく推論を行う神経科学に着想を得た手法である。 これらの手法は、複雑な層やアクティベーション関数のダイナミクスを複製できないため、現代のニューラルネットワークに従わない。 提案手法は,条件付き言語モデルにおいて,トランスフォーマネットワークをトレーニングし,BPに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2022-11-07T12:02:05Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
  予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。 アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。 本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-02T15:21:37Z)
• Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain [62.997667081978825]
  活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。 我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
  論文  参考訳（メタデータ） (2020-09-11T11:56:34Z)
• Randomized Automatic Differentiation [22.95414996614006]
  我々は、ランダム化自動微分(RAD)のための一般的なフレームワークとアプローチを開発する。 RADは、分散の見返りにメモリを減らし、バイアスのない見積もりを計算できる。 本稿では,フィードフォワードネットワークのバッチサイズを小さくし,繰り返しネットワークの場合と同様の回数でRADが収束することを示す。
  論文  参考訳（メタデータ） (2020-07-20T19:03:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。