Fugu-MT 論文翻訳(概要): On the relationship between predictive coding and backpropagation

論文の概要: On the relationship between predictive coding and backpropagation

arxiv url: http://arxiv.org/abs/2106.13082v1
Date: Sun, 20 Jun 2021 18:22:50 GMT
ステータス: 処理完了
システム内更新日: 2021-06-26 13:05:30.275159
Title: On the relationship between predictive coding and backpropagation
Title（参考訳）: 予測符号化とバックプロパゲーションの関係について
Authors: Robert Rosenbaum
Abstract要約: 教師付き学習課題における人工ニューラルネットワークのトレーニングにおける予測符号化とバックプロパゲーションの関係に関する最近の研究をレビューし、拡張する。 PyTorchニューラルネットワークモデルを用いて予測コーディングを行うための,関数のリポジトリであるTorch2PCについて説明する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this manuscript, I review and extend recent work on the relationship between predictive coding and backpropagation for training artificial neural networks on supervised learning tasks. I also discuss some implications of these results for the interpretation of predictive coding and deep neural networks as models of biological learning and I describe a repository of functions, Torch2PC, for performing predictive coding with PyTorch neural network models.
Abstract（参考訳）: 本稿では,教師付き学習タスクにおけるニューラルネットワーク学習のための予測符号化とバックプロパゲーションの関係について概説する。また,これらの結果が生物学習モデルとして予測符号化とディープニューラルネットワークの解釈に与える影響について論じ,pytorchニューラルネットワークモデルを用いた予測符号化を行うための関数リポジトリtorch2pcについて述べる。

関連論文リスト

Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文参考訳（メタデータ） (2024-09-17T04:48:45Z)
Predictive Coding Networks and Inference Learning: Tutorial and Survey [0.7510165488300368]
予測符号化ネットワーク(PCN)は、予測符号化の神経科学的な枠組みに基づいている。バックプロパゲーション(BP)で訓練された従来のニューラルネットワークとは異なり、PCNは推論学習(IL)を利用する。本質的に確率的(グラフィック的)潜在変数モデルとして、PCNは教師付き学習と教師なし(生成的)モデリングの両方に汎用的なフレームワークを提供する。
論文参考訳（メタデータ） (2024-07-04T18:39:20Z)
Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文参考訳（メタデータ） (2024-03-18T18:01:01Z)
A Spectral Theory of Neural Prediction and Alignment [8.65717258105897]
我々は、回帰からモデルと対象のスペクトル特性への一般化誤差を関連づける最近の理論的枠組みを用いる。我々は、視覚的皮質活動を予測するディープニューラルネットワークを多数テストし、回帰によって測定された低ニューラルネットワーク予測誤差をもたらす複数のタイプのジオメトリーが存在することを示す。
論文参考訳（メタデータ） (2023-09-22T12:24:06Z)
Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文参考訳（メタデータ） (2023-03-30T02:40:28Z)
Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文参考訳（メタデータ） (2022-10-06T13:04:45Z)
Predictive Coding: Towards a Future of Deep Learning beyond Backpropagation? [41.58529335439799]
ディープニューラルネットワークのトレーニングに使用されるエラーアルゴリズムのバックプロパゲーションは、ディープラーニングの成功に不可欠である。最近の研究は、このアイデアを、局所的な計算だけでニューラルネットワークを訓練できる汎用アルゴリズムへと発展させた。等価ディープニューラルネットワークに対する予測符号化ネットワークの柔軟性が大幅に向上することを示す。
論文参考訳（メタデータ） (2022-02-18T22:57:03Z)
Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文参考訳（メタデータ） (2022-02-01T17:11:13Z)
A Sparse Coding Interpretation of Neural Networks and Theoretical Implications [0.0]
深層畳み込みニューラルネットワークは、様々なコンピュータビジョンタスクにおいて前例のない性能を達成した。本稿では、ReLUアクティベーションを持つニューラルネットワークのスパース符号化解釈を提案する。正規化やプーリングなしに完全な畳み込みニューラルネットワークを導出する。
論文参考訳（メタデータ） (2021-08-14T21:54:47Z)
FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。 FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
論文参考訳（メタデータ） (2021-06-24T15:38:34Z)
Persistent Homology Captures the Generalization of Neural Networks Without A Validation Set [0.0]
本稿では,代数的トポロジー,特に永続的ホモロジーを用いたニューラルネットワークのトレーニングについて考察する。ニューラルネットワークの単純な複雑な表現を用いて、ニューラルネットワーク学習プロセスにおけるPHダイアグラム距離の進化について検討する。その結果,連続するニューラルネットワーク状態間のPHダイアグラム距離は,検証精度と相関していることがわかった。
論文参考訳（メタデータ） (2021-05-31T09:17:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。