論文の概要: On the relationship between predictive coding and backpropagation
- arxiv url: http://arxiv.org/abs/2106.13082v1
- Date: Sun, 20 Jun 2021 18:22:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-26 13:05:30.275159
- Title: On the relationship between predictive coding and backpropagation
- Title(参考訳): 予測符号化とバックプロパゲーションの関係について
- Authors: Robert Rosenbaum
- Abstract要約: 教師付き学習課題における人工ニューラルネットワークのトレーニングにおける予測符号化とバックプロパゲーションの関係に関する最近の研究をレビューし、拡張する。
PyTorchニューラルネットワークモデルを用いて予測コーディングを行うための,関数のリポジトリであるTorch2PCについて説明する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this manuscript, I review and extend recent work on the relationship
between predictive coding and backpropagation for training artificial neural
networks on supervised learning tasks. I also discuss some implications of
these results for the interpretation of predictive coding and deep neural
networks as models of biological learning and I describe a repository of
functions, Torch2PC, for performing predictive coding with PyTorch neural
network models.
- Abstract(参考訳): 本稿では,教師付き学習タスクにおけるニューラルネットワーク学習のための予測符号化とバックプロパゲーションの関係について概説する。
また,これらの結果が生物学習モデルとして予測符号化とディープニューラルネットワークの解釈に与える影響について論じ,pytorchニューラルネットワークモデルを用いた予測符号化を行うための関数リポジトリtorch2pcについて述べる。
関連論文リスト
- Understanding polysemanticity in neural networks through coding theory [0.8702432681310401]
本稿では,ネットワークの解釈可能性に関する新たな実践的アプローチと,多意味性やコードの密度に関する理論的考察を提案する。
ランダムなプロジェクションによって、ネットワークがスムーズか非微分可能かが明らかになり、コードがどのように解釈されるかを示す。
我々のアプローチは、ニューラルネットワークにおける解釈可能性の追求を前進させ、その基盤となる構造についての洞察を与え、回路レベルの解釈可能性のための新たな道を提案する。
論文 参考訳(メタデータ) (2024-01-31T16:31:54Z) - A Spectral Theory of Neural Prediction and Alignment [8.65717258105897]
我々は、回帰からモデルと対象のスペクトル特性への一般化誤差を関連づける最近の理論的枠組みを用いる。
我々は、視覚的皮質活動を予測するディープニューラルネットワークを多数テストし、回帰によって測定された低ニューラルネットワーク予測誤差をもたらす複数のタイプのジオメトリーが存在することを示す。
論文 参考訳(メタデータ) (2023-09-22T12:24:06Z) - Set-based Neural Network Encoding [57.15855198512551]
一般化性能予測のためのニューラルネットワーク重み符号化手法を提案する。
我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。
ニューラルネットワークの一般化性能予測には,クロスデータセットとクロスアーキテクチャという2つの新しいタスクを導入する。
論文 参考訳(メタデータ) (2023-05-26T04:34:28Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳(メタデータ) (2022-09-26T17:59:58Z) - Searching for the Essence of Adversarial Perturbations [73.96215665913797]
本稿では,ニューラルネットワークの誤予測の原因となる,人間の認識可能な情報を含む対人摂動について述べる。
この人間の認識可能な情報の概念は、敵の摂動に関連する重要な特徴を説明できる。
論文 参考訳(メタデータ) (2022-05-30T18:04:57Z) - Predictive Coding: Towards a Future of Deep Learning beyond
Backpropagation? [41.58529335439799]
ディープニューラルネットワークのトレーニングに使用されるエラーアルゴリズムのバックプロパゲーションは、ディープラーニングの成功に不可欠である。
最近の研究は、このアイデアを、局所的な計算だけでニューラルネットワークを訓練できる汎用アルゴリズムへと発展させた。
等価ディープニューラルネットワークに対する予測符号化ネットワークの柔軟性が大幅に向上することを示す。
論文 参考訳(メタデータ) (2022-02-18T22:57:03Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。
FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
論文 参考訳(メタデータ) (2021-06-24T15:38:34Z) - Predify: Augmenting deep neural networks with brain-inspired predictive
coding dynamics [0.5284812806199193]
我々は神経科学の一般的な枠組みからインスピレーションを得た:「予測コーディング」
本稿では、この戦略をVGG16とEfficientNetB0という2つの人気ネットワークに実装することで、様々な汚職に対する堅牢性を向上させることを示す。
論文 参考訳(メタデータ) (2021-06-04T22:48:13Z) - Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。
アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。
本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
論文 参考訳(メタデータ) (2020-10-02T15:21:37Z) - Hierarchical Predictive Coding Models in a Deep-Learning Framework [1.370633147306388]
予測符号化の最もよく知られたモデルをいくつかレビューする。
また、これらのモデルをディープラーニングフレームワークに組み込もうとする最近の試みについても調査する。
論文 参考訳(メタデータ) (2020-05-07T03:39:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。