論文の概要: Predictive Coding: Towards a Future of Deep Learning beyond
Backpropagation?
- arxiv url: http://arxiv.org/abs/2202.09467v1
- Date: Fri, 18 Feb 2022 22:57:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-23 07:55:33.601253
- Title: Predictive Coding: Towards a Future of Deep Learning beyond
Backpropagation?
- Title(参考訳): 予測コーディング: バックプロパゲーションを越えたディープラーニングの未来へ?
- Authors: Beren Millidge, Tommaso Salvatori, Yuhang Song, Rafal Bogacz, Thomas
Lukasiewicz
- Abstract要約: ディープニューラルネットワークのトレーニングに使用されるエラーアルゴリズムのバックプロパゲーションは、ディープラーニングの成功に不可欠である。
最近の研究は、このアイデアを、局所的な計算だけでニューラルネットワークを訓練できる汎用アルゴリズムへと発展させた。
等価ディープニューラルネットワークに対する予測符号化ネットワークの柔軟性が大幅に向上することを示す。
- 参考スコア(独自算出の注目度): 41.58529335439799
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The backpropagation of error algorithm used to train deep neural networks has
been fundamental to the successes of deep learning. However, it requires
sequential backward updates and non-local computations, which make it
challenging to parallelize at scale and is unlike how learning works in the
brain. Neuroscience-inspired learning algorithms, however, such as
\emph{predictive coding}, which utilize local learning, have the potential to
overcome these limitations and advance beyond current deep learning
technologies. While predictive coding originated in theoretical neuroscience as
a model of information processing in the cortex, recent work has developed the
idea into a general-purpose algorithm able to train neural networks using only
local computations. In this survey, we review works that have contributed to
this perspective and demonstrate the close theoretical connections between
predictive coding and backpropagation, as well as works that highlight the
multiple advantages of using predictive coding models over
backpropagation-trained neural networks. Specifically, we show the
substantially greater flexibility of predictive coding networks against
equivalent deep neural networks, which can function as classifiers, generators,
and associative memories simultaneously, and can be defined on arbitrary graph
topologies. Finally, we review direct benchmarks of predictive coding networks
on machine learning classification tasks, as well as its close connections to
control theory and applications in robotics.
- Abstract(参考訳): ディープニューラルネットワークのトレーニングに使用されるエラーアルゴリズムのバックプロパゲーションは、ディープラーニングの成功に不可欠である。
しかし、逐次的な後方更新と非局所的な計算を必要とするため、大規模で並列化が難しく、脳での学習方法と異なります。
しかし、局所学習を利用する \emph{predictive coding}のような神経科学に触発された学習アルゴリズムは、これらの制限を克服し、現在のディープラーニング技術を超えて進歩する可能性がある。
予測符号化は、大脳皮質における情報処理のモデルとして理論神経科学から生まれたが、近年の研究では、局所的な計算だけでニューラルネットワークを訓練できる汎用アルゴリズムとして開発された。
本稿では,この視点に寄与する研究を概説するとともに,予測符号化とバックプロパゲーションの密接な理論的関係を示すとともに,バックプロパゲーション学習ニューラルネットワークよりも予測符号化モデルを使用することの複数の利点を強調する。
具体的には,分類器,生成器,連想記憶として同時に機能し,任意のグラフトポロジで定義可能な,等価な深層ニューラルネットワークに対する予測符号化ネットワークの柔軟性について述べる。
最後に,機械学習分類タスクにおける予測符号化ネットワークの直接ベンチマークと,制御理論とロボット工学への応用との密接な関係について検討する。
関連論文リスト
- Deep Learning Meets Sparse Regularization: A Signal Processing
Perspective [17.12783792226575]
データに適合するように訓練されたニューラルネットワークの機能特性を特徴付ける数学的枠組みを提案する。
このフレームワークをサポートする主要な数学的ツールは、変換領域スパース正規化、計算トモグラフィーのラドン変換、近似理論である。
このフレームワークは、ニューラルネットワークトレーニングにおける重量減衰正則化の効果、ネットワークアーキテクチャにおけるスキップ接続と低ランク重量行列の使用、ニューラルネットワークにおける空間性の役割、そしてニューラルネットワークが高次元問題でうまく機能する理由を説明する。
論文 参考訳(メタデータ) (2023-01-23T17:16:21Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:04:45Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - A Sparse Coding Interpretation of Neural Networks and Theoretical
Implications [0.0]
深層畳み込みニューラルネットワークは、様々なコンピュータビジョンタスクにおいて前例のない性能を達成した。
本稿では、ReLUアクティベーションを持つニューラルネットワークのスパース符号化解釈を提案する。
正規化やプーリングなしに完全な畳み込みニューラルネットワークを導出する。
論文 参考訳(メタデータ) (2021-08-14T21:54:47Z) - What can linearized neural networks actually say about generalization? [67.83999394554621]
ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。
線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。
我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
論文 参考訳(メタデータ) (2021-06-12T13:05:11Z) - Predify: Augmenting deep neural networks with brain-inspired predictive
coding dynamics [0.5284812806199193]
我々は神経科学の一般的な枠組みからインスピレーションを得た:「予測コーディング」
本稿では、この戦略をVGG16とEfficientNetB0という2つの人気ネットワークに実装することで、様々な汚職に対する堅牢性を向上させることを示す。
論文 参考訳(メタデータ) (2021-06-04T22:48:13Z) - Learning Structures for Deep Neural Networks [99.8331363309895]
我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。
スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。
公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
論文 参考訳(メタデータ) (2021-05-27T12:27:24Z) - Brain-Inspired Learning on Neuromorphic Substrates [5.279475826661643]
本稿では、ニューロモルフィック基板のための実用的なオンライン学習アルゴリズムの設計のための数学的枠組みを提供する。
具体的には、リアルタイムリカレントラーニング(RTRL)と、スパイキングニューラルネットワーク(SNN)をトレーニングするための生物学的に妥当な学習規則との直接的な関連を示す。
我々はブロック対角ジャコビアンに基づくスパース近似を動機付け、アルゴリズムの計算複雑性を低減する。
論文 参考訳(メタデータ) (2020-10-22T17:56:59Z) - Spiking Neural Networks Hardware Implementations and Challenges: a
Survey [53.429871539789445]
スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。
スパイキングニューラルネットワークのハードウェア実装の現状について述べる。
本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
論文 参考訳(メタデータ) (2020-05-04T13:24:00Z) - Lossless Compression of Deep Neural Networks [17.753357839478575]
ディープニューラルネットワークは、画像や言語認識など、多くの予測モデリングタスクで成功している。
モバイルデバイスのような限られた計算資源の下でこれらのネットワークをデプロイすることは困難である。
生成した出力を変更せずに、ニューラルネットワークの単位と層を除去するアルゴリズムを導入する。
論文 参考訳(メタデータ) (2020-01-01T15:04:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。