論文の概要: Predictive Coding: Towards a Future of Deep Learning beyond Backpropagation?

• arxiv url: http://arxiv.org/abs/2202.09467v1
• Date: Fri, 18 Feb 2022 22:57:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-23 07:55:33.601253
• Title: Predictive Coding: Towards a Future of Deep Learning beyond Backpropagation?
• Title（参考訳）: 予測コーディング: バックプロパゲーションを越えたディープラーニングの未来へ?
• Authors: Beren Millidge, Tommaso Salvatori, Yuhang Song, Rafal Bogacz, Thomas Lukasiewicz
• Abstract要約: ディープニューラルネットワークのトレーニングに使用されるエラーアルゴリズムのバックプロパゲーションは、ディープラーニングの成功に不可欠である。 最近の研究は、このアイデアを、局所的な計算だけでニューラルネットワークを訓練できる汎用アルゴリズムへと発展させた。 等価ディープニューラルネットワークに対する予測符号化ネットワークの柔軟性が大幅に向上することを示す。
• 参考スコア（独自算出の注目度）: 41.58529335439799
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The backpropagation of error algorithm used to train deep neural networks has been fundamental to the successes of deep learning. However, it requires sequential backward updates and non-local computations, which make it challenging to parallelize at scale and is unlike how learning works in the brain. Neuroscience-inspired learning algorithms, however, such as \emph{predictive coding}, which utilize local learning, have the potential to overcome these limitations and advance beyond current deep learning technologies. While predictive coding originated in theoretical neuroscience as a model of information processing in the cortex, recent work has developed the idea into a general-purpose algorithm able to train neural networks using only local computations. In this survey, we review works that have contributed to this perspective and demonstrate the close theoretical connections between predictive coding and backpropagation, as well as works that highlight the multiple advantages of using predictive coding models over backpropagation-trained neural networks. Specifically, we show the substantially greater flexibility of predictive coding networks against equivalent deep neural networks, which can function as classifiers, generators, and associative memories simultaneously, and can be defined on arbitrary graph topologies. Finally, we review direct benchmarks of predictive coding networks on machine learning classification tasks, as well as its close connections to control theory and applications in robotics.
• Abstract（参考訳）: ディープニューラルネットワークのトレーニングに使用されるエラーアルゴリズムのバックプロパゲーションは、ディープラーニングの成功に不可欠である。 しかし、逐次的な後方更新と非局所的な計算を必要とするため、大規模で並列化が難しく、脳での学習方法と異なります。 しかし、局所学習を利用する \emph{predictive coding}のような神経科学に触発された学習アルゴリズムは、これらの制限を克服し、現在のディープラーニング技術を超えて進歩する可能性がある。 予測符号化は、大脳皮質における情報処理のモデルとして理論神経科学から生まれたが、近年の研究では、局所的な計算だけでニューラルネットワークを訓練できる汎用アルゴリズムとして開発された。 本稿では,この視点に寄与する研究を概説するとともに,予測符号化とバックプロパゲーションの密接な理論的関係を示すとともに,バックプロパゲーション学習ニューラルネットワークよりも予測符号化モデルを使用することの複数の利点を強調する。 具体的には,分類器,生成器,連想記憶として同時に機能し,任意のグラフトポロジで定義可能な,等価な深層ニューラルネットワークに対する予測符号化ネットワークの柔軟性について述べる。 最後に,機械学習分類タスクにおける予測符号化ネットワークの直接ベンチマークと,制御理論とロボット工学への応用との密接な関係について検討する。

関連論文リスト

• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Predictive Coding Networks and Inference Learning: Tutorial and Survey [0.7510165488300368]
  予測符号化ネットワーク(PCN)は、予測符号化の神経科学的な枠組みに基づいている。 バックプロパゲーション(BP)で訓練された従来のニューラルネットワークとは異なり、PCNは推論学習(IL)を利用する。 本質的に確率的(グラフィック的)潜在変数モデルとして、PCNは教師付き学習と教師なし(生成的)モデリングの両方に汎用的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-07-04T18:39:20Z)
• Deep Learning Meets Sparse Regularization: A Signal Processing Perspective [17.12783792226575]
  データに適合するように訓練されたニューラルネットワークの機能特性を特徴付ける数学的枠組みを提案する。 このフレームワークをサポートする主要な数学的ツールは、変換領域スパース正規化、計算トモグラフィーのラドン変換、近似理論である。 このフレームワークは、ニューラルネットワークトレーニングにおける重量減衰正則化の効果、ネットワークアーキテクチャにおけるスキップ接続と低ランク重量行列の使用、ニューラルネットワークにおける空間性の役割、そしてニューラルネットワークが高次元問題でうまく機能する理由を説明する。
  論文  参考訳（メタデータ） (2023-01-23T17:16:21Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• On the relationship between predictive coding and backpropagation [0.0]
  予測符号化は、ニューラルネットワークのトレーニングのためのバックプロパゲーションに代わる、潜在的に生物学的に現実的な代替物として提案されている。 この原稿は、教師付き学習タスクにおけるフィードフォワード人工ニューラルネットワークのトレーニングにおける予測符号化とバックプロパゲーションの数学的関係に関する最近の研究をレビューし、拡張している。
  論文  参考訳（メタデータ） (2021-06-20T18:22:50Z)
• What can linearized neural networks actually say about generalization? [67.83999394554621]
  ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。 線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。 我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
  論文  参考訳（メタデータ） (2021-06-12T13:05:11Z)
• Predify: Augmenting deep neural networks with brain-inspired predictive coding dynamics [0.5284812806199193]
  我々は神経科学の一般的な枠組みからインスピレーションを得た:「予測コーディング」 本稿では、この戦略をVGG16とEfficientNetB0という2つの人気ネットワークに実装することで、様々な汚職に対する堅牢性を向上させることを示す。
  論文  参考訳（メタデータ） (2021-06-04T22:48:13Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• Spiking Neural Networks Hardware Implementations and Challenges: a Survey [53.429871539789445]
  スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。 スパイキングニューラルネットワークのハードウェア実装の現状について述べる。 本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
  論文  参考訳（メタデータ） (2020-05-04T13:24:00Z)
• Lossless Compression of Deep Neural Networks [17.753357839478575]
  ディープニューラルネットワークは、画像や言語認識など、多くの予測モデリングタスクで成功している。 モバイルデバイスのような限られた計算資源の下でこれらのネットワークをデプロイすることは困難である。 生成した出力を変更せずに、ニューラルネットワークの単位と層を除去するアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-01-01T15:04:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。