論文の概要: Predictive Coding Can Do Exact Backpropagation on Convolutional and Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2103.03725v1
• Date: Fri, 5 Mar 2021 14:57:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-08 14:46:41.443095
• Title: Predictive Coding Can Do Exact Backpropagation on Convolutional and Recurrent Neural Networks
• Title（参考訳）: 畳み込みとリカレントニューラルネットワークのバックプロパゲーションの予測符号化
• Authors: Tommaso Salvatori, Yuhang Song, Thomas Lukasiewicz, Rafal Bogacz, Zhenghua Xu
• Abstract要約: 予測符号化ネットワーク(PCN)は、脳内の情報処理に影響を及ぼすモデルである。 BPは現代の機械学習において最も成功した学習方法と考えられている。 生物学的に妥当なアルゴリズムは複雑なアーキテクチャ上でBPの精度を正確に再現できることを示す。
• 参考スコア（独自算出の注目度）: 40.51949948934705
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Predictive coding networks (PCNs) are an influential model for information processing in the brain. They have appealing theoretical interpretations and offer a single mechanism that accounts for diverse perceptual phenomena of the brain. On the other hand, backpropagation (BP) is commonly regarded to be the most successful learning method in modern machine learning. Thus, it is exciting that recent work formulates inference learning (IL) that trains PCNs to approximate BP. However, there are several remaining critical issues: (i) IL is an approximation to BP with unrealistic/non-trivial requirements, (ii) IL approximates BP in single-step weight updates; whether it leads to the same point as BP after the weight updates are conducted for more steps is unknown, and (iii) IL is computationally significantly more costly than BP. To solve these issues, a variant of IL that is strictly equivalent to BP in fully connected networks has been proposed. In this work, we build on this result by showing that it also holds for more complex architectures, namely, convolutional neural networks and (many-to-one) recurrent neural networks. To our knowledge, we are the first to show that a biologically plausible algorithm is able to exactly replicate the accuracy of BP on such complex architectures, bridging the existing gap between IL and BP, and setting an unprecedented performance for PCNs, which can now be considered as efficient alternatives to BP.
• Abstract（参考訳）: 予測符号化ネットワーク(PCN)は、脳内の情報処理に影響を及ぼすモデルである。 彼らは理論的な解釈をアピールし、脳の多様な知覚現象を説明する単一のメカニズムを提供する。 一方、バックプロパゲーション(BP)は現代の機械学習において最も成功した学習方法と考えられている。 したがって、最近の研究がPCNを近似BPに訓練する推論学習(IL)を定式化していることはエキサイティングである。 i) il は非現実的かつ非自明な要求を持つ bp の近似であり、(ii) il は単段の重み付け更新で bp に近似する、(ii) 重み付け更新がより多くのステップで実行された後に bp と同じ点になるかどうかは不明であり、(iii) il は bp よりも計算的にはるかにコストがかかる。 これらの問題を解決するため、完全連結ネットワークにおけるBPと厳密に等価なILの変種が提案されている。 本研究では,より複雑なアーキテクチャ,すなわち畳み込みニューラルネットワークと(ほぼ1対1の)リカレントニューラルネットワークも持つことを示すことにより,この結果に基づいて構築する。 私たちの知る限りでは、生物学的に実行可能なアルゴリズムが、このような複雑なアーキテクチャ上のBPの精度を正確に再現し、ILとBPの間の既存のギャップを橋渡しし、PCNに前例のないパフォーマンスを設定できることを初めて示しました。

関連論文リスト

• Predictive Coding Networks and Inference Learning: Tutorial and Survey [0.7510165488300368]
  予測符号化ネットワーク(PCN)は、予測符号化の神経科学的な枠組みに基づいている。 バックプロパゲーション(BP)で訓練された従来のニューラルネットワークとは異なり、PCNは推論学習(IL)を利用する。 本質的に確率的(グラフィック的)潜在変数モデルとして、PCNは教師付き学習と教師なし(生成的)モデリングの両方に汎用的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-07-04T18:39:20Z)
• A Theoretical Framework for Inference and Learning in Predictive Coding Networks [41.58529335439799]
  予測符号化(PC)は、計算神経科学において重要な理論である。 予測構成で訓練されたPCNの特性に関する包括的理論的解析を行う。
  論文  参考訳（メタデータ） (2022-07-21T04:17:55Z)
• BP-Net: Cuff-less, Calibration-free, and Non-invasive Blood Pressure Estimation via a Generic Deep Convolutional Architecture [16.36324484557899]
  本稿では,連続的および計算不要な血圧(BP)モニタリングのための堅牢で高精度な処理ソリューションの開発に焦点をあてる。 提案するフレームワークは、より効率的なメモリを提供する新しい畳み込みアーキテクチャである。 提案したBP-Netアーキテクチャは、正準リカレントネットワークよりも正確であり、BP推定タスクの長期ロバスト性を高める。
  論文  参考訳（メタデータ） (2021-12-31T02:34:39Z)
• A Theoretical View of Linear Backpropagation and Its Convergence [55.69505060636719]
  バックプロパゲーション(BP)はディープニューラルネットワーク(DNN)の勾配を計算するために広く用いられている 最近では、NinBPと呼ばれるBPの線形変種が導入され、ブラックボックス攻撃を行うためのより伝達可能な逆の例が生み出された。 本稿では,LinBPのニューラルネットワーク関連学習課題における理論的解析について述べる。
  論文  参考訳（メタデータ） (2021-12-21T07:18:00Z)
• Towards Evaluating and Training Verifiably Robust Neural Networks [81.39994285743555]
  We study the relationship between IBP and CROWN, and prove that CROWN are always tight than IBP when select each bounding lines。 線形結合伝播(LBP) CROWNの緩やかなバージョンを提案する。これは、大きなネットワークを検証して、より低い検証エラーを得るのに使用できる。
  論文  参考訳（メタデータ） (2021-04-01T13:03:48Z)
• Predictive Coding Can Do Exact Backpropagation on Any Neural Network [40.51949948934705]
  計算グラフ上で直接定義することで(ILと)Z-ILを一般化する。 これは、任意のニューラルネットワーク上のパラメータを更新する方法でBPと同等であることが示されている最初の生物学的に実行可能なアルゴリズムです。
  論文  参考訳（メタデータ） (2021-03-08T11:52:51Z)
• Belief Propagation Neural Networks [103.97004780313105]
  信念伝播ニューラルネットワーク(BPNN)を紹介する。 BPNNは因子グラフ上で動作し、信念伝播(BP)を一般化する BPNNはIsingモデル上で1.7倍高速に収束し、より厳密な境界を提供することを示す。 挑戦的なモデルカウント問題に関して、BPNNは最先端の手作り手法の100倍の速さを推定する。
  論文  参考訳（メタデータ） (2020-07-01T07:39:51Z)
• A Theoretical Framework for Target Propagation [75.52598682467817]
  我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。 提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。 我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
  論文  参考訳（メタデータ） (2020-06-25T12:07:06Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。