論文の概要: Predictive Coding Networks and Inference Learning: Tutorial and Survey
- arxiv url: http://arxiv.org/abs/2407.04117v1
- Date: Thu, 4 Jul 2024 18:39:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-08 15:10:29.217200
- Title: Predictive Coding Networks and Inference Learning: Tutorial and Survey
- Title（参考訳）: 予測符号化ネットワークと推論学習:チュートリアルとサーベイ
- Authors: Björn van Zwol, Ro Jefferson, Egon L. van den Broek,
- Abstract要約: 機械学習(ML)における予測符号化ネットワーク(PCN)の神経科学的枠組みに着目した。
PCNは推論学習 (IL) で訓練されており、従来のフィードフォワードニューラルネットワーク (FNN) に対してバックプロパゲーションで訓練された潜在的な利点がある。
我々は、包括的レビューとPCNの正式な仕様、特に近代的なMLメソッドの文脈にそれらを配置する。
- 参考スコア（独自算出の注目度）: 0.7510165488300368
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent years have witnessed a growing call for renewed emphasis on neuroscience-inspired approaches in artificial intelligence research, under the banner of $\textit{NeuroAI}$. This is exemplified by recent attention gained by predictive coding networks (PCNs) within machine learning (ML). PCNs are based on the neuroscientific framework of predictive coding (PC), which views the brain as a hierarchical Bayesian inference model that minimizes prediction errors from feedback connections. PCNs trained with inference learning (IL) have potential advantages to traditional feedforward neural networks (FNNs) trained with backpropagation. While historically more computationally intensive, recent improvements in IL have shown that it can be more efficient than backpropagation with sufficient parallelization, making PCNs promising alternatives for large-scale applications and neuromorphic hardware. Moreover, PCNs can be mathematically considered as a superset of traditional FNNs, which substantially extends the range of possible architectures for both supervised and unsupervised learning. In this work, we provide a comprehensive review as well as a formal specification of PCNs, in particular placing them in the context of modern ML methods, and positioning PC as a versatile and promising framework worthy of further study by the ML community.
- Abstract（参考訳）: 近年、人工知能研究において神経科学にインスパイアされたアプローチに新たな重点を置き、$\textit{NeuroAI}$というバナーを掲げる声が高まっている。
これは、機械学習(ML)における予測符号化ネットワーク(PCN)の近年の注目によって実証されている。
PCNは、脳をフィードバック接続からの予測エラーを最小限に抑える階層的ベイズ推論モデルとみなす予測符号化(PC)の神経科学的枠組みに基づいている。
推論学習(IL)で訓練されたPCNは、バックプロパゲーションで訓練された伝統的なフィードフォワードニューラルネットワーク(FNN)に対して潜在的に有利である。
歴史的に計算集約的ではあるが、最近のILの改良により、十分な並列化によるバックプロパゲーションよりも効率的であることが示され、PCNは大規模アプリケーションやニューロモルフィックハードウェアの代替として有望である。
さらに、PCNは従来のFNNのスーパーセットと見なすことができ、教師なし学習と教師なし学習の両方の可能なアーキテクチャの範囲を大幅に広げることができる。
本稿では,PCNの包括的レビューと形式的仕様,特に近代的なML手法の文脈にPCを配置し,MLコミュニティによるさらなる研究にふさわしい汎用的で有望なフレームワークとして位置づける。
関連論文リスト
- Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。
本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文 参考訳（メタデータ） (2024-09-17T04:48:45Z) - Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。
このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
論文 参考訳（メタデータ） (2024-06-07T08:32:30Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - An STDP-Based Supervised Learning Algorithm for Spiking Neural Networks [20.309112286222238]
Spiking Neural Networks (SNN)は、より生物学的に可能な脳モデルを提供する。
本稿では,Leaky Integrate-and-fire ニューロンからなる階層型 SNN に対して,Spike-Timing Dependent Plasticity (STDP) に基づく教師付き学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-03-07T13:40:09Z) - Predictive Coding: Towards a Future of Deep Learning beyond
Backpropagation? [41.58529335439799]
ディープニューラルネットワークのトレーニングに使用されるエラーアルゴリズムのバックプロパゲーションは、ディープラーニングの成功に不可欠である。
最近の研究は、このアイデアを、局所的な計算だけでニューラルネットワークを訓練できる汎用アルゴリズムへと発展させた。
等価ディープニューラルネットワークに対する予測符号化ネットワークの柔軟性が大幅に向上することを示す。
論文 参考訳（メタデータ） (2022-02-18T22:57:03Z) - FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。
FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
論文 参考訳（メタデータ） (2021-06-24T15:38:34Z) - On the relationship between predictive coding and backpropagation [0.0]
予測符号化は、ニューラルネットワークのトレーニングのためのバックプロパゲーションに代わる、潜在的に生物学的に現実的な代替物として提案されている。
この原稿は、教師付き学習タスクにおけるフィードフォワード人工ニューラルネットワークのトレーニングにおける予測符号化とバックプロパゲーションの数学的関係に関する最近の研究をレビューし、拡張している。
論文 参考訳（メタデータ） (2021-06-20T18:22:50Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Predictive Coding Can Do Exact Backpropagation on Any Neural Network [40.51949948934705]
計算グラフ上で直接定義することで(ILと)Z-ILを一般化する。
これは、任意のニューラルネットワーク上のパラメータを更新する方法でBPと同等であることが示されている最初の生物学的に実行可能なアルゴリズムです。
論文 参考訳（メタデータ） (2021-03-08T11:52:51Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳（メタデータ） (2020-03-13T13:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。