論文の概要: Bio-Inspired Artificial Neural Networks based on Predictive Coding

• arxiv url: http://arxiv.org/abs/2508.08762v1
• Date: Tue, 12 Aug 2025 09:09:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-13 21:07:34.360276
• Title: Bio-Inspired Artificial Neural Networks based on Predictive Coding
• Title（参考訳）: 予測符号化に基づくバイオインスパイアされたニューラルネットワーク
• Authors: Davide Casnici, Charlotte Frenkel, Justin Dauwels,
• Abstract要約: エラーのバックプロパゲーション(BP)は、人工ニューラルネットワーク(ANN)のバックボーントレーニングアルゴリズムである BPはチェーンルールを使用してネットワーク階層を通して損失勾配を後方に伝播し、効率的な重み更新を可能にする。 予測符号化(PC)は、局所情報のみを使用して重みを更新する生物学的に妥当な代替手段として関心を集めている。
• 参考スコア（独自算出の注目度）: 7.500043032028289
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Backpropagation (BP) of errors is the backbone training algorithm for artificial neural networks (ANNs). It updates network weights through gradient descent to minimize a loss function representing the mismatch between predictions and desired outputs. BP uses the chain rule to propagate the loss gradient backward through the network hierarchy, allowing efficient weight updates. However, this process requires weight updates at every layer to rely on a global error signal generated at the network's output. In contrast, the Hebbian model of synaptic plasticity states that weight updates are local, depending only on the activity of pre- and post-synaptic neurons. This suggests biological brains likely do not implement BP directly. Recently, Predictive Coding (PC) has gained interest as a biologically plausible alternative that updates weights using only local information. Originating from 1950s work on signal compression, PC was later proposed as a model of the visual cortex and formalized under the free energy principle, linking it to Bayesian inference and dynamical systems. PC weight updates rely solely on local information and provide theoretical advantages such as automatic scaling of gradients based on uncertainty. This lecture notes column offers a novel, tutorial-style introduction to PC, focusing on its formulation, derivation, and connections to well-known optimization and signal processing algorithms such as BP and the Kalman Filter (KF). It aims to support existing literature by guiding readers from the mathematical foundations of PC to practical implementation, including Python examples using PyTorch.
• Abstract（参考訳）: エラーのバックプロパゲーション(BP)は、人工ニューラルネットワーク(ANN)のバックボーントレーニングアルゴリズムである。 ネットワーク重みを勾配降下により更新し、予測と所望の出力のミスマッチを表す損失関数を最小化する。 BPはチェーンルールを使用してネットワーク階層を通して損失勾配を後方に伝播し、効率的な重み更新を可能にする。 しかしながら、このプロセスでは、ネットワークの出力で生成されたグローバルエラー信号に依存するために、各レイヤの重み更新が必要である。 対照的に、シナプス性可塑性のヘビアンモデルでは、重量の更新はシナプス前ニューロンとシナプス後ニューロンの活性によってのみ局所的であるとしている。 これは、生物学的脳がBPを直接実装しない可能性が高いことを示唆している。 近年,PC(Predictive Coding)は,局所情報のみを用いて重みを更新する生物学的に妥当な代替手段として注目されている。 1950年代の信号圧縮の研究から、PCは後に視覚野のモデルとして提案され、自由エネルギー原理の下で形式化され、ベイズ推論と力学系にリンクされた。 PCの重み更新はローカル情報のみに依存し、不確実性に基づく勾配の自動スケーリングのような理論的利点を提供する。 この講義ノート列は、その定式化、導出、およびBPやKF(Kalman Filter)のようなよく知られた最適化および信号処理アルゴリズムへの接続に焦点を当てた、PCの新しいチュートリアルスタイルの紹介を提供する。 PyTorchを使ったPythonの例を含む、PCの数学的基礎から実践的な実装まで、読者を導くことで、既存の文献をサポートすることを目的としている。

関連論文リスト

• Weight transport through spike timing for robust local gradients [0.5236468296934584]
  機能的ニューラルネットワークの可塑性は、しばしばコストの勾配降下として表される。 これにより、局所的な計算との整合が難しい対称性の制約が課される。 本稿では、スパイクタイミング統計を用いて、効果的な相互接続間の非対称性を抽出し、補正するスパイクベースのアライメント学習を提案する。
  論文  参考訳（メタデータ） (2025-03-04T14:05:39Z)
• Predictive Coding Networks and Inference Learning: Tutorial and Survey [0.7510165488300368]
  予測符号化ネットワーク(PCN)は、予測符号化の神経科学的な枠組みに基づいている。 バックプロパゲーション(BP)で訓練された従来のニューラルネットワークとは異なり、PCNは推論学習(IL)を利用する。 本質的に確率的(グラフィック的)潜在変数モデルとして、PCNは教師付き学習と教師なし(生成的)モデリングの両方に汎用的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-07-04T18:39:20Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Desire Backpropagation: A Lightweight Training Algorithm for Multi-Layer Spiking Neural Networks based on Spike-Timing-Dependent Plasticity [13.384228628766236]
  スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワークの代替となる。 本研究は,隠されたニューロンを含むすべてのニューロンの所望のスパイク活性を導出する方法である欲求バックプロパゲーションを提示する。 我々はMNISTとFashion-MNISTを分類するために3層ネットワークを訓練し、それぞれ98.41%と87.56%の精度に達した。
  論文  参考訳（メタデータ） (2022-11-10T08:32:13Z)
• Biologically Plausible Training Mechanisms for Self-Supervised Learning in Deep Networks [14.685237010856953]
  我々は,深層ネットワークにおける自己教師付き学習(SSL)のための生物学的に妥当なトレーニング機構を開発する。 バックパゲーションの2つの選択肢のうちの1つを用いて学習を行うことができることを示す。
  論文  参考訳（メタデータ） (2021-09-30T12:56:57Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain [62.997667081978825]
  活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。 我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
  論文  参考訳（メタデータ） (2020-09-11T11:56:34Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。