論文の概要: Efficient Online Learning with Predictive Coding Networks: Exploiting Temporal Correlations

• arxiv url: http://arxiv.org/abs/2510.25993v1
• Date: Wed, 29 Oct 2025 22:09:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 16:05:09.586539
• Title: Efficient Online Learning with Predictive Coding Networks: Exploiting Temporal Correlations
• Title（参考訳）: 予測符号化ネットワークを用いた効果的なオンライン学習:時間相関の爆発的展開
• Authors: Darius Masoum Zadeh-Jousdani, Elvin Hajizada, Eyke Hüllermeier,
• Abstract要約: Predictive Coding (PC)フレームワークは、ローカルなHebbianライクな更新ルールで生物学的に妥当な代替手段を提供する。 本稿では,時間的補正を伴う予測符号化ネットワーク(PCN-TA)について述べる。 COIL-20ロボット認識データセットの実験では、PCN-TAはバックプロパゲーションよりも10%少ない重量更新を達成した。
• 参考スコア（独自算出の注目度）: 26.073347035678342
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robotic systems operating at the edge require efficient online learning algorithms that can continuously adapt to changing environments while processing streaming sensory data. Traditional backpropagation, while effective, conflicts with biological plausibility principles and may be suboptimal for continuous adaptation scenarios. The Predictive Coding (PC) framework offers a biologically plausible alternative with local, Hebbian-like update rules, making it suitable for neuromorphic hardware implementation. However, PC's main limitation is its computational overhead due to multiple inference iterations during training. We present Predictive Coding Network with Temporal Amortization (PCN-TA), which preserves latent states across temporal frames. By leveraging temporal correlations, PCN-TA significantly reduces computational demands while maintaining learning performance. Our experiments on the COIL-20 robotic perception dataset demonstrate that PCN-TA achieves 10% fewer weight updates compared to backpropagation and requires 50% fewer inference steps than baseline PC networks. These efficiency gains directly translate to reduced computational overhead for moving another step toward edge deployment and real-time adaptation support in resource-constrained robotic systems. The biologically-inspired nature of our approach also makes it a promising candidate for future neuromorphic hardware implementations, enabling efficient online learning at the edge.
• Abstract（参考訳）: エッジで動作するロボットシステムは、ストリーミングセンサデータを処理しながら、環境の変化に継続的に適応できる効率的なオンライン学習アルゴリズムを必要とする。 従来のバックプロパゲーションは効果はあるものの、生物学的な妥当性原則と矛盾し、継続的な適応シナリオには最適ではない。 Predictive Coding (PC)フレームワークは、ローカルなHebbianのような更新ルールと生物学的に妥当な代替手段を提供し、ニューロモルフィックなハードウェア実装に適している。 しかし、PCの主な制限は、トレーニング中の複数の推論イテレーションによる計算オーバーヘッドである。 本稿では,時間的補正を伴う予測符号化ネットワーク(PCN-TA)について述べる。 時間的相関を利用して、PCN-TAは学習性能を維持しながら計算要求を大幅に削減する。 COIL-20ロボット認識データセットを用いた実験により,PCN-TAは後方伝播に比べて重量更新を10%少なくし,ベースラインPCネットワークよりも50%少ない推論ステップを必要とすることが示された。 これらの効率向上は、リソース制約されたロボットシステムにおいて、エッジデプロイメントに向けた別のステップとリアルタイム適応をサポートするための計算オーバーヘッドの削減に直接変換される。 生物学的にインスピレーションを受けたこのアプローチは、将来のニューロモーフィックハードウェア実装の候補として有望なものであり、エッジでの効率的なオンライン学習を可能にします。

関連論文リスト

• Towards Scaling Deep Neural Networks with Predictive Coding: Theory and Practice [1.2691047660244335]
  バックプロパゲーション(BP)は、現代の人工知能を支えるディープニューラルネットワークをトレーニングするための標準アルゴリズムである。 この論文は、予測符号化(PC)という、より効率的な脳誘発アルゴリズムの研究である。
  論文  参考訳（メタデータ） (2025-10-24T14:47:49Z)
• Predictive Coding-based Deep Neural Network Fine-tuning for Computationally Efficient Domain Adaptation [5.013248430919224]
  デバイス上でのドメイン適応を効率的に行うためのハイブリッドトレーニング手法を提案する。 この方法は、バックプロパゲーションを使用してオフラインでトレーニングされたディープニューラルネットワークから始まる。 予測符号化はオンライン適応に使用されており、入力データ分布の変化によって失われた精度を復元することができる。
  論文  参考訳（メタデータ） (2025-09-24T16:03:27Z)
• TESS: A Scalable Temporally and Spatially Local Learning Rule for Spiking Neural Networks [6.805933498669221]
  リソース制約のあるデバイス上でのニューラルネットワーク(SNN)のトレーニングは、高い計算とメモリ要求のため、依然として困難である。 本稿では,SNNの学習のための時間的・空間的学習ルールであるTESSを紹介する。 本手法は,各ニューロン内の局所的な信号にのみ依存することにより,時間的および空間的クレジット割り当てに対処する。
  論文  参考訳（メタデータ） (2025-02-03T21:23:15Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• ETLP: Event-based Three-factor Local Plasticity for online learning with neuromorphic hardware [105.54048699217668]
  イベントベース3要素局所塑性(ETLP)の計算複雑性に明らかな優位性を有する精度の競争性能を示す。 また, 局所的可塑性を用いた場合, スパイキングニューロンの閾値適応, 繰り返しトポロジーは, 時間的構造が豊富な時間的パターンを学習するために必要であることを示した。
  論文  参考訳（メタデータ） (2023-01-19T19:45:42Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Learning Fast and Slow for Online Time Series Forecasting [76.50127663309604]
  Fast and Slow Learning Networks (FSNet)は、オンライン時系列予測のための総合的なフレームワークである。 FSNetは、最近の変更への迅速な適応と、同様の古い知識の取得のバランスを取る。 私たちのコードは公開されます。
  論文  参考訳（メタデータ） (2022-02-23T18:23:07Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。