論文の概要: Accelerated Predictive Coding Networks via Direct Kolen-Pollack Feedback Alignment

• arxiv url: http://arxiv.org/abs/2602.15571v1
• Date: Tue, 17 Feb 2026 13:29:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-18 16:03:18.074371
• Title: Accelerated Predictive Coding Networks via Direct Kolen-Pollack Feedback Alignment
• Title（参考訳）: 直接コレン・ポラックフィードバックアライメントによる予測符号化ネットワークの高速化
• Authors: Davide Casnici, Martin Lefebvre, Justin Dauwels, Charlotte Frenkel,
• Abstract要約: 予測符号化(PC)は、局所的な更新のみに依存するニューラルネットワークをトレーニングするための生物学的にインスパイアされたアルゴリズムである。 直接コレン・ポラック予測符号化(DKP-PC)を提案する。 フィードバック遅延と指数減衰の両方に同時に対処し、より効率的でスケーラブルなPCを提供する。
• 参考スコア（独自算出の注目度）: 7.328567184271344
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Predictive coding (PC) is a biologically inspired algorithm for training neural networks that relies only on local updates, allowing parallel learning across layers. However, practical implementations face two key limitations: error signals must still propagate from the output to early layers through multiple inference-phase steps, and feedback decays exponentially during this process, leading to vanishing updates in early layers. We propose direct Kolen-Pollack predictive coding (DKP-PC), which simultaneously addresses both feedback delay and exponential decay, yielding a more efficient and scalable variant of PC while preserving update locality. Leveraging direct feedback alignment and direct Kolen-Pollack algorithms, DKP-PC introduces learnable feedback connections from the output layer to all hidden layers, establishing a direct pathway for error transmission. This yields an algorithm that reduces the theoretical error propagation time complexity from O(L), with L being the network depth, to O(1), removing depth-dependent delay in error signals. Moreover, empirical results demonstrate that DKP-PC achieves performance at least comparable to, and often exceeding, that of standard PC, while offering improved latency and computational performance, supporting its potential for custom hardware-efficient implementations.
• Abstract（参考訳）: 予測符号化(PC)は、ニューラルネットワークをトレーニングするための生物学的にインスパイアされたアルゴリズムで、ローカル更新のみに依存し、レイヤ間の並列学習を可能にする。 しかし、実際の実装には2つの重要な制限がある: エラー信号は、複数の推論フェーズステップを通じて出力から初期層へ伝播し続け、フィードバックは、このプロセス中に指数関数的に減衰し、初期層における更新が消滅する。 直接コレン・ポラック予測符号化(DKP-PC)を提案する。これは、フィードバック遅延と指数減衰の両方を同時に処理し、更新局所性を維持しつつ、より効率的でスケーラブルなPCの変形をもたらす。 DKP-PCは直接フィードバックアライメントと直接コレン・ポラックアルゴリズムを活用し、出力層からすべての隠れ層への学習可能なフィードバック接続を導入し、エラー伝達のための直接経路を確立する。 これにより、Lがネットワーク深さであるO(L)からO(1)への理論誤差伝搬時間の複雑さを減らし、エラー信号の深さ依存性の遅延を除去するアルゴリズムが得られる。 さらに、実証的な結果は、DKP-PCが標準PCに匹敵し、しばしばそれを上回る性能を達成し、また、レイテンシと計算性能を改善し、ハードウェア効率の優れた実装の可能性をサポートすることを示した。

関連論文リスト

• Efficient Online Learning with Predictive Coding Networks: Exploiting Temporal Correlations [26.073347035678342]
  Predictive Coding (PC)フレームワークは、ローカルなHebbianライクな更新ルールで生物学的に妥当な代替手段を提供する。 本稿では,時間的補正を伴う予測符号化ネットワーク(PCN-TA)について述べる。 COIL-20ロボット認識データセットの実験では、PCN-TAはバックプロパゲーションよりも10%少ない重量更新を達成した。
  論文  参考訳（メタデータ） (2025-10-29T22:09:53Z)
• Intra-DP: A High Performance Collaborative Inference System for Mobile Edge Computing [67.98609858326951]
  Intra-DPはモバイルデバイス上でのディープニューラルネットワーク(DNN)に最適化された高性能な協調推論システムである。 推論毎のレイテンシを最大50%削減し、最先端のベースラインと比較してエネルギー消費量を最大75%削減する。 評価の結果,DP内の遅延は,最先端のベースラインと比較して最大50%,エネルギー消費は最大75%減少することがわかった。
  論文  参考訳（メタデータ） (2025-07-08T09:50:57Z)
• Towards the Training of Deeper Predictive Coding Neural Networks [44.14001498773255]
  予測符号化ネットワーク(英: Predictive coding network)は、反復エネルギー最小化プロセスを通じて推論を行うニューラルネットワークである。 浅いアーキテクチャでは有効だが、5層から7層に留まらず、パフォーマンスが著しく低下する。 この劣化は,重み付け更新時の層間エラーの指数的不均衡と,より深い層内の更新を導くのに有効でない前の層からの予測が原因であることを示す。
  論文  参考訳（メタデータ） (2025-06-30T12:44:47Z)
• Geminet: Learning the Duality-based Iterative Process for Lightweight Traffic Engineering in Changing Topologies [53.38648279089736]
  Geminetは軽量でスケーラブルなMLベースのTEフレームワークで、トポロジの変更を処理できる。 そのニューラルネットワークサイズは、既存のスキームの0.04%から7%に過ぎない。 大規模なトポロジでトレーニングすると、Geminetは10ギB未満のメモリを消費し、HARPが要求する80ギBの8倍以下である。
  論文  参考訳（メタデータ） (2025-06-30T09:09:50Z)
• ePC: Overcoming Exponential Signal Decay in Deep Predictive Coding Networks [9.400040788307223]
  Predictive Coding (PC)は、ニューラルネットワークトレーニングのバックプロパゲーションに生物学的に妥当な代替手段を提供する。 本稿では根本原因を特定し,原理的解法を提案する。
  論文  参考訳（メタデータ） (2025-05-26T15:39:16Z)
• Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks [44.37047471448793]
  本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。 そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。 提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2023-03-26T16:09:48Z)
• Fair and Efficient Distributed Edge Learning with Hybrid Multipath TCP [62.81300791178381]
  無線による分散エッジ学習のボトルネックは、コンピューティングから通信へと移行した。 DEL用の既存のTCPベースのデータネットワークスキームは、アプリケーションに依存しず、アプリケーション層要求に応じて調整を施さない。 DELのためのモデルベースと深部強化学習(DRL)に基づくMP TCPを組み合わせたハイブリッドマルチパスTCP(MP TCP)を開発した。
  論文  参考訳（メタデータ） (2022-11-03T09:08:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。