論文の概要: Closed-form predictive coding via hierarchical Gaussian filters

• arxiv url: http://arxiv.org/abs/2605.20293v1
• Date: Tue, 19 May 2026 10:11:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.277537
• Title: Closed-form predictive coding via hierarchical Gaussian filters
• Title（参考訳）: 階層型ガウスフィルタによる閉形式予測符号化
• Authors: Aleksandrs Baskakovs, Sylvain Estebe, Kenneth Enevoldsen, Kristoffer Nielbo, Chris Mathys, Nicolas Legrand,
• Abstract要約: 予測符号化は、ニューラルネットワークのトレーニングにおけるバックプロパゲーションに代わる、局所的かつ生物学的に基礎付けられた代替手段を提供する。 FashionMNISTでは,エピックレベルの壁面コストを低く抑えながらバックプロパゲーションにアプローチする。 オンライン精度学習によるクローズドフォーム変分推論は、深層予測符号ネットワークの抽出可能な基盤を提供する。
• 参考スコア（独自算出の注目度）: 33.92034506804344
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Predictive coding (PC) offers a local and biologically grounded alternative to backpropagation in the training of artificial neural networks, yet to date, it remains slower, and performance degrades sharply as network depth increases. We trace both problems to a single simplification: current PC networks fix the precision matrix to the identity, discarding precision-weighted prediction errors that the variational derivation requires to be fast, local, and Bayesian. We close this gap by expressing predictive coding networks as deep hierarchical Gaussian filters (HGFs) and restore precision-weighted message passing, yielding dynamic uncertainty estimates and Hebbian-compatible update rules at every layer. The resulting networks can simultaneously learn activations, weights, and precisions under a single free-energy objective, with no global error signal, and resolve inference without requiring iterations or automatic differentiation. On FashionMNIST, our solution approaches backpropagation in epoch-level wall-clock cost while converging in fewer epochs, and outperforms it on online, data efficiency, and concept-drift tasks. We thus establish that closed-form variational inference with online precision learning provides a tractable foundation for deep predictive coding networks, retaining biological and interpretative advantages, without requiring iterative relaxation or global error signals.
• Abstract（参考訳）: 予測符号化(PC)は、ニューラルネットワークのトレーニングにおけるバックプロパゲーションの代替として、局所的および生物学的に根ざした代替手段を提供する。 現在のPCネットワークは、精度行列をアイデンティティに固定し、変分導出が高速で局所的でベイズ的である必要があるという精度重み付き予測誤差を排除している。 このギャップを埋めるために、予測符号化ネットワークを階層型ガウスフィルタ(HGF)として表現し、精度の高いメッセージパッシングを復元し、動的不確実性推定とヘビアン互換更新ルールを各層で生成する。 結果として得られるネットワークは、単一の自由エネルギー目標の下でアクティベーション、重み、精度を同時に学習し、大域的なエラー信号なしで、繰り返しや自動微分を必要とせずに推論を解決できる。 FashionMNISTでは、エポックレベルのウォールクロックコストのバックプロパゲーションにアプローチしながら、エポックを減らし、オンライン、データ効率、コンセプトドリフトタスクでパフォーマンスを向上します。 そこで我々は,オンライン精度学習によるクローズドフォーム変分推論が,反復緩和や大域的誤り信号を必要とすることなく,生物学的・解釈的優位性を保ちながら,深い予測的符号化ネットワークの基盤となることを証明した。

関連論文リスト

• Predictive Coding-based Deep Neural Network Fine-tuning for Computationally Efficient Domain Adaptation [5.013248430919224]
  デバイス上でのドメイン適応を効率的に行うためのハイブリッドトレーニング手法を提案する。 この方法は、バックプロパゲーションを使用してオフラインでトレーニングされたディープニューラルネットワークから始まる。 予測符号化はオンライン適応に使用されており、入力データ分布の変化によって失われた精度を復元することができる。
  論文  参考訳（メタデータ） (2025-09-24T16:03:27Z)
• Neural Conformal Control for Time Series Forecasting [54.96087475179419]
  非定常環境における適応性を高める時系列のニューラルネットワーク共形予測手法を提案する。 提案手法は,ニューラルネットワークエンコーダを用いた補助的マルチビューデータを活用することにより,望ましい対象範囲を達成するために設計されたニューラルネットワークコントローラとして機能する。 予測間隔の整合性に優れたキャリブレーションを組み合わさった手法は, 適用範囲と確率的精度の大幅な向上を実証的に示す。
  論文  参考訳（メタデータ） (2024-12-24T03:56:25Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• Predictive coding, precision and natural gradients [2.1601966913620325]
  学習精度の高い階層型予測符号化ネットワークは,教師あり学習課題や教師なし学習課題を解くことができることを示す。 イメージ入力の教師なし自動符号化に適用すると、決定論的ネットワークは階層的に整理され、非絡み合った埋め込みを生成する。
  論文  参考訳（メタデータ） (2021-11-12T21:05:03Z)
• Performance and accuracy assessments of an incompressible fluid solver coupled with a deep Convolutional Neural Network [0.0]
  ポアソン方程式の解法は、通常、非圧縮性流体解法における最も計算集約的なステップの1つである。 CNNはこの方程式を解くために導入され、推論時間を大幅に短縮した。 CNNと従来の反復解法を結合してユーザ定義の精度を保証するハイブリッド戦略が開発されている。
  論文  参考訳（メタデータ） (2021-09-20T08:30:29Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• Enabling certification of verification-agnostic networks via memory-efficient semidefinite programming [97.40955121478716]
  本稿では,ネットワークアクティベーションの総数にのみ線形なメモリを必要とする一階二重SDPアルゴリズムを提案する。 L-inf の精度は 1% から 88% ,6% から 40% に改善した。 また,変分オートエンコーダの復号器に対する2次安定性仕様の厳密な検証を行った。
  論文  参考訳（メタデータ） (2020-10-22T12:32:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。